diff options
author | Chris Dyer <cdyer@allegro.clab.cs.cmu.edu> | 2014-01-18 21:57:32 -0500 |
---|---|---|
committer | Chris Dyer <cdyer@allegro.clab.cs.cmu.edu> | 2014-01-18 21:57:32 -0500 |
commit | 3c1e7365d8708846dfffd598158571d4c4abd097 (patch) | |
tree | bb1865a9e47f82ec5cef353e9ccce5043a255866 | |
parent | 1bc1a92c0f72fe4266182f9cb467b75e670a1dac (diff) |
new tuning of crf compound splitter for wmt14
-rwxr-xr-x | compound-split/de/TRAIN | 2 | ||||
-rw-r--r-- | compound-split/de/charlm.rev.5gm.de.lm.gz | bin | 5847741 -> 12724646 bytes | |||
-rw-r--r-- | compound-split/de/large_dict.de.gz | bin | 11796618 -> 26258640 bytes | |||
-rw-r--r-- | compound-split/de/test | 302 | ||||
-rw-r--r-- | compound-split/de/test.ref | 302 | ||||
-rw-r--r-- | compound-split/de/train.in-ref (renamed from compound-split/de/dev.in-ref) | 412 | ||||
-rw-r--r-- | compound-split/de/weights.trained | 61 | ||||
-rw-r--r-- | compound-split/de/wordlist.de | 18 | ||||
-rw-r--r-- | decoder/ff_csplit.cc | 9 |
9 files changed, 474 insertions, 632 deletions
diff --git a/compound-split/de/TRAIN b/compound-split/de/TRAIN index 2b48a8d2..835ffcfc 100755 --- a/compound-split/de/TRAIN +++ b/compound-split/de/TRAIN @@ -1,2 +1,2 @@ -~/cdec/training/mpi_batch_optimize -w weights.trained -t dev.in-ref -p -c cdec-train.ini -M 200 +mpirun -np 8 ~/cdec/training/crf/mpi_batch_optimize -w weights.trained -t train.in-ref -p -c cdec-train.ini -M 200 diff --git a/compound-split/de/charlm.rev.5gm.de.lm.gz b/compound-split/de/charlm.rev.5gm.de.lm.gz Binary files differindex 1bae8cb9..80856f61 100644 --- a/compound-split/de/charlm.rev.5gm.de.lm.gz +++ b/compound-split/de/charlm.rev.5gm.de.lm.gz diff --git a/compound-split/de/large_dict.de.gz b/compound-split/de/large_dict.de.gz Binary files differindex f5b1b9d3..c7db323c 100644 --- a/compound-split/de/large_dict.de.gz +++ b/compound-split/de/large_dict.de.gz diff --git a/compound-split/de/test b/compound-split/de/test deleted file mode 100644 index 8dac76cd..00000000 --- a/compound-split/de/test +++ /dev/null @@ -1,302 +0,0 @@ -aktiengesellschaft -aktiengesellschaft -wiederaufnahme -tonbandaufnahme -staatskrise -staatskrise -madagaskars -präsident -bittet -schlagworte -demonstration -putsch -machtkampf -zwischen -opposition -regierungspartei -regierungspartei -spitzt -afrikanischen -botschaft -befürchtet -bürgerkrieg -mitglieder -oppositionspartei -oppositionspartei -demonstrieren -putsch -madagaskars -präsidenten -ravalomanana -mitglieder -oppositionspartei -oppositionspartei -demonstrieren -putsch -madagaskars -präsidenten -ravalomanana -bedrängte -präsident -wandte -öffentlichen -hilferuf -anhänger -forderte -regierungssitz -regierungssitz -schützen -mitglieder -präsidentengarde -präsidentengarde -unbestätigten -medienberichten -medienberichten -begonnen -posten -verlassen -augenzeugen -augenzeugen -berichteten -gepanzerte -fahrzeuge -außenbezirken -hauptstadt -hauptstadt -antananarivo -botschafter -marquardt -nationalen -fernsehen -erklärt -steuere -bürgerkrieg -botschaft -familien -mitarbeiter -unbedingt -benötigt -werden -bürger -verlassen -landes -aufgefordert -deutsche -botschaft -dagegen -wollte -absprache -anderen -europäischen -vertretungen -zunächst -ausreise -empfehlung -regierung -angeschlagenen -staatspräsidenten -staatspräsidenten -ravalomanana -demokratiebewegung -selbst -ernannten -präsidenten -übergangsregierung -übergangsregierung -rajoelina -gegenüber -wochen -andauernde -erbitterte -machtkampf -menschen -gekostet -hunderte -wurden -verletzt -modernisierung -atomwaffen -umbauten -marine -russlands -präsident -medwedew -aufrüstung -begründung -versuche -präsenz -grenzen -landes -verstärken -anzeige -moskau -dmitrij -medwedew -begründet -bebaren -russischen -streitkräfte -sollten -massiv -gestärkt -atomwaffenarsenal -atomwaffenarsenal -modernisiert -werden -westliche -militärbündnis -versuche -präsenz -grenzen -auszubauen -präsident -deshalb -aufrüstung -marine -umfang -beginne -umfassende -umrüstung -heeres -flotte -ernstes -konfliktpotential -infrastruktur -kampfkraft -streitkräfte -strategischen -atomwaffen -internationalen -terrorismus -gefechtsbereitschaft -gefechtsbereitschaft -strategischen -atomwaffen -militärs -aktuellen -haushaltsprobleme -haushaltsprobleme -auswirkungen -regierung -streitkräfteetat -infolge -finanzkrise -zusammengestrichen -zusammengestrichen -weitere -kürzungen -ausgeschlossen -medwedews -vorgänger -wladimir -wiederholt -modernisierung -waffenarsenals -verkündet -umsetzung -ankündigungen -großteil -atomwaffen -sowjetzeiten -stimmung -streitkräften -rahmen -reform -offizierkorps -verkleinert -werden -trifolium -umfassende -pflanzengattung -pflanzengattung -unterfamilie -schmetterlingsblütler -schmetterlingsblütler -faboideae -pflanzenfamilie -pflanzenfamilie -hülsenfrüchtler -hülsenfrüchtler -fabaceae -gezählt -sprachgebrauch -allerdings -häufig -gattung -bezeichnet -sondern -nahverwandten -gattungen -schneckenklee -schneckenklee -medicago -steinklee -melilotus -taxonomisch -entfernten -gattung -sauerklee -oxalis -charakteristische -merkmale -gattung -dreifiedrige -blätter -vielblütige -kopfige -blütenstände -blütenstände -kontinenten -ausnahme -australiens -antarktikas -natürlich -verbreitet -australien -wurden -verschiedene -kleearten -menschen -eingeführt -landwirtschaft -werden -verschiedene -kleearten -futterpflanzen -verwendet -kleeanbau -europa -nordamerika -ökonomischer -bedeutung -europa -jahrhundert -christus -angebaut -fähigkeit -symbiose -knöllchenbakterien -rhizobiaceae -wurzeln -stickstoff -verbesserung -bodenfruchtbarkeit -bedeutend -kleeblatt -symbolik -vieler -kulturen -eingang -repräsentiert -dreiheit -beispiel -christentum -dreifaltigkeit -weiterhin -sommer -symbolisiert -vierblättrige -kleeblatt -glücksbringer -glücksbringer -XX diff --git a/compound-split/de/test.ref b/compound-split/de/test.ref deleted file mode 100644 index 4b3c7abc..00000000 --- a/compound-split/de/test.ref +++ /dev/null @@ -1,302 +0,0 @@ -aktien gesellschaft -aktie gesellschaft -wiederaufnahme -tonband aufnahme -staats krise -staat krise -madagaskars -präsident -bittet -schlagworte -demonstration -putsch -macht kampf -zwischen -opposition -regierungs partei -regierung partei -spitzt -afrikanischen -botschaft -befürchtet -bürger krieg -mitglieder -oppositions partei -opposition partei -demonstrieren -putsch -madagaskars -präsidenten -ravalomanana -mitglieder -oppositions partei -opposition partei -demonstrieren -putsch -madagaskars -präsidenten -ravalomanana -bedrängte -präsident -wandte -öffentlichen -hilfe ruf -anhänger -forderte -regierungs sitz -regierung sitz -schützen -mitglieder -präsidenten garde -präsidenten garde -unbestätigten -medien berichten -medie berichten -begonnen -posten -verlassen -augen zeugen -auge zeugen -berichteten -gepanzerte -fahrzeuge -außen bezirken -haupt stadt -hauptstadt -antananarivo -botschafter -marquardt -nationalen -fernsehen -erklärt -steuere -bürger krieg -botschaft -familien -mitarbeiter -unbedingt -benötigt -werden -bürger -verlassen -landes -aufgefordert -deutsche -botschaft -dagegen -wollte -absprache -anderen -europäischen -vertretungen -zunächst -ausreise -empfehlung -regierung -angeschlagenen -staats präsidenten -staat präsidenten -ravalomanana -demokratie bewegung -selbst -ernannten -präsidenten -übergangs regierung -übergang regierung -rajoelina -gegenüber -wochen -andauernde -erbitterte -macht kampf -menschen -gekostet -hunderte -wurden -verletzt -modernisierung -atom waffen -umbauten -marine -russlands -präsident -medwedew -aufrüstung -begründung -versuche -präsenz -grenzen -landes -verstärken -anzeige -moskau -dmitrij -medwedew -begründet -bebaren -russischen -streit kräfte -sollten -massiv -gestärkt -atom waffen arsenal -atomwaffen arsenal -modernisiert -werden -westliche -militärbündnis -versuche -präsenz -grenzen -auszubauen -präsident -deshalb -aufrüstung -marine -umfang -beginne -umfassende -umrüstung -heeres -flotte -ernstes -konflikt potential -infrastruktur -kampf kraft -streit kräfte -strategischen -atom waffen -internationalen -terrorismus -gefechts bereitschaft -gefecht bereitschaft -strategischen -atomwaffen -militärs -aktuellen -haushalts probleme -haushalt probleme -auswirkungen -regierung -streit kräfte etat -infolge -finanz krise -zusammengestrichen -zusammen gestrichen -weitere -kürzungen -ausgeschlossen -medwedews -vorgänger -wladimir -wiederholt -modernisierung -waffen arsenals -verkündet -umsetzung -ankündigungen -groß teil -atom waffen -sowjet zeiten -stimmung -streit kräften -rahmen -reform -offizier korps -verkleinert -werden -trifolium -umfassende -pflanzen gattung -pflanze gattung -unterfamilie -schmetterlings blütler -schmetterling blütler -faboideae -pflanzen familie -pflanze familie -hülsen früchtler -hülse früchtler -fabaceae -gezählt -sprach gebrauch -allerdings -häufig -gattung -bezeichnet -sondern -nah verwandten -gattungen -schnecken klee -schnecke klee -medicago -stein klee -melilotus -taxonomisch -entfernten -gattung -sauer klee -oxalis -charakteristische -merkmale -gattung -drei fiedrige -blätter -viel blütige -kopfige -blüten stände -blüte stände -kontinenten -ausnahme -australiens -antarktikas -natürlich -verbreitet -australien -wurden -verschiedene -klee arten -menschen -eingeführt -landwirtschaft -werden -verschiedene -klee arten -futter pflanzen -verwendet -klee anbau -europa -nord amerika -ökonomischer -bedeutung -europa -jahrhundert -christus -angebaut -fähigkeit -symbiose -knöllchen bakterien -rhizobiaceae -wurzeln -stickstoff -verbesserung -boden fruchtbarkeit -bedeutend -klee blatt -symbolik -vieler -kulturen -eingang -repräsentiert -dreiheit -beispiel -christentum -dreifaltigkeit -weiterhin -sommer -symbolisiert -vier blättrige -klee blatt -glücks bringer -glück bringer -XX diff --git a/compound-split/de/dev.in-ref b/compound-split/de/train.in-ref index 41d74757..80251b4a 100644 --- a/compound-split/de/dev.in-ref +++ b/compound-split/de/train.in-ref @@ -1,3 +1,5 @@ +niederlande ||| # niederlande +hauptstadt ||| # hauptstadt untersuchungsausschuss ||| ((('#',0,1),),(('untersuchung',0,1),('untersuchungs',0,1),),(('ausschuss',0,1),),) vielleicht ||| # vielleicht hochzeiten ||| # hochzeiten @@ -198,6 +200,10 @@ ausschließlich ||| # ausschließlich auszustrahlen ||| # auszustrahlen veröffentlichung ||| # veröffentlichung deutschland ||| # deutschland +deutschland ||| # deutschland +deutschland ||| # deutschland +deutschland ||| # deutschland +deutschland ||| # deutschland exkommunikation ||| # exkommunikation hintergrund ||| # hintergrund juristischen ||| # juristischen @@ -553,6 +559,9 @@ bedrohlich ||| # bedrohlich anstieg ||| # anstieg kohlendioxids ||| ((('#',0,1),),(('kohle',0,1),('kohlen',0,1),),(('dioxids',0,1),),) computermodelle ||| # computer modelle +hauptbahnhof ||| # haupt bahnhof +hauptziel ||| # haupt ziel +hauptunterschied ||| # haupt unterschied überhaupt ||| # überhaupt schützen ||| # schützen welchem ||| # welchem @@ -815,6 +824,8 @@ reserven ||| # reserven wähler ||| # wähler bekommen ||| # bekommen herausforderer ||| # herausforderer +herausforederung ||| # herausforderung +herauseforderungen ||| # herauseforderungen romney ||| # romney kündigte ||| # kündigte wahltag ||| # wahltag @@ -1199,6 +1210,9 @@ gegenleistung ||| # gegenleistung gegenteil ||| # gegenteil gegenüber ||| # gegenüber gehalten ||| # gehalten +dienstleistung ||| # dienstleistung +dienstleistungen ||| # dienstleistungen +geheimdienst ||| # geheim dienst geheimdienste ||| # geheim dienste geheimdienstes ||| # geheim dienstes geheimdienstkreise ||| # geheim dienst kreise @@ -2117,3 +2131,401 @@ irakkrieg ||| # irak krieg strafsteuer ||| # straf steuer regierungsmethode ||| # regierung methode rechtsschutzversicherungsgesellschaften ||| # recht schutz versicherung gesellschaften +umstand ||| # umstand +auffassungen ||| # auffassungen +wirklichkeiten ||| # wirklichkeiten +subkultur ||| # subkultur +akzeptieren ||| # akzeptieren +ausdruck ||| # ausdruck +bürgerlichen ||| # bürgerlichen +ordnungspolitik ||| # ordnung politik +verpflichteten ||| # verpflichteten +gesellschaftsverständnisses ||| # gesellschaft verständnisses +ultras ||| # ultras +dschungelcamp ||| # dschungel camp +verfolgen ||| # verfolgen +millionen ||| # millionen +zuschauer ||| # zuschauer +winfried ||| # winfried +glatzeder ||| # glatzeder +schauspieler ||| # schauspieler +offenbar ||| # offenbar +aufmerksamkeit ||| # aufmerksamkeit +wiedergutmachungskurs ||| # wiedergutmachung kurs +südsudanesische ||| # süd sudanesische +schlüsselstadt ||| # schlüssel stadt +rebellen ||| # rebellen +zurückerobert ||| # zurück erobert +zehntausende ||| # zehn tausende +demonstrieren ||| # demonstrieren +dänemark ||| # dänemark +gewinnt ||| # gewinnt +spitzenspiel ||| # spitzenspiel +spanien ||| # spanien +agrarindustrie ||| # agrar industrie +minoische ||| # minoische +computertechniker ||| # computer techniker +geheime ||| # geheime +gesundheitsministerium ||| # gesundheit ministerium +geschmuggelt ||| # geschmuggelt +apotheker ||| # apotheker +lobbyisten ||| # lobbyisten +thomas ||| # thomas +bellartz ||| # bellartz +verkauft ||| # verkauft +eruption ||| # eruption +santorin ||| # santorin +spätbronzezeitliche ||| # spät bronze zeitliche +ausbruch ||| # ausbruch +ägäischen ||| # ägäischen +vulkaninsel ||| # vulkan insel +santorin ||| # santorin +bezeichnet ||| # bezeichnet +jahrhundert ||| # jahrhundert +minoischen ||| # minoischen +kultur ||| # kultur +verbundene ||| # verbundene +siedlung ||| # siedlung +akrotiri ||| # akrotiri +moderner ||| # moderner +begrub ||| # begrub +molekulare ||| # molekulare +lenkraketen ||| # lenk raketen +schlafende ||| # schlafende +erreger ||| # erreger +forscher ||| # forscher +tierversuch ||| # tier versuch +gefunden ||| # gefunden +schlafenden ||| # schlafenden +anzugreifen ||| # anzugreifen +hubschrauber ||| # hubschrauber +aufwachen ||| # aufwachen +sonnenaufgang ||| ((('#',0,1),),(('sonnenaufgang',0,2),('sonne',0,1),),(('aufgang',0,1),),) +atlantik ||| # atlantik +zähneputzen ||| # zähne putzen +freiheitsstatue ||| # freiheit statue +dinner ||| # dinner +central ||| # central +abendsonne ||| # abend sonne +derselben ||| # derselben +wohnung ||| # wohnung +besser ||| # besser +jeffrey ||| # jeffrey +dvorett ||| # dvorett +immobilienmanager ||| # immobilien manager +lieblingsprojekts ||| # liebling projekts +seiner ||| # seiner +entwicklungsfirma ||| # entwicklung firma +lächelt ||| # lächelt +veleba ||| # veleba +diente ||| # diente +grundlage ||| # grundlage +entschädigungsverhandlungen ||| # entschädigung verhandlungen +gutachten ||| # gutachten +universitätskrankenhaus ||| # universität krankenhaus +erarbeitet ||| # erarbeitet +hauptplattform ||| # haupt plattform +hollywoodfilme ||| # hollywood filme +montreal ||| # montreal +bekommen ||| # bekommen +geringerer ||| # geringerer +terminator ||| # terminator +united ||| # united +internet ||| # internet +anteil ||| # anteil +prozent ||| # prozent +telekommunikationsunternehmen ||| # telekommunikation unternehmen +versatel ||| # versatel +gesichert ||| # gesichert +durchschnittspreis ||| # durchschnitt preis +beträgt ||| # beträgt +unternehmen ||| # unternehmen +mittwochabend ||| # mittwoch abend +mitteilte ||| # mitteilte +nationale ||| # nationale +sicherheitsberater ||| # sicherheit berater +norberto ||| # norberto +gonzales ||| # gonzales +verurteilte ||| # verurteilte +vorgehen ||| # vorgehen +soldaten ||| # soldaten +militärtransportflugzeug ||| # militär transport flugzeug +zufrieden ||| # zufrieden +aktiengesellschaft ||| # aktie gesellschaft +wiederaufnahme ||| # wiederaufnahme +tonbandaufnahme ||| # tonband aufnahme +staatskrise ||| # staat krise +madagaskars ||| # madagaskars +präsident ||| # präsident +bittet ||| # bittet +schlagworte ||| # schlagworte +demonstration ||| # demonstration +putsch ||| # putsch +machtkampf ||| # macht kampf +zwischen ||| # zwischen +opposition ||| # opposition +regierungspartei ||| # regierung partei +spitzt ||| # spitzt +afrikanischen ||| # afrikanischen +botschaft ||| # botschaft +befürchtet ||| # befürchtet +mitglieder ||| # mitglieder +oppositionspartei ||| # opposition partei +demonstrieren ||| # demonstrieren +putsch ||| # putsch +madagaskars ||| # madagaskars +präsidenten ||| # präsidenten +ravalomanana ||| # ravalomanana +mitglieder ||| # mitglieder +oppositionspartei ||| # opposition partei +demonstrieren ||| # demonstrieren +putsch ||| # putsch +madagaskars ||| # madagaskars +präsidenten ||| # präsidenten +ravalomanana ||| # ravalomanana +bedrängte ||| # bedrängte +präsident ||| # präsident +wandte ||| # wandte +öffentlichen ||| # öffentlichen +hilferuf ||| # hilfe ruf +anhänger ||| # anhänger +forderte ||| # forderte +regierungssitz ||| # regierung sitz +schützen ||| # schützen +mitglieder ||| # mitglieder +präsidentengarde ||| # präsidenten garde +unbestätigten ||| # unbestätigten +medienberichten ||| # medien berichten +begonnen ||| # begonnen +posten ||| # posten +verlassen ||| # verlassen +augenzeugen ||| # auge zeugen +berichteten ||| # berichteten +gepanzerte ||| # gepanzerte +fahrzeuge ||| # fahrzeuge +außenbezirken ||| # außen bezirken +hauptstadt ||| # hauptstadt +antananarivo ||| # antananarivo +botschafter ||| # botschafter +marquardt ||| # marquardt +nationalen ||| # nationalen +fernsehen ||| # fernsehen +erklärt ||| # erklärt +steuere ||| # steuere +bürgerkrieg ||| ((('#',0,1),),(('bürger',0,1),('bürgerkrieg',0,2),),(('krieg',0,1),),) +botschaft ||| # botschaft +familien ||| # familien +mitarbeiter ||| # mitarbeiter +unbedingt ||| # unbedingt +benötigt ||| # benötigt +werden ||| # werden +bürger ||| # bürger +verlassen ||| # verlassen +landes ||| # landes +aufgefordert ||| # aufgefordert +deutsche ||| # deutsche +botschaft ||| # botschaft +dagegen ||| # dagegen +wollte ||| # wollte +absprache ||| # absprache +anderen ||| # anderen +europäischen ||| # europäischen +vertretungen ||| # vertretungen +zunächst ||| # zunächst +ausreise ||| # ausreise +empfehlung ||| # empfehlung +regierung ||| # regierung +angeschlagenen ||| # angeschlagenen +staatspräsidenten ||| # staat präsidenten +ravalomanana ||| # ravalomanana +demokratiebewegung ||| # demokratie bewegung +selbst ||| # selbst +ernannten ||| # ernannten +präsidenten ||| # präsidenten +übergangsregierung ||| # übergang regierung +rajoelina ||| # rajoelina +gegenüber ||| # gegenüber +wochen ||| # wochen +andauernde ||| # andauernde +erbitterte ||| # erbitterte +machtkampf ||| # macht kampf +menschen ||| # menschen +gekostet ||| # gekostet +hunderte ||| # hunderte +wurden ||| # wurden +verletzt ||| # verletzt +modernisierung ||| # modernisierung +atomwaffen ||| # atom waffen +umbauten ||| # umbauten +marine ||| # marine +russlands ||| # russlands +präsident ||| # präsident +medwedew ||| # medwedew +aufrüstung ||| # aufrüstung +begründung ||| # begründung +versuche ||| # versuche +präsenz ||| # präsenz +grenzen ||| # grenzen +landes ||| # landes +verstärken ||| # verstärken +anzeige ||| # anzeige +moskau ||| # moskau +dmitrij ||| # dmitrij +medwedew ||| # medwedew +begründet ||| # begründet +bebaren ||| # bebaren +russischen ||| # russischen +streitkräfte ||| # streit kräfte +sollten ||| # sollten +massiv ||| # massiv +gestärkt ||| # gestärkt +atomwaffenarsenal ||| ((('#',0,1),),(('atom',0,1),('atomwaffen',0,2),),(('waffen',0,1),),) +modernisiert ||| # modernisiert +werden ||| # werden +westliche ||| # westliche +militärbündnis ||| # militär bündnis +versuche ||| # versuche +präsenz ||| # präsenz +grenzen ||| # grenzen +auszubauen ||| # auszubauen +präsident ||| # präsident +deshalb ||| # deshalb +aufrüstung ||| # aufrüstung +marine ||| # marine +umfang ||| # umfang +beginne ||| # beginne +umfassende ||| # umfassende +umrüstung ||| # umrüstung +heeres ||| # heeres +flotte ||| # flotte +ernstes ||| # ernstes +konfliktpotential ||| # konflikt potential +infrastruktur ||| # infrastruktur +kampfkraft ||| # kampf kraft +streitkräfte ||| # streit kräfte +strategischen ||| # strategischen +atomwaffen ||| # atom waffen +internationalen ||| # internationalen +terrorismus ||| # terrorismus +gefechtsbereitschaft ||| # gefecht bereitschaft +strategischen ||| # strategischen +atomwaffen ||| # atomwaffen +militärs ||| # militärs +aktuellen ||| # aktuellen +haushaltsprobleme ||| # haushalt probleme +auswirkungen ||| # auswirkungen +regierung ||| # regierung +streitkräfteetat ||| # streit kräfte etat +infolge ||| # infolge +finanzkrise ||| # finanz krise +zusammengestrichen ||| # zusammen gestrichen +weitere ||| # weitere +kürzungen ||| # kürzungen +ausgeschlossen ||| # ausgeschlossen +medwedews ||| # medwedews +vorgänger ||| # vorgänger +wladimir ||| # wladimir +wiederholt ||| # wiederholt +modernisierung ||| # modernisierung +waffenarsenals ||| # waffen arsenals +verkündet ||| # verkündet +umsetzung ||| # umsetzung +ankündigungen ||| # ankündigungen +großteil ||| # groß teil +atomwaffen ||| # atom waffen +sowjetzeiten ||| # sowjet zeiten +stimmung ||| # stimmung +streitkräften ||| # streit kräften +rahmen ||| # rahmen +reform ||| # reform +offizierkorps ||| # offizier korps +verkleinert ||| # verkleinert +werden ||| # werden +trifolium ||| # trifolium +umfassende ||| # umfassende +pflanzengattung ||| # pflanze gattung +unterfamilie ||| # unterfamilie +schmetterlingsblütler ||| # schmetterling blütler +faboideae ||| # faboideae +pflanzenfamilie ||| # pflanze familie +hülsenfrüchtler ||| # hülse früchtler +fabaceae ||| # fabaceae +gezählt ||| # gezählt +sprachgebrauch ||| # sprach gebrauch +allerdings ||| # allerdings +häufig ||| # häufig +gattung ||| # gattung +bezeichnet ||| # bezeichnet +sondern ||| # sondern +nahverwandten ||| # nah verwandten +gattungen ||| # gattungen +schneckenklee ||| # schnecke klee +medicago ||| # medicago +steinklee ||| # stein klee +melilotus ||| # melilotus +taxonomisch ||| # taxonomisch +entfernten ||| # entfernten +gattung ||| # gattung +sauerklee ||| # sauer klee +oxalis ||| # oxalis +charakteristische ||| # charakteristische +merkmale ||| # merkmale +gattung ||| # gattung +dreifiedrige ||| # drei fiedrige +blätter ||| # blätter +vielblütige ||| # viel blütige +kopfige ||| # kopfige +blütenstände ||| ((('#',0,1),),(('blüten',0,1),('blüte',0,1),),(('stände',0,1),),) +kontinenten ||| # kontinenten +ausnahme ||| # ausnahme +australiens ||| # australiens +antarktikas ||| # antarktikas +natürlich ||| # natürlich +verbreitet ||| # verbreitet +australien ||| # australien +wurden ||| # wurden +verschiedene ||| # verschiedene +kleearten ||| # klee arten +menschen ||| # menschen +eingeführt ||| # eingeführt +landwirtschaft ||| # landwirtschaft +werden ||| # werden +verschiedene ||| # verschiedene +kleearten ||| # klee arten +futterpflanzen ||| # futter pflanzen +verwendet ||| # verwendet +kleeanbau ||| # klee anbau +europa ||| # europa +nordamerika ||| # nord amerika +ökonomischer ||| # ökonomischer +bedeutung ||| # bedeutung +europa ||| # europa +jahrhundert ||| # jahrhundert +christus ||| # christus +angebaut ||| # angebaut +fähigkeit ||| # fähigkeit +symbiose ||| # symbiose +knöllchenbakterien ||| # knöllchen bakterien +rhizobiaceae ||| # rhizobiaceae +wurzeln ||| # wurzeln +stickstoff ||| # stickstoff +verbesserung ||| # verbesserung +bodenfruchtbarkeit ||| # boden fruchtbarkeit +bedeutend ||| # bedeutend +kleeblatt ||| # klee blatt +symbolik ||| # symbolik +vieler ||| # vieler +kulturen ||| # kulturen +eingang ||| # eingang +repräsentiert ||| # repräsentiert +dreiheit ||| # dreiheit +beispiel ||| # beispiel +christentum ||| # christentum +dreifaltigkeit ||| # dreifaltigkeit +weiterhin ||| # weiterhin +sommer ||| # sommer +symbolisiert ||| # symbolisiert +vierblättrige ||| # vier blättrige +kleeblatt ||| # klee blatt +abschnittsweise ||| # abschnittsweise +glücksbringer ||| # glücks bringer diff --git a/compound-split/de/weights.trained b/compound-split/de/weights.trained index 313d6ba9..ba6d0a87 100644 --- a/compound-split/de/weights.trained +++ b/compound-split/de/weights.trained @@ -1,20 +1,41 @@ -# Objective = 164.304 (eval count=118) -WordCount 0.10973670965860199 -LettersSq -0.040894083779153829 -LettersSqrt 0.33757888570124861 -InDict 0.049573722026753933 -InDictSubWord 0.69975734577036308 -Short 0.33555471096277373 -Long -0.41832772458034762 -OOV 0.060162987632197122 -OOVSubWord 0.068471660184093452 -ShortRange -0.95127190946200446 -HighFreq -2.4179829648207223 -MedFreq -0.21881857269052826 -Freq -0.32292456278379877 -FreqLen1 -0.34734160349477439 -FreqLen2 -0.1574854779610021 -Bad -1.7868318814690027 -RevCharLM 0.52613329631178929 -FugS 0.028876419364008043 -FugN -0.086060954349416352 +# Objective = 373.014 (eval count=107) +WordCount -1.8869327566343108 +LettersSq -0.022219159772322049 +LettersLog 1.5465219157578709 +LettersSqrt -0.6495272263749684 +InDict -2.332375087319726 +InDictSubWord 0.26452819026499702 +Short 0.13144850920386639 +Long -0.52710619358235422 +OOV 0.44544233068531919 +OOVSubWord 0.75125506082273197 +ShortRange -0.78230895533247025 +HighFreq -3.0655897924811724 +MedFreq -0.14369078175639161 +LogFreq -0.81311437004671527 +LogLogFreq 2.6206266390841026 +InDictFullWord -0.30581273013741311 +FreqLen1 -0.10873902414630844 +FreqLen2 -0.26027758996716255 +CS:deutschland 1.5696188595965801 +CS:gesamt 0.028560662880942392 +CS:haupt 0.1618063663954605 +CS:heraus -0.69628340540889733 +CS:leistung -2.1294187611277859 +CS:leistungen -2.4560473865535157 +CS:mittel -0.80510419589789817 +CS:nord 2.8271111296136722 +CS:steuer 0.9875598817062996 +CS:süd 2.3186645768514627 +CS:teil 2.1697059289701635 +CS:ver -2.558598750514931 +CS:weise -3.1535788459718188 +CS:wieder -1.5735927337584283 +RevCharLM 1.1301086841248393 +FugS 0.91824843000525525 +FugN 0.54856707576078012 +LenBias_3 -0.49935662411257448 +LenBias_4 -0.41252603120380671 +LenBias_5 -0.7385165671809879 +LenBias_6 -0.7920324526310959 +LenBias_7 0.55549891849415567 diff --git a/compound-split/de/wordlist.de b/compound-split/de/wordlist.de index 676a1e3c..3609b10b 100644 --- a/compound-split/de/wordlist.de +++ b/compound-split/de/wordlist.de @@ -1,8 +1,18 @@ -steuer -teil +deutschland +gesamt +haupt +heraus +herausforderung +herausforderungen +leistung +leistungen mittel mitteln -süd nord -gesamt +selbstmord +steuer +süd +teil +ver +weise wieder diff --git a/decoder/ff_csplit.cc b/decoder/ff_csplit.cc index 33b6cea8..a0e538d3 100644 --- a/decoder/ff_csplit.cc +++ b/decoder/ff_csplit.cc @@ -37,7 +37,8 @@ struct BasicCSplitFeaturesImpl { short_range_(FD::Convert("ShortRange")), high_freq_(FD::Convert("HighFreq")), med_freq_(FD::Convert("MedFreq")), - freq_(FD::Convert("Freq")), + logfreq_(FD::Convert("LogFreq")), + loglogfreq_(FD::Convert("LogLogFreq")), in_dict_full_word_(FD::Convert("InDictFullWord")), fl1_(FD::Convert("FreqLen1")), fl2_(FD::Convert("FreqLen2")), @@ -86,7 +87,8 @@ struct BasicCSplitFeaturesImpl { const int short_range_; const int high_freq_; const int med_freq_; - const int freq_; + const int logfreq_; + const int loglogfreq_; const int in_dict_full_word_; const int fl1_; const int fl2_; @@ -139,7 +141,8 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl( float freq = freq_dict_.LookUp(word); if (freq) { - features->set_value(freq_, freq); + features->set_value(logfreq_, freq); + features->set_value(loglogfreq_, log(freq) / log(1.69)); features->set_value(in_dict_, 1.0); if (subword) features->set_value(in_dict_sub_word_, 1.0); } else { |