new tuning of crf compound splitter for wmt14

7 files changed, 474 insertions, 632 deletions

diff --git a/compound-split/de/TRAIN b/compound-split/de/TRAIN
index 2b48a8d2..835ffcfc 100755
--- a/compound-split/de/TRAIN
+++ b/compound-split/de/TRAIN
@@ -1,2 +1,2 @@
-~/cdec/training/mpi_batch_optimize -w weights.trained -t dev.in-ref -p -c cdec-train.ini -M 200
+mpirun -np 8 ~/cdec/training/crf/mpi_batch_optimize -w weights.trained -t train.in-ref -p -c cdec-train.ini -M 200
 
diff --git a/compound-split/de/test b/compound-split/de/test
deleted file mode 100644
index 8dac76cd..00000000
--- a/compound-split/de/test
+++ /dev/null
@@ -1,302 +0,0 @@
-aktiengesellschaft
-aktiengesellschaft
-wiederaufnahme
-tonbandaufnahme
-staatskrise
-staatskrise
-madagaskars
-präsident
-bittet
-schlagworte
-demonstration
-putsch
-machtkampf
-zwischen
-opposition
-regierungspartei
-regierungspartei
-spitzt
-afrikanischen
-botschaft
-befürchtet
-bürgerkrieg
-mitglieder
-oppositionspartei
-oppositionspartei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-mitglieder
-oppositionspartei
-oppositionspartei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-bedrängte
-präsident
-wandte
-öffentlichen
-hilferuf
-anhänger
-forderte
-regierungssitz
-regierungssitz
-schützen
-mitglieder
-präsidentengarde
-präsidentengarde
-unbestätigten
-medienberichten
-medienberichten
-begonnen
-posten
-verlassen
-augenzeugen
-augenzeugen
-berichteten
-gepanzerte
-fahrzeuge
-außenbezirken
-hauptstadt
-hauptstadt
-antananarivo
-botschafter
-marquardt
-nationalen
-fernsehen
-erklärt
-steuere
-bürgerkrieg
-botschaft
-familien
-mitarbeiter
-unbedingt
-benötigt
-werden
-bürger
-verlassen
-landes
-aufgefordert
-deutsche
-botschaft
-dagegen
-wollte
-absprache
-anderen
-europäischen
-vertretungen
-zunächst
-ausreise
-empfehlung
-regierung
-angeschlagenen
-staatspräsidenten
-staatspräsidenten
-ravalomanana
-demokratiebewegung
-selbst
-ernannten
-präsidenten
-übergangsregierung
-übergangsregierung
-rajoelina
-gegenüber
-wochen
-andauernde
-erbitterte
-machtkampf
-menschen
-gekostet
-hunderte
-wurden
-verletzt
-modernisierung
-atomwaffen
-umbauten
-marine
-russlands
-präsident
-medwedew
-aufrüstung
-begründung
-versuche
-präsenz
-grenzen
-landes
-verstärken
-anzeige
-moskau
-dmitrij
-medwedew
-begründet
-bebaren
-russischen
-streitkräfte
-sollten
-massiv
-gestärkt
-atomwaffenarsenal
-atomwaffenarsenal
-modernisiert
-werden
-westliche
-militärbündnis
-versuche
-präsenz
-grenzen
-auszubauen
-präsident
-deshalb
-aufrüstung
-marine
-umfang
-beginne
-umfassende
-umrüstung
-heeres
-flotte
-ernstes
-konfliktpotential
-infrastruktur
-kampfkraft
-streitkräfte
-strategischen
-atomwaffen
-internationalen
-terrorismus
-gefechtsbereitschaft
-gefechtsbereitschaft
-strategischen
-atomwaffen
-militärs
-aktuellen
-haushaltsprobleme
-haushaltsprobleme
-auswirkungen
-regierung
-streitkräfteetat
-infolge
-finanzkrise
-zusammengestrichen
-zusammengestrichen
-weitere
-kürzungen
-ausgeschlossen
-medwedews
-vorgänger
-wladimir
-wiederholt
-modernisierung
-waffenarsenals
-verkündet
-umsetzung
-ankündigungen
-großteil
-atomwaffen
-sowjetzeiten
-stimmung
-streitkräften
-rahmen
-reform
-offizierkorps
-verkleinert
-werden
-trifolium
-umfassende
-pflanzengattung
-pflanzengattung
-unterfamilie
-schmetterlingsblütler
-schmetterlingsblütler
-faboideae
-pflanzenfamilie
-pflanzenfamilie
-hülsenfrüchtler
-hülsenfrüchtler
-fabaceae
-gezählt
-sprachgebrauch
-allerdings
-häufig
-gattung
-bezeichnet
-sondern
-nahverwandten
-gattungen
-schneckenklee
-schneckenklee
-medicago
-steinklee
-melilotus
-taxonomisch
-entfernten
-gattung
-sauerklee
-oxalis
-charakteristische
-merkmale
-gattung
-dreifiedrige
-blätter
-vielblütige
-kopfige
-blütenstände
-blütenstände
-kontinenten
-ausnahme
-australiens
-antarktikas
-natürlich
-verbreitet
-australien
-wurden
-verschiedene
-kleearten
-menschen
-eingeführt
-landwirtschaft
-werden
-verschiedene
-kleearten
-futterpflanzen
-verwendet
-kleeanbau
-europa
-nordamerika
-ökonomischer
-bedeutung
-europa
-jahrhundert
-christus
-angebaut
-fähigkeit
-symbiose
-knöllchenbakterien
-rhizobiaceae
-wurzeln
-stickstoff
-verbesserung
-bodenfruchtbarkeit
-bedeutend
-kleeblatt
-symbolik
-vieler
-kulturen
-eingang
-repräsentiert
-dreiheit
-beispiel
-christentum
-dreifaltigkeit
-weiterhin
-sommer
-symbolisiert
-vierblättrige
-kleeblatt
-glücksbringer
-glücksbringer
-XX
diff --git a/compound-split/de/test.ref b/compound-split/de/test.ref
deleted file mode 100644
index 4b3c7abc..00000000
--- a/compound-split/de/test.ref
+++ /dev/null
@@ -1,302 +0,0 @@
-aktien gesellschaft
-aktie gesellschaft
-wiederaufnahme
-tonband aufnahme
-staats krise
-staat krise
-madagaskars
-präsident
-bittet
-schlagworte
-demonstration
-putsch
-macht kampf
-zwischen
-opposition
-regierungs partei
-regierung partei
-spitzt
-afrikanischen
-botschaft
-befürchtet
-bürger krieg
-mitglieder
-oppositions partei
-opposition partei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-mitglieder
-oppositions partei
-opposition partei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-bedrängte
-präsident
-wandte
-öffentlichen
-hilfe ruf
-anhänger
-forderte
-regierungs sitz
-regierung sitz
-schützen
-mitglieder
-präsidenten garde
-präsidenten garde
-unbestätigten
-medien berichten
-medie berichten
-begonnen
-posten
-verlassen
-augen zeugen
-auge zeugen
-berichteten
-gepanzerte
-fahrzeuge
-außen bezirken
-haupt stadt
-hauptstadt
-antananarivo
-botschafter
-marquardt
-nationalen
-fernsehen
-erklärt
-steuere
-bürger krieg
-botschaft
-familien
-mitarbeiter
-unbedingt
-benötigt
-werden
-bürger
-verlassen
-landes
-aufgefordert
-deutsche
-botschaft
-dagegen
-wollte
-absprache
-anderen
-europäischen
-vertretungen
-zunächst
-ausreise
-empfehlung
-regierung
-angeschlagenen
-staats präsidenten
-staat präsidenten
-ravalomanana
-demokratie bewegung
-selbst
-ernannten
-präsidenten
-übergangs regierung
-übergang regierung
-rajoelina
-gegenüber
-wochen
-andauernde
-erbitterte
-macht kampf
-menschen
-gekostet
-hunderte
-wurden
-verletzt
-modernisierung
-atom waffen
-umbauten
-marine
-russlands
-präsident
-medwedew
-aufrüstung
-begründung
-versuche
-präsenz
-grenzen
-landes
-verstärken
-anzeige
-moskau
-dmitrij
-medwedew
-begründet
-bebaren
-russischen
-streit kräfte
-sollten
-massiv
-gestärkt
-atom waffen arsenal
-atomwaffen arsenal
-modernisiert
-werden
-westliche
-militärbündnis
-versuche
-präsenz
-grenzen
-auszubauen
-präsident
-deshalb
-aufrüstung
-marine
-umfang
-beginne
-umfassende
-umrüstung
-heeres
-flotte
-ernstes
-konflikt potential
-infrastruktur
-kampf kraft
-streit kräfte
-strategischen
-atom waffen
-internationalen
-terrorismus
-gefechts bereitschaft
-gefecht bereitschaft
-strategischen
-atomwaffen
-militärs
-aktuellen
-haushalts probleme
-haushalt probleme
-auswirkungen
-regierung
-streit kräfte etat
-infolge
-finanz krise
-zusammengestrichen
-zusammen gestrichen
-weitere
-kürzungen
-ausgeschlossen
-medwedews
-vorgänger
-wladimir
-wiederholt
-modernisierung
-waffen arsenals
-verkündet
-umsetzung
-ankündigungen
-groß teil
-atom waffen
-sowjet zeiten
-stimmung
-streit kräften
-rahmen
-reform
-offizier korps
-verkleinert
-werden
-trifolium
-umfassende
-pflanzen gattung
-pflanze gattung
-unterfamilie
-schmetterlings blütler
-schmetterling blütler
-faboideae
-pflanzen familie
-pflanze familie
-hülsen früchtler
-hülse früchtler
-fabaceae
-gezählt
-sprach gebrauch
-allerdings
-häufig
-gattung
-bezeichnet
-sondern
-nah verwandten
-gattungen
-schnecken klee
-schnecke klee
-medicago
-stein klee
-melilotus
-taxonomisch
-entfernten
-gattung
-sauer klee
-oxalis
-charakteristische
-merkmale
-gattung
-drei fiedrige
-blätter
-viel blütige
-kopfige
-blüten stände
-blüte stände
-kontinenten
-ausnahme
-australiens
-antarktikas
-natürlich
-verbreitet
-australien
-wurden
-verschiedene
-klee arten
-menschen
-eingeführt
-landwirtschaft
-werden
-verschiedene
-klee arten
-futter pflanzen
-verwendet
-klee anbau
-europa
-nord amerika
-ökonomischer
-bedeutung
-europa
-jahrhundert
-christus
-angebaut
-fähigkeit
-symbiose
-knöllchen bakterien
-rhizobiaceae
-wurzeln
-stickstoff
-verbesserung
-boden fruchtbarkeit
-bedeutend
-klee blatt
-symbolik
-vieler
-kulturen
-eingang
-repräsentiert
-dreiheit
-beispiel
-christentum
-dreifaltigkeit
-weiterhin
-sommer
-symbolisiert
-vier blättrige
-klee blatt
-glücks bringer
-glück bringer
-XX
diff --git a/compound-split/de/dev.in-ref b/compound-split/de/train.in-ref
index 41d74757..80251b4a 100644
--- a/compound-split/de/dev.in-ref
+++ b/compound-split/de/train.in-ref
@@ -1,3 +1,5 @@
+niederlande ||| # niederlande
+hauptstadt ||| # hauptstadt
 untersuchungsausschuss ||| ((('#',0,1),),(('untersuchung',0,1),('untersuchungs',0,1),),(('ausschuss',0,1),),)
 vielleicht ||| # vielleicht
 hochzeiten ||| # hochzeiten
@@ -198,6 +200,10 @@ ausschließlich ||| # ausschließlich
 auszustrahlen ||| # auszustrahlen
 veröffentlichung ||| # veröffentlichung
 deutschland ||| # deutschland
+deutschland ||| # deutschland
+deutschland ||| # deutschland
+deutschland ||| # deutschland
+deutschland ||| # deutschland
 exkommunikation ||| # exkommunikation
 hintergrund ||| # hintergrund
 juristischen ||| # juristischen
@@ -553,6 +559,9 @@ bedrohlich ||| # bedrohlich
 anstieg ||| # anstieg
 kohlendioxids ||| ((('#',0,1),),(('kohle',0,1),('kohlen',0,1),),(('dioxids',0,1),),)
 computermodelle ||| # computer modelle
+hauptbahnhof ||| # haupt bahnhof
+hauptziel ||| # haupt ziel
+hauptunterschied ||| # haupt unterschied
 überhaupt ||| # überhaupt
 schützen ||| # schützen
 welchem ||| # welchem
@@ -815,6 +824,8 @@ reserven ||| # reserven
 wähler ||| # wähler
 bekommen ||| # bekommen
 herausforderer ||| # herausforderer
+herausforederung ||| # herausforderung
+herauseforderungen ||| # herauseforderungen
 romney ||| # romney
 kündigte ||| # kündigte
 wahltag ||| # wahltag
@@ -1199,6 +1210,9 @@ gegenleistung ||| # gegenleistung
 gegenteil ||| # gegenteil
 gegenüber ||| # gegenüber
 gehalten ||| # gehalten
+dienstleistung ||| # dienstleistung
+dienstleistungen ||| # dienstleistungen
+geheimdienst ||| # geheim dienst
 geheimdienste ||| # geheim dienste
 geheimdienstes ||| # geheim dienstes
 geheimdienstkreise ||| # geheim dienst kreise
@@ -2117,3 +2131,401 @@ irakkrieg ||| # irak krieg
 strafsteuer ||| # straf steuer
 regierungsmethode ||| # regierung methode
 rechtsschutzversicherungsgesellschaften ||| # recht schutz versicherung gesellschaften
+umstand ||| # umstand
+auffassungen ||| # auffassungen
+wirklichkeiten ||| # wirklichkeiten
+subkultur ||| # subkultur
+akzeptieren ||| # akzeptieren
+ausdruck ||| # ausdruck
+bürgerlichen ||| # bürgerlichen
+ordnungspolitik ||| # ordnung politik
+verpflichteten ||| # verpflichteten
+gesellschaftsverständnisses ||| # gesellschaft verständnisses
+ultras ||| # ultras
+dschungelcamp ||| # dschungel camp
+verfolgen ||| # verfolgen
+millionen ||| # millionen
+zuschauer ||| # zuschauer
+winfried ||| # winfried
+glatzeder ||| # glatzeder
+schauspieler ||| # schauspieler
+offenbar ||| # offenbar
+aufmerksamkeit ||| # aufmerksamkeit
+wiedergutmachungskurs ||| # wiedergutmachung kurs
+südsudanesische ||| # süd sudanesische
+schlüsselstadt ||| # schlüssel stadt
+rebellen ||| # rebellen
+zurückerobert ||| # zurück erobert
+zehntausende ||| # zehn tausende
+demonstrieren ||| # demonstrieren
+dänemark ||| # dänemark
+gewinnt ||| # gewinnt
+spitzenspiel ||| # spitzenspiel
+spanien ||| # spanien
+agrarindustrie ||| # agrar industrie
+minoische ||| # minoische
+computertechniker ||| # computer techniker
+geheime ||| # geheime
+gesundheitsministerium ||| # gesundheit ministerium
+geschmuggelt ||| # geschmuggelt
+apotheker ||| # apotheker
+lobbyisten ||| # lobbyisten
+thomas ||| # thomas
+bellartz ||| # bellartz
+verkauft ||| # verkauft
+eruption ||| # eruption
+santorin ||| # santorin
+spätbronzezeitliche ||| # spät bronze zeitliche
+ausbruch ||| # ausbruch
+ägäischen ||| # ägäischen
+vulkaninsel ||| # vulkan insel
+santorin ||| # santorin
+bezeichnet ||| # bezeichnet
+jahrhundert ||| # jahrhundert
+minoischen ||| # minoischen
+kultur ||| # kultur
+verbundene ||| # verbundene
+siedlung ||| # siedlung
+akrotiri ||| # akrotiri
+moderner ||| # moderner
+begrub ||| # begrub
+molekulare ||| # molekulare
+lenkraketen ||| # lenk raketen
+schlafende ||| # schlafende
+erreger ||| # erreger
+forscher ||| # forscher
+tierversuch ||| # tier versuch
+gefunden ||| # gefunden
+schlafenden ||| # schlafenden
+anzugreifen ||| # anzugreifen
+hubschrauber ||| # hubschrauber
+aufwachen ||| # aufwachen
+sonnenaufgang ||| ((('#',0,1),),(('sonnenaufgang',0,2),('sonne',0,1),),(('aufgang',0,1),),)
+atlantik ||| # atlantik
+zähneputzen ||| # zähne putzen
+freiheitsstatue ||| # freiheit statue
+dinner ||| # dinner
+central ||| # central
+abendsonne ||| # abend sonne
+derselben ||| # derselben
+wohnung ||| # wohnung
+besser ||| # besser
+jeffrey ||| # jeffrey
+dvorett ||| # dvorett
+immobilienmanager ||| # immobilien manager
+lieblingsprojekts ||| # liebling projekts
+seiner ||| # seiner
+entwicklungsfirma ||| # entwicklung firma
+lächelt ||| # lächelt
+veleba ||| # veleba
+diente ||| # diente
+grundlage ||| # grundlage
+entschädigungsverhandlungen ||| # entschädigung verhandlungen
+gutachten ||| # gutachten
+universitätskrankenhaus ||| # universität krankenhaus
+erarbeitet ||| # erarbeitet
+hauptplattform ||| # haupt plattform
+hollywoodfilme ||| # hollywood filme
+montreal ||| # montreal
+bekommen ||| # bekommen
+geringerer ||| # geringerer
+terminator ||| # terminator
+united ||| # united
+internet ||| # internet
+anteil ||| # anteil
+prozent ||| # prozent
+telekommunikationsunternehmen ||| # telekommunikation unternehmen
+versatel ||| # versatel
+gesichert ||| # gesichert
+durchschnittspreis ||| # durchschnitt preis
+beträgt ||| # beträgt
+unternehmen ||| # unternehmen
+mittwochabend ||| # mittwoch abend
+mitteilte ||| # mitteilte
+nationale ||| # nationale
+sicherheitsberater ||| # sicherheit berater
+norberto ||| # norberto
+gonzales ||| # gonzales
+verurteilte ||| # verurteilte
+vorgehen ||| # vorgehen
+soldaten ||| # soldaten
+militärtransportflugzeug ||| # militär transport flugzeug
+zufrieden ||| # zufrieden
+aktiengesellschaft ||| # aktie gesellschaft
+wiederaufnahme ||| # wiederaufnahme
+tonbandaufnahme ||| # tonband aufnahme
+staatskrise ||| # staat krise
+madagaskars ||| # madagaskars
+präsident ||| # präsident
+bittet ||| # bittet
+schlagworte ||| # schlagworte
+demonstration ||| # demonstration
+putsch ||| # putsch
+machtkampf ||| # macht kampf
+zwischen ||| # zwischen
+opposition ||| # opposition
+regierungspartei ||| # regierung partei
+spitzt ||| # spitzt
+afrikanischen ||| # afrikanischen
+botschaft ||| # botschaft
+befürchtet ||| # befürchtet
+mitglieder ||| # mitglieder
+oppositionspartei ||| # opposition partei
+demonstrieren ||| # demonstrieren
+putsch ||| # putsch
+madagaskars ||| # madagaskars
+präsidenten ||| # präsidenten
+ravalomanana ||| # ravalomanana
+mitglieder ||| # mitglieder
+oppositionspartei ||| # opposition partei
+demonstrieren ||| # demonstrieren
+putsch ||| # putsch
+madagaskars ||| # madagaskars
+präsidenten ||| # präsidenten
+ravalomanana ||| # ravalomanana
+bedrängte ||| # bedrängte
+präsident ||| # präsident
+wandte ||| # wandte
+öffentlichen ||| # öffentlichen
+hilferuf ||| # hilfe ruf
+anhänger ||| # anhänger
+forderte ||| # forderte
+regierungssitz ||| # regierung sitz
+schützen ||| # schützen
+mitglieder ||| # mitglieder
+präsidentengarde ||| # präsidenten garde
+unbestätigten ||| # unbestätigten
+medienberichten ||| # medien berichten
+begonnen ||| # begonnen
+posten ||| # posten
+verlassen ||| # verlassen
+augenzeugen ||| # auge zeugen
+berichteten ||| # berichteten
+gepanzerte ||| # gepanzerte
+fahrzeuge ||| # fahrzeuge
+außenbezirken ||| # außen bezirken
+hauptstadt ||| # hauptstadt
+antananarivo ||| # antananarivo
+botschafter ||| # botschafter
+marquardt ||| # marquardt
+nationalen ||| # nationalen
+fernsehen ||| # fernsehen
+erklärt ||| # erklärt
+steuere ||| # steuere
+bürgerkrieg ||| ((('#',0,1),),(('bürger',0,1),('bürgerkrieg',0,2),),(('krieg',0,1),),)
+botschaft ||| # botschaft
+familien ||| # familien
+mitarbeiter ||| # mitarbeiter
+unbedingt ||| # unbedingt
+benötigt ||| # benötigt
+werden ||| # werden
+bürger ||| # bürger
+verlassen ||| # verlassen
+landes ||| # landes
+aufgefordert ||| # aufgefordert
+deutsche ||| # deutsche
+botschaft ||| # botschaft
+dagegen ||| # dagegen
+wollte ||| # wollte
+absprache ||| # absprache
+anderen ||| # anderen
+europäischen ||| # europäischen
+vertretungen ||| # vertretungen
+zunächst ||| # zunächst
+ausreise ||| # ausreise
+empfehlung ||| # empfehlung
+regierung ||| # regierung
+angeschlagenen ||| # angeschlagenen
+staatspräsidenten ||| # staat präsidenten
+ravalomanana ||| # ravalomanana
+demokratiebewegung ||| # demokratie bewegung
+selbst ||| # selbst
+ernannten ||| # ernannten
+präsidenten ||| # präsidenten
+übergangsregierung ||| # übergang regierung
+rajoelina ||| # rajoelina
+gegenüber ||| # gegenüber
+wochen ||| # wochen
+andauernde ||| # andauernde
+erbitterte ||| # erbitterte
+machtkampf ||| # macht kampf
+menschen ||| # menschen
+gekostet ||| # gekostet
+hunderte ||| # hunderte
+wurden ||| # wurden
+verletzt ||| # verletzt
+modernisierung ||| # modernisierung
+atomwaffen ||| # atom waffen
+umbauten ||| # umbauten
+marine ||| # marine
+russlands ||| # russlands
+präsident ||| # präsident
+medwedew ||| # medwedew
+aufrüstung ||| # aufrüstung
+begründung ||| # begründung
+versuche ||| # versuche
+präsenz ||| # präsenz
+grenzen ||| # grenzen
+landes ||| # landes
+verstärken ||| # verstärken
+anzeige ||| # anzeige
+moskau ||| # moskau
+dmitrij ||| # dmitrij
+medwedew ||| # medwedew
+begründet ||| # begründet
+bebaren ||| # bebaren
+russischen ||| # russischen
+streitkräfte ||| # streit kräfte
+sollten ||| # sollten
+massiv ||| # massiv
+gestärkt ||| # gestärkt
+atomwaffenarsenal ||| ((('#',0,1),),(('atom',0,1),('atomwaffen',0,2),),(('waffen',0,1),),)
+modernisiert ||| # modernisiert
+werden ||| # werden
+westliche ||| # westliche
+militärbündnis ||| # militär bündnis
+versuche ||| # versuche
+präsenz ||| # präsenz
+grenzen ||| # grenzen
+auszubauen ||| # auszubauen
+präsident ||| # präsident
+deshalb ||| # deshalb
+aufrüstung ||| # aufrüstung
+marine ||| # marine
+umfang ||| # umfang
+beginne ||| # beginne
+umfassende ||| # umfassende
+umrüstung ||| # umrüstung
+heeres ||| # heeres
+flotte ||| # flotte
+ernstes ||| # ernstes
+konfliktpotential ||| # konflikt potential
+infrastruktur ||| # infrastruktur
+kampfkraft ||| # kampf kraft
+streitkräfte ||| # streit kräfte
+strategischen ||| # strategischen
+atomwaffen ||| # atom waffen
+internationalen ||| # internationalen
+terrorismus ||| # terrorismus
+gefechtsbereitschaft ||| # gefecht bereitschaft
+strategischen ||| # strategischen
+atomwaffen ||| # atomwaffen
+militärs ||| # militärs
+aktuellen ||| # aktuellen
+haushaltsprobleme ||| # haushalt probleme
+auswirkungen ||| # auswirkungen
+regierung ||| # regierung
+streitkräfteetat ||| # streit kräfte etat
+infolge ||| # infolge
+finanzkrise ||| # finanz krise
+zusammengestrichen ||| # zusammen gestrichen
+weitere ||| # weitere
+kürzungen ||| # kürzungen
+ausgeschlossen ||| # ausgeschlossen
+medwedews ||| # medwedews
+vorgänger ||| # vorgänger
+wladimir ||| # wladimir
+wiederholt ||| # wiederholt
+modernisierung ||| # modernisierung
+waffenarsenals ||| # waffen arsenals
+verkündet ||| # verkündet
+umsetzung ||| # umsetzung
+ankündigungen ||| # ankündigungen
+großteil ||| # groß teil
+atomwaffen ||| # atom waffen
+sowjetzeiten ||| # sowjet zeiten
+stimmung ||| # stimmung
+streitkräften ||| # streit kräften
+rahmen ||| # rahmen
+reform ||| # reform
+offizierkorps ||| # offizier korps
+verkleinert ||| # verkleinert
+werden ||| # werden
+trifolium ||| # trifolium
+umfassende ||| # umfassende
+pflanzengattung ||| # pflanze gattung
+unterfamilie ||| # unterfamilie
+schmetterlingsblütler ||| # schmetterling blütler
+faboideae ||| # faboideae
+pflanzenfamilie ||| # pflanze familie
+hülsenfrüchtler ||| # hülse früchtler
+fabaceae ||| # fabaceae
+gezählt ||| # gezählt
+sprachgebrauch ||| # sprach gebrauch
+allerdings ||| # allerdings
+häufig ||| # häufig
+gattung ||| # gattung
+bezeichnet ||| # bezeichnet
+sondern ||| # sondern
+nahverwandten ||| # nah verwandten
+gattungen ||| # gattungen
+schneckenklee ||| # schnecke klee
+medicago ||| # medicago
+steinklee ||| # stein klee
+melilotus ||| # melilotus
+taxonomisch ||| # taxonomisch
+entfernten ||| # entfernten
+gattung ||| # gattung
+sauerklee ||| # sauer klee
+oxalis ||| # oxalis
+charakteristische ||| # charakteristische
+merkmale ||| # merkmale
+gattung ||| # gattung
+dreifiedrige ||| # drei fiedrige
+blätter ||| # blätter
+vielblütige ||| # viel blütige
+kopfige ||| # kopfige
+blütenstände ||| ((('#',0,1),),(('blüten',0,1),('blüte',0,1),),(('stände',0,1),),)
+kontinenten ||| # kontinenten
+ausnahme ||| # ausnahme
+australiens ||| # australiens
+antarktikas ||| # antarktikas
+natürlich ||| # natürlich
+verbreitet ||| # verbreitet
+australien ||| # australien
+wurden ||| # wurden
+verschiedene ||| # verschiedene
+kleearten ||| # klee arten
+menschen ||| # menschen
+eingeführt ||| # eingeführt
+landwirtschaft ||| # landwirtschaft
+werden ||| # werden
+verschiedene ||| # verschiedene
+kleearten ||| # klee arten
+futterpflanzen ||| # futter pflanzen
+verwendet ||| # verwendet
+kleeanbau ||| # klee anbau
+europa ||| # europa
+nordamerika ||| # nord amerika
+ökonomischer ||| # ökonomischer
+bedeutung ||| # bedeutung
+europa ||| # europa
+jahrhundert ||| # jahrhundert
+christus ||| # christus
+angebaut ||| # angebaut
+fähigkeit ||| # fähigkeit
+symbiose ||| # symbiose
+knöllchenbakterien ||| # knöllchen bakterien
+rhizobiaceae ||| # rhizobiaceae
+wurzeln ||| # wurzeln
+stickstoff ||| # stickstoff
+verbesserung ||| # verbesserung
+bodenfruchtbarkeit ||| # boden fruchtbarkeit
+bedeutend ||| # bedeutend
+kleeblatt ||| # klee blatt
+symbolik ||| # symbolik
+vieler ||| # vieler
+kulturen ||| # kulturen
+eingang ||| # eingang
+repräsentiert ||| # repräsentiert
+dreiheit ||| # dreiheit
+beispiel ||| # beispiel
+christentum ||| # christentum
+dreifaltigkeit ||| # dreifaltigkeit
+weiterhin ||| # weiterhin
+sommer ||| # sommer
+symbolisiert ||| # symbolisiert
+vierblättrige ||| # vier blättrige
+kleeblatt ||| # klee blatt
+abschnittsweise ||| # abschnittsweise
+glücksbringer ||| # glücks bringer
diff --git a/compound-split/de/weights.trained b/compound-split/de/weights.trained
index 313d6ba9..ba6d0a87 100644
--- a/compound-split/de/weights.trained
+++ b/compound-split/de/weights.trained
@@ -1,20 +1,41 @@
-# Objective = 164.304  (eval count=118)
-WordCount 0.10973670965860199
-LettersSq -0.040894083779153829
-LettersSqrt 0.33757888570124861
-InDict 0.049573722026753933
-InDictSubWord 0.69975734577036308
-Short 0.33555471096277373
-Long -0.41832772458034762
-OOV 0.060162987632197122
-OOVSubWord 0.068471660184093452
-ShortRange -0.95127190946200446
-HighFreq -2.4179829648207223
-MedFreq -0.21881857269052826
-Freq -0.32292456278379877
-FreqLen1 -0.34734160349477439
-FreqLen2 -0.1574854779610021
-Bad -1.7868318814690027
-RevCharLM 0.52613329631178929
-FugS 0.028876419364008043
-FugN -0.086060954349416352
+# Objective = 373.014  (eval count=107)
+WordCount -1.8869327566343108
+LettersSq -0.022219159772322049
+LettersLog 1.5465219157578709
+LettersSqrt -0.6495272263749684
+InDict -2.332375087319726
+InDictSubWord 0.26452819026499702
+Short 0.13144850920386639
+Long -0.52710619358235422
+OOV 0.44544233068531919
+OOVSubWord 0.75125506082273197
+ShortRange -0.78230895533247025
+HighFreq -3.0655897924811724
+MedFreq -0.14369078175639161
+LogFreq -0.81311437004671527
+LogLogFreq 2.6206266390841026
+InDictFullWord -0.30581273013741311
+FreqLen1 -0.10873902414630844
+FreqLen2 -0.26027758996716255
+CS:deutschland 1.5696188595965801
+CS:gesamt 0.028560662880942392
+CS:haupt 0.1618063663954605
+CS:heraus -0.69628340540889733
+CS:leistung -2.1294187611277859
+CS:leistungen -2.4560473865535157
+CS:mittel -0.80510419589789817
+CS:nord 2.8271111296136722
+CS:steuer 0.9875598817062996
+CS:süd 2.3186645768514627
+CS:teil 2.1697059289701635
+CS:ver -2.558598750514931
+CS:weise -3.1535788459718188
+CS:wieder -1.5735927337584283
+RevCharLM 1.1301086841248393
+FugS 0.91824843000525525
+FugN 0.54856707576078012
+LenBias_3 -0.49935662411257448
+LenBias_4 -0.41252603120380671
+LenBias_5 -0.7385165671809879
+LenBias_6 -0.7920324526310959
+LenBias_7 0.55549891849415567
diff --git a/compound-split/de/wordlist.de b/compound-split/de/wordlist.de
index 676a1e3c..3609b10b 100644
--- a/compound-split/de/wordlist.de
+++ b/compound-split/de/wordlist.de
@@ -1,8 +1,18 @@
-steuer
-teil
+deutschland
+gesamt
+haupt
+heraus
+herausforderung
+herausforderungen
+leistung
+leistungen
 mittel
 mitteln
-süd
 nord
-gesamt
+selbstmord
+steuer
+süd
+teil
+ver
+weise
 wieder
diff --git a/decoder/ff_csplit.cc b/decoder/ff_csplit.cc
index 33b6cea8..a0e538d3 100644
--- a/decoder/ff_csplit.cc
+++ b/decoder/ff_csplit.cc
@@ -37,7 +37,8 @@ struct BasicCSplitFeaturesImpl {
       short_range_(FD::Convert("ShortRange")),
       high_freq_(FD::Convert("HighFreq")),
       med_freq_(FD::Convert("MedFreq")),
-      freq_(FD::Convert("Freq")),
+      logfreq_(FD::Convert("LogFreq")),
+      loglogfreq_(FD::Convert("LogLogFreq")),
       in_dict_full_word_(FD::Convert("InDictFullWord")),
       fl1_(FD::Convert("FreqLen1")),
       fl2_(FD::Convert("FreqLen2")),
@@ -86,7 +87,8 @@ struct BasicCSplitFeaturesImpl {
   const int short_range_;
   const int high_freq_;
   const int med_freq_;
-  const int freq_;
+  const int logfreq_;
+  const int loglogfreq_;
   const int in_dict_full_word_;
   const int fl1_;
   const int fl2_;
@@ -139,7 +141,8 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
 
   float freq = freq_dict_.LookUp(word);
   if (freq) {
-    features->set_value(freq_, freq);
+    features->set_value(logfreq_, freq);
+    features->set_value(loglogfreq_, log(freq) / log(1.69));
     features->set_value(in_dict_, 1.0);
     if (subword) features->set_value(in_dict_sub_word_, 1.0);
   } else {