new de split

6 files changed, 1261 insertions, 4 deletions

diff --git a/compound-split/cdec-de.ini b/compound-split/cdec-de.ini
index 85424e91..1573dd52 100644
--- a/compound-split/cdec-de.ini
+++ b/compound-split/cdec-de.ini
@@ -2,5 +2,5 @@ formalism=csplit
 intersection_strategy=full
 weights=de/weights.trained
 #weights=de/weights.noun-only-1best-only
-feature_function=CSplit_BasicFeatures de/large_dict.de.gz de/badlist.de.gz
+feature_function=CSplit_BasicFeatures de/large_dict.de.gz de/badlist.de.gz de/wordlist.de
 feature_function=CSplit_ReverseCharLM de/charlm.rev.5gm.de.lm.gz
diff --git a/compound-split/de/cdec-train.ini b/compound-split/de/cdec-train.ini
index 44f5934d..cd8e642d 100644
--- a/compound-split/de/cdec-train.ini
+++ b/compound-split/de/cdec-train.ini
@@ -1,5 +1,5 @@
 formalism=csplit
 # crf_uniform_empirical=true
 intersection_strategy=full
-feature_function=CSplit_BasicFeatures large_dict.de.gz badlist.de.gz
+feature_function=CSplit_BasicFeatures large_dict.de.gz badlist.de.gz wordlist.de
 feature_function=CSplit_ReverseCharLM charlm.rev.5gm.de.lm.gz
diff --git a/compound-split/de/dev.in-ref b/compound-split/de/dev.in-ref
index b91daced..41d74757 100644
--- a/compound-split/de/dev.in-ref
+++ b/compound-split/de/dev.in-ref
@@ -901,3 +901,1219 @@ geheimnis ||| # geheimnis
 bienentanzes ||| # biene tanzes
 entschlüsseln ||| # entschlüsseln
 klimawandel ||| # klima wandel
+empörend ||| # empörend
+ernannt ||| # ernannt
+wirtschaftliche ||| # wirtschaftliche
+offiziell ||| # offiziell
+abgefangen ||| # abgefangen
+abgehört ||| # abgehört
+abgehört ||| # abgehört
+abgeschafft ||| # abgeschafft
+abgesetzt ||| # abgesetzt
+abhängen ||| # abhängen
+abhöraktion ||| # abhör aktion
+abhörsichere ||| # abhör sichere
+abkommen ||| # abkommen
+absage ||| # absage
+abschaffung ||| # abschaffung
+affronts ||| # affronts
+agenten ||| # agenten
+aktion ||| # aktion
+aktivisten ||| # aktivisten
+aktivisten ||| # aktivisten
+alexander ||| # alexander
+alledem ||| # alledem
+allgemeine ||| # allgemeine
+amerikaner ||| # amerikaner
+amtsübergabe ||| ((('#',0,1),),(('amts',0,1),('amt',0,1),),(('übergabe',0,1),),)
+analysiert ||| # analysiert
+anderen ||| # anderen
+anderen ||| # anderen
+anderer ||| # anderer
+anderes ||| # anderes
+andernfalls ||| # andernfalls
+anders ||| # anders
+anders ||| # anders
+anfangen ||| # anfangen
+anführer ||| # anführer
+anführer ||| # anführer
+angeblich ||| # angeblich
+angeblich ||| # angeblich
+angela ||| # angela
+anklopft ||| # anklopft
+anspruch ||| # anspruch
+anspruch ||| # anspruch
+antreten ||| # antreten
+antworten ||| # antworten
+arbeitet ||| # arbeitet
+argwöhnisch ||| # argwöhnisch
+atomvertrag ||| # atom vertrag
+aufbewahrt ||| # aufbewahrt
+aufgehen ||| # aufgehen
+aufgezeichnet ||| # aufgezeichnet
+aufhören ||| # aufhören
+aufklärung ||| # aufklärung
+aufklärung ||| # aufklärung
+aufklärungsarbeit ||| ((('#',0,1),),(('aufklärungs',0,1),('aufklärung',0,1),),(('arbeit',0,1),),)
+aufzeichnete ||| # aufzeichnete
+auseinandersetzung ||| # auseinandersetzung
+ausforschungsprogramm ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('programm',0,1),),)
+ausforschungstechniken ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('techniken',0,1),),)
+ausgewählten ||| # ausgewählten
+auslöser ||| # auslöser
+auslöser ||| # auslöser
+ausmacht ||| # ausmacht
+ausmacht ||| # ausmacht
+ausmaß ||| # ausmaß
+ausprobieren ||| # ausprobieren
+ausprobiert ||| # ausprobiert
+ausrufezeichen ||| # ausrufezeichen
+autokrat ||| # autokrat
+autorität ||| # autorität
+außenminister ||| # außen minister
+außenministerium ||| # außen ministerium
+außenpolitischen ||| # außen politischen
+außenpolitischen ||| # außenpolitischen
+barack ||| # barack
+barmherzig ||| # barmherzig
+bedankte ||| # bedankte
+bedeutet ||| # bedeutet
+bedeutung ||| # bedeutung
+befürchtet ||| # befürchtet
+beginn ||| # beginn
+behauptet ||| # behauptet
+beiden ||| # beiden
+beides ||| # beides
+beiseiteschieben ||| # beiseite schieben
+beispielsweise ||| # beispielsweise
+bekanntwerden ||| # bekannt werden
+belauschen ||| # belauschen
+belauscht ||| # belauscht
+belege ||| # belege
+benötigt ||| # benötigt
+bereits ||| # bereits
+bericht ||| # bericht
+bericht ||| # bericht
+berichtet ||| # berichtet
+berlin ||| # berlin
+berliner ||| # berliner
+berufung ||| # berufung
+beschränkt ||| # beschränkt
+besetzen ||| # besetzen
+besetzt ||| # besetzt
+besonders ||| # besonders
+besorgt ||| # besorgt
+besser ||| # besser
+besser ||| # besser
+bestehen ||| # bestehen
+bestellt ||| # bestellt
+bestimmen ||| # bestimmen
+bestätigen ||| # bestätigen
+bestätigt ||| # bestätigt
+betrachtet ||| # betrachtet
+betritt ||| # betritt
+beunruhigend ||| # beunruhigend
+bewundern ||| # bewundern
+bewusstzuwerden ||| # bewusstzuwerden
+beziehungen ||| # beziehungen
+beäugen ||| # beäugen
+bieten ||| # bieten
+billigte ||| # billigte
+bisher ||| # bisher
+botschaft ||| # botschaft
+botschaft ||| # botschaft
+brandenburger ||| # brandenburger
+brandenburger ||| # brandenburger
+brauchen ||| # brauchen
+brauchen ||| # brauchen
+braucht ||| # braucht
+braucht ||| # braucht
+bundespräsident ||| # bundespräsident
+bundeswehr ||| # bundeswehr
+bändigen ||| # bändigen
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürgerkrieg ||| # bürger krieg
+bürgerlichen ||| # bürgerlichen
+bürgerrechte ||| # bürger rechte
+bürgerrechte ||| # bürger rechte
+bürgerrechten ||| # bürger rechten
+channel ||| # channel
+chefin ||| # chefin
+chinesen ||| # chinesen
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+dachte ||| # dachte
+damals ||| # damals
+damals ||| # damals
+damals ||| # damals
+danach ||| # danach
+danach ||| # danach
+darauf ||| # darauf
+darauf ||| # darauf
+darauf ||| # darauf
+dauern ||| # dauern
+definitionen ||| # definitionen
+demnach ||| # demnach
+demokratie ||| # demokratie
+demokratische ||| # demokratische
+demokratische ||| # demokratische
+demokratischen ||| # demokratischen
+denken ||| # denken
+derweil ||| # derweil
+derzeit ||| # derzeit
+deshalb ||| # deshalb
+dessen ||| # dessen
+dessen ||| # dessen
+deutsche ||| # deutsche
+deutschen ||| # deutschen
+deutscher ||| # deutscher
+dezentralisiert ||| # dezentralisiert
+diesem ||| # diesem
+diesem ||| # diesem
+diesem ||| # diesem
+diesem ||| # diesem
+diesen ||| # diesen
+diesen ||| # diesen
+dieser ||| # dieser
+dieser ||| # dieser
+dieser ||| # dieser
+dimension ||| # dimension
+direkt ||| # direkt
+direkt ||| # direkt
+dossier ||| # dossier
+dreckiges ||| # dreckiges
+dringlichkeit ||| # dringlichkeit
+drucken ||| # drucken
+drängen ||| # drängen
+durcheinander ||| # durcheinander
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+eigenes ||| # eigenes
+eindrückliche ||| # eindrückliche
+eindrücklichen ||| # eindrücklichen
+einfach ||| # einfach
+einfach ||| # einfach
+eingeräumt ||| # eingeräumt
+einmal ||| # einmal
+einschnitt ||| # einschnitt
+einsichten ||| # einsichten
+einzelnen ||| # einzelnen
+element ||| # element
+element ||| # element
+elemente ||| # elemente
+eltern ||| # eltern
+eltern ||| # eltern
+empfangen ||| # empfangen
+endgültig ||| # endgültig
+englischen ||| # englischen
+englischen ||| # englischen
+enthüllungen ||| # enthüllungen
+enthüllungen ||| # enthüllungen
+entlässt ||| # entlässt
+entmachtet ||| # entmachtet
+entscheiden ||| # entscheiden
+entscheidende ||| # entscheidende
+entscheidet ||| # entscheidet
+entscheidungen ||| # entscheidungen
+entstanden ||| # entstanden
+entstehen ||| # entstehen
+entwickeln ||| # entwickeln
+entwickeln ||| # entwickeln
+entwickeln ||| # entwickeln
+episode ||| # episode
+epochalen ||| # epochalen
+erfahren ||| # erfahren
+erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
+erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
+ergebnissen ||| # ergebnissen
+erhalten ||| # erhalten
+erhielt ||| # erhielt
+erinnern ||| # erinnern
+erkenntnisse ||| # erkenntnisse
+erneut ||| # erneut
+ernstfall ||| # ernstfall
+erscheint ||| # erscheint
+ersetzt ||| # ersetzt
+erstickt ||| # erstickt
+erstmals ||| # erstmals
+erwachsen ||| # erwachsen
+erweitert ||| # erweitert
+europäer ||| # europäer
+ewigen ||| # ewigen
+existiert ||| # existiert
+februar ||| # februar
+februar ||| # februar
+fehler ||| # fehler
+felder ||| # felder
+fernsehen ||| # fernsehen
+festgehalten ||| # festgehalten
+festnetzanschluss ||| # festnetzanschluss
+festnetzanschluss ||| # festnetzanschluss
+finden ||| # finden
+finden ||| # finden
+fliehen ||| # fliehen
+forbes ||| # forbes
+frankfurter ||| # frankfurter
+freien ||| # freien
+freiheit ||| # freiheit
+freiheit ||| # freiheit
+freiheit ||| # freiheit
+freiheiten ||| # freiheiten
+freilassung ||| # freilassung
+freilassung ||| # freilassung
+freilich ||| # freilich
+freiräume ||| # freiräume
+freundschaftlichen ||| # freundschaftlichen
+funktionieren ||| # funktionieren
+fußball ||| # fußball
+führer ||| # führer
+führten ||| # führten
+gaucks ||| # gaucks
+geachtet ||| # geachtet
+gearbeitet ||| # gearbeitet
+geborenes ||| # geborenes
+gedanken ||| # gedanken
+geeint ||| # geeint
+gefahr ||| # gefahr
+gefangenen ||| # gefangenen
+gefragt ||| # gefragt
+gefragt ||| # gefragt
+gefängnisse ||| # gefängnisse
+geführt ||| # geführt
+gegeneinander ||| # gegeneinander
+gegenleistung ||| # gegenleistung
+gegenteil ||| # gegenteil
+gegenüber ||| # gegenüber
+gehalten ||| # gehalten
+geheimdienste ||| # geheim dienste
+geheimdienstes ||| # geheim dienstes
+geheimdienstkreise ||| # geheim dienst kreise
+geheimdiensttruppe ||| # geheim dienst truppe
+geheimdienstzentrale ||| # geheim dienst zentrale
+geheime ||| # geheime
+geheimoperation ||| # geheim operation
+gehört ||| # gehört
+geknackt ||| # geknackt
+geknackt ||| # geknackt
+gemacht ||| # gemacht
+genfer ||| # genfer
+genutzt ||| # genutzt
+geordnet ||| # geordnet
+george ||| # george
+gerhard ||| # gerhard
+gerichten ||| # gerichten
+gesammelt ||| # gesammelt
+geschäftsleute ||| # geschäft leute
+gesellschaft ||| # gesellschaft
+gesellschaft ||| # gesellschaft
+gesellschaft ||| # gesellschaft
+gesellschaftliche ||| # gesellschaftliche
+gesellschaftssystem ||| # gesellschaft system
+gesetze ||| # gesetze
+gesicherten ||| # gesicherten
+gespräch ||| # gespräch
+gestartet ||| # gestartet
+gestellt ||| # gestellt
+gestoppt ||| # gestoppt
+gestoppt ||| # gestoppt
+gewaltig ||| # gewaltig
+gewehrt ||| # gewehrt
+gewesen ||| # gewesen
+gewesen ||| # gewesen
+gewusst ||| # gewusst
+gewählt ||| # gewählt
+gewährte ||| # gewährte
+geändert ||| # geändert
+gingen ||| # gingen
+gingen ||| # gingen
+glauben ||| # glauben
+gleichziehen ||| # gleichziehen
+gnädig ||| # gnädig
+greenpeace ||| # greenpeace
+greenpeace ||| # greenpeace
+greift ||| # greift
+grimmig ||| # grimmig
+gründen ||| # gründen
+gründete ||| # gründete
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+halten ||| # halten
+halten ||| # halten
+helfen ||| # helfen
+herauszufinden ||| # herauszufinden
+hinaus ||| # hinaus
+hindurch ||| # hindurch
+hingewiesen ||| # hingewiesen
+hinschauen ||| # hinschauen
+hinzufügen ||| # hinzufügen
+hochrangiger ||| # hochrangiger
+hochrangiger ||| # hochrangiger
+hätten ||| # hätten
+images ||| # images
+indirekt ||| # indirekt
+informationen ||| # informationen
+informationen ||| # informationen
+informationen ||| # informationen
+informationen ||| # informationen
+informiert ||| # informiert
+inhalt ||| # inhalt
+innenpolitisch ||| # innen politisch
+insgesamt ||| # insgesamt
+institut ||| # institut
+instituts ||| # instituts
+interesse ||| # interesse
+internat ||| # internat
+intervention ||| # intervention
+irgendwohin ||| # irgendwohin
+jahren ||| # jahren
+jahrtausends ||| # jahrtausends
+jahrzehnte ||| # jahrzehnte
+januar ||| # januar
+jedenfalls ||| # jedenfalls
+jedenfalls ||| # jedenfalls
+jelzin ||| # jelzin
+jeweiligen ||| # jeweiligen
+joachim ||| # joachim
+jährlich ||| # jährlich
+jüngste ||| # jüngste
+kampfzone ||| # kampf zone
+kandidaten ||| # kandidaten
+kannten ||| # kannten
+kanzler ||| # kanzler
+kanzleramt ||| # kanzleramt
+kanzleramt ||| # kanzleramt
+kanzlerin ||| # kanzlerin
+kanzlerin ||| # kanzlerin
+kanzlerin ||| # kanzlerin
+kanzlers ||| # kanzlers
+kanzlers ||| # kanzlers
+katastrophal ||| # katastrophal
+keinen ||| # keinen
+kinder ||| # kinder
+kinder ||| # kinder
+kleine ||| # kleine
+knackten ||| # knackten
+knalliges ||| # knalliges
+kommen ||| # kommen
+kommen ||| # kommen
+kommen ||| # kommen
+konnte ||| # konnte
+konnte ||| # konnte
+konnten ||| # konnten
+konsultation ||| # konsultation
+kontrollieren ||| # kontrollieren
+kontrollorgane ||| # kontroll organe
+korruption ||| # korruption
+kremls ||| # kremls
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kunstgriffen ||| # kunst griffen
+kurzum ||| # kurzum
+kämpfer ||| # kämpfer
+können ||| # können
+können ||| # können
+können ||| # können
+können ||| # können
+können ||| # können
+könnte ||| # könnte
+könnten ||| # könnten
+könnten ||| # könnten
+kümmert ||| # kümmert
+kürzlich ||| # kürzlich
+landbevölkerung ||| # land bevölkerung
+landes ||| # landes
+lassen ||| # lassen
+lassen ||| # lassen
+laufen ||| # laufen
+lausch ||| # lausch
+lauschaktivitäten ||| # lausch aktivitäten
+lauschangriff ||| # lausch angriff
+lauschangriff ||| # lausch angriff
+lediglich ||| # lediglich
+leiter ||| # leiter
+letzteren ||| # letzteren
+lewada ||| # lewada
+lewada ||| # lewada
+lieber ||| # lieber
+machen ||| # machen
+machen ||| # machen
+machen ||| # machen
+mannes ||| # mannes
+markiert ||| # markiert
+marktwirtschaft ||| # markt wirtschaft
+massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
+massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
+medien ||| # medien
+medien ||| # medien
+meinungsforscher ||| # meinung forscher
+meinungsforschungsinstitut ||| # meinung forschung institut
+meinungsforschungsinstituts ||| # meinung forschung instituts
+meiste ||| # meiste
+meisten ||| # meisten
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschlichkeit ||| # menschlichkeit
+menschsein ||| # menschsein
+menschsein ||| ((('#',0,1),),(('menschsein',0,2),('mensch',0,1),),(('sein',0,1),),)
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+michail ||| # michail
+militärintervention ||| # militär intervention
+milliardenkredit ||| # milliarden kredit
+mitarbeiter ||| # mitarbeiter
+mitarbeiter ||| # mitarbeiter
+mitarbeitern ||| # mitarbeitern
+mitarbeiters ||| # mitarbeiters
+mitglieder ||| # mitglieder
+mithalten ||| # mithalten
+mittags ||| # mittags
+mitteilen ||| # mitteilen
+mittwoch ||| # mittwoch
+modernster ||| # modernster
+moment ||| # moment
+moskau ||| # moskau
+musste ||| # musste
+mächtige ||| # mächtige
+mächtigste ||| # mächtigste
+mögliche ||| # mögliche
+möglicher ||| # möglicher
+müssen ||| # müssen
+müssen ||| # müssen
+nachdem ||| # nachdem
+nachrichten ||| # nachrichten
+nannte ||| # nannte
+natürlich ||| # natürlich
+nebenbei ||| # nebenbei
+nehmen ||| # nehmen
+neuesten ||| # neuesten
+neunzigern ||| # neunzigern
+neunzigern ||| # neunzigern
+nichts ||| # nichts
+nichts ||| # nichts
+nichts ||| # nichts
+nichts ||| # nichts
+nichtstaatliche ||| # nicht staatliche
+niemand ||| # niemand
+nominiert ||| # nominiert
+notlage ||| # notlage
+nutzen ||| # nutzen
+nötige ||| # nötige
+obamas ||| # obamas
+oligarchen ||| # oligarchen
+olympischen ||| # olympischen
+olympischen ||| # olympischen
+olympischen ||| # olympischen
+online ||| # online
+operation ||| # operation
+optimistisch ||| # optimistisch
+organisatoren ||| # organisatoren
+parlamentarismus ||| # parlamentarismus
+parlamenten ||| # parlamenten
+partei ||| # partei
+passiert ||| # passiert
+persönlich ||| # persönlich
+plötzlich ||| # plötzlich
+politik ||| # politik
+politiker ||| # politiker
+politisch ||| # politisch
+politische ||| # politische
+politischen ||| # politischen
+politischen ||| # politischen
+polizei ||| # polizei
+positionen ||| # positionen
+positives ||| # positives
+postsowjetischen ||| # post sowjetischen
+potenzielle ||| # potenzielle
+prekären ||| # prekären
+pressekonferenz ||| # presse konferenz
+prinzip ||| # prinzip
+privaten ||| # privaten
+privatheit ||| # privatheit
+privatheit ||| # privatheit
+privatleben ||| # privat leben
+privatleben ||| # privat leben
+problem ||| # problem
+profilseite ||| # profil seite
+prozent ||| # prozent
+prozent ||| # prozent
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+pubertät ||| # pubertät
+punksängerinnen ||| # punk sängerinnen
+putins ||| # putins
+quellennennung ||| # quelle nennung
+radikal ||| # radikal
+reformen ||| # reformen
+regierung ||| # regierung
+regierung ||| # regierung
+regierung ||| # regierung
+regierungschefs ||| # regierung chefs
+regionen ||| # regionen
+reisepläne ||| # reisepläne
+rezitierte ||| # rezitierte
+richter ||| # richter
+riesigen ||| # riesigen
+russen ||| # russen
+russen ||| # russen
+russen ||| # russen
+russen ||| # russen
+russische ||| # russische
+russische ||| # russische
+russischen ||| # russischen
+russischen ||| # russischen
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russlands ||| # russlands
+russlands ||| # russlands
+schafft ||| # schafft
+schaut ||| # schaut
+schenkt ||| # schenkt
+schließen ||| # schließen
+schlimm ||| # schlimm
+schlüsselstellen ||| # schlüssel stellen
+schmiergelder ||| # schmier gelder
+schrecken ||| # schrecken
+schreibt ||| # schreibt
+schrie ||| # schrie
+schrieb ||| # schrieb
+schritt ||| # schritt
+schritte ||| # schritte
+schröder ||| # schröder
+schröder ||| # schröder
+schröder ||| # schröder
+schröders ||| # schröders
+schwarzen ||| # schwarzen
+schweigen ||| # schweigen
+schützen ||| # schützen
+seinen ||| # seinen
+seinen ||| # seinen
+seiner ||| # seiner
+seiner ||| # seiner
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbstbewusstseins ||| # selbstbewusstseins
+selten ||| # selten
+setzte ||| # setzte
+sicherheit ||| # sicherheit
+sicherung ||| # sicherung
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+sofort ||| # sofort
+solche ||| # solche
+sommer ||| # sommer
+sommerurlaubsort ||| # sommer urlaub ort
+sondern ||| # sondern
+sondern ||| # sondern
+sondern ||| # sondern
+sonntag ||| # sonntag
+sonntag ||| # sonntag
+sonntagszeitung ||| # sonntag zeitung
+sotschi ||| # sotschi
+sotschi ||| # sotschi
+sotschi ||| # sotschi
+sowjetunion ||| # sowjet union
+spektakel ||| # spektakel
+sperre ||| # sperre
+spezialisten ||| # spezialisten
+spezialisten ||| # spezialisten
+spiegel ||| # spiegel
+spiele ||| # spiele
+spielen ||| # spielen
+spielen ||| # spielen
+spione ||| # spione
+sportereignisse ||| # sport ereignisse
+sportliche ||| # sportliche
+spreche ||| # spreche
+spricht ||| # spricht
+spräche ||| # spräche
+später ||| # später
+später ||| # später
+staaten ||| # staaten
+staatsaufträgen ||| # staat aufträgen
+staatsgewalt ||| ((('#',0,1),),(('staats',0,1),('staat',0,1),),(('gewalt',0,1),),)
+stabilisiert ||| # stabilisiert
+stagniert ||| # stagniert
+starken ||| # starken
+starken ||| # starken
+starker ||| # starker
+starker ||| # starker
+starker ||| # starker
+starten ||| # starten
+stationiert ||| # stationiert
+status ||| # status
+stehen ||| # stehen
+steinmeier ||| # steinmeier
+steinmeier ||| # steinmeier
+steinmeiers ||| # steinmeiers
+straflager ||| # straflager
+ständig ||| # ständig
+stärkt ||| # stärkt
+stärkung ||| # stärkung
+syrischen ||| # syrischen
+system ||| # system
+system ||| # system
+system ||| # system
+system ||| # system
+sämtliche ||| # sämtliche
+sängerinnen ||| # sängerinnen
+sängerinnen ||| # sängerinnen
+sätzen ||| # sätzen
+technik ||| # technik
+teilnahme ||| # teilnahme
+telefonat ||| # telefonat
+telefongespräche ||| # telefon gespräche
+themas ||| # themas
+tragen ||| # tragen
+transparenz ||| # transparenz
+trauen ||| # trauen
+traute ||| # traute
+ukraine ||| # ukraine
+ukraine ||| # ukraine
+umfassendes ||| # umfassendes
+umgang ||| # umgang
+umweltschützer ||| # umwelt schützer
+unabhängige ||| # unabhängige
+unabhängigen ||| # unabhängigen
+unbeobachteten ||| # unbeobachteten
+unmenschlicher ||| # unmenschlicher
+unseren ||| # unseren
+unserer ||| # unserer
+unserer ||| # unserer
+unserer ||| # unserer
+unserer ||| # unserer
+unternehmen ||| # unternehmen
+unterordnen ||| # unterordnen
+unterstützen ||| # unterstützen
+unterstützung ||| # unterstützung
+untersuchten ||| # untersuchten
+verbrachte ||| # verbrachte
+verfahren ||| # verfahren
+vergangenheit ||| # vergangenheit
+vergessene ||| # vergessene
+vergünstigungen ||| # vergünstigungen
+verhinderte ||| # verhinderte
+verhängnisvoller ||| # verhängnisvoller
+verkündet ||| # verkündet
+verlangen ||| # verlangen
+verlassen ||| # verlassen
+verloren ||| # verloren
+vernichtet ||| # vernichtet
+vernichtung ||| # vernichtung
+versichert ||| # versichert
+verspielen ||| # verspielen
+verspielen ||| # verspielen
+verstärkt ||| # verstärkt
+versuchen ||| # versuchen
+vertrauen ||| # vertrauen
+vertraut ||| # vertraut
+vertrauten ||| # vertrauten
+verträglichkeit ||| # verträglichkeit
+verwendet ||| # verwendet
+veränderungen ||| # veränderungen
+veränderungen ||| # veränderungen
+vielen ||| # vielen
+vierten ||| # vierten
+visier ||| # visier
+vollends ||| # vollends
+vorbeischauen ||| # vorbeischauen
+vorgänger ||| # vorgänger
+vorrangig ||| # vorrangig
+vorrecht ||| # vorrecht
+vorstellen ||| # vorstellen
+vorwerfen ||| # vorwerfen
+vorwürfe ||| # vorwürfe
+vorzeitig ||| # vorzeitig
+wahlerfolg ||| # wahlerfolg
+wahljahr ||| # wahljahr
+walter ||| # walter
+washington ||| # washington
+weihnachten ||| # weihnachten
+weihnachtsansprache ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('ansprache',0,1),),)
+weihnachtsbotschaft ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('botschaft',0,1),),)
+weiter ||| # weiter
+weiter ||| # weiter
+weiter ||| # weiter
+weiter ||| # weiter
+weiterarbeiten ||| # weiterarbeiten
+weitere ||| # weitere
+weißen ||| # weißen
+weltöffentlichkeit ||| # welt öffentlichkeit
+wenige ||| # wenige
+wenigen ||| # wenigen
+weniger ||| # weniger
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+wesentliches ||| # wesentliches
+wesentliches ||| # wesentliches
+westerwelle ||| # westerwelle
+whistleblower ||| ((('#',0,1),),(('whistleblower',0,2),('whistle',0,1),),(('blower',0,1),),)
+wichtig ||| # wichtig
+wichtige ||| # wichtige
+wichtigsten ||| # wichtigsten
+widmann ||| # widmann
+wieder ||| # wieder
+wieder ||| # wieder
+wieder ||| # wieder
+wieder ||| # wieder
+winterspiele ||| # winter spiele
+wirken ||| # wirken
+wirtschaftlich ||| # wirtschaftlich
+wissen ||| # wissen
+wissen ||| # wissen
+wissen ||| # wissen
+wissen ||| # wissen
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wohlstand ||| # wohlstand
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollte ||| # wollte
+wollten ||| # wollten
+worden ||| # worden
+worden ||| # worden
+worden ||| # worden
+wurden ||| # wurden
+wurden ||| # wurden
+wusste ||| # wusste
+wussten ||| # wussten
+wählen ||| # wählen
+während ||| # während
+würden ||| # würden
+wüssten ||| # wüssten
+zeitung ||| # zeitung
+zerfall ||| # zerfall
+zimmer ||| # zimmer
+zimmer ||| # zimmer
+zitiert ||| # zitiert
+zitierte ||| # zitierte
+zivilgesellschaft ||| # zivil gesellschaft
+zuflucht ||| # zuflucht
+zufolge ||| # zufolge
+zufolge ||| # zufolge
+zunächst ||| # zunächst
+zustand ||| # zustand
+zweiminütigen ||| ((('#',0,1),),(('zweiminütigen',0,2),('zwei',0,1),),(('minütigen',0,1),),)
+zweiten ||| # zweiten
+zwischen ||| # zwischen
+ähnlich ||| # ähnlich
+ändern ||| # ändern
+änderte ||| # änderte
+ökonomische ||| # ökonomische
+überhaupt ||| # überhaupt
+überstehen ||| # überstehen
+überwachung ||| # überwachung
+überwachungstechniken ||| ((('#',0,1),),(('überwachungs',0,1),('überwachung',0,1),),(('techniken',0,1),),)
+üblich ||| # üblich
+cyberbullying ||| ((('#',0,1),),(('cyberbullying',0,2),('cyber',0,1),),(('bullying',0,1),),)
+erklärt ||| # erklärt
+chinesischen ||| # chinesischen
+behörden ||| # behörden
+keiner ||| # keiner
+schuld ||| # schuld
+bewusst ||| # bewusst
+verbietet ||| # verbietet
+anderer ||| # anderer
+propheten ||| # propheten
+mohammed ||| # mohammed
+gesandten ||| # gesandten
+beleidigen ||| # beleidigen
+verleumden ||| # verleumden
+tatsächlich ||| # tatsächlich
+gewinnt ||| # gewinnt
+westjordanland ||| # west jordanland
+rivalisierenden ||| # rivalisierenden
+gemäßigten ||| # gemäßigten
+palästinensergruppe ||| # palästinens ergruppe
+kontrolliert ||| # kontrolliert
+meinen ||| # meinen
+wallten ||| # wallten
+tränen ||| # tränen
+machen ||| # machen
+ancelotti ||| # ancelotti
+eingeführte ||| # eingeführte
+konkurrenz ||| # konkurrenz
+zunutze ||| # zunutze
+sieben ||| # sieben
+jahren ||| # jahren
+kämpft ||| # kämpft
+konzern ||| # konzern
+chinesischen ||| # chinesischen
+plagiator ||| # plagiator
+derzeit ||| # derzeit
+mindestlohn ||| # mindestlohn
+föderaler ||| # föderaler
+yorker ||| # yorker
+gesetzgebung ||| # gesetzgebung
+dollar ||| # dollar
+stunde ||| # stunde
+imbongi ||| # imbongi
+bedeutet ||| # bedeutet
+geschichtenerzähler ||| # geschichte erzähler
+lobpreiser ||| # lob preiser
+polizei ||| # polizei
+weiterhin ||| # weiterhin
+städtische ||| # städtische
+vorgaben ||| # vorgaben
+regulierung ||| # regulierung
+anbauern ||| # anbauern
+medizinischem ||| # medizinischem
+marihuana ||| # marihuana
+durchsetzen ||| # durchsetzen
+drogenhändler ||| # drogen händler
+weiterhin ||| # weiterhin
+verfolgt ||| # verfolgt
+würden ||| # würden
+beleidigung ||| # beleidigung
+geahndet ||| # geahndet
+werden ||| # werden
+bleibt ||| # bleibt
+unklar ||| # unklar
+ungebildet ||| # ungebildet
+schließlich ||| # schließlich
+eintritt ||| # eintritt
+kostet ||| # kostet
+kinder ||| # kinder
+jahren ||| # jahren
+kostenlos ||| # kostenlos
+karten ||| # karten
+vorverkauf ||| # vorverkauf
+bohemiaticket ||| # bohemia ticket
+erhältlich ||| # erhältlich
+berufungsgericht ||| # berufung gericht
+berücksichtigt ||| # berücksichtigt
+schnee ||| # schnee
+spektakuläre ||| # spektakuläre
+landschaften ||| # landschaften
+diesen ||| # diesen
+hartnäckigen ||| # hartnäckigen
+geruch ||| # geruch
+einfach ||| # einfach
+verschwinden ||| # verschwinden
+walmart ||| # walmart
+verkauft ||| # verkauft
+produkte ||| # produkte
+windeln ||| # windeln
+jagdgewehre ||| # jagdgewehre
+autobatterien ||| # auto batterien
+staubsaugern ||| # staub saugern
+einige ||| # einige
+personen ||| # personen
+langweilen ||| # langweilen
+leichter ||| # leichter
+andere ||| # andere
+pragmatische ||| # pragmatische
+präsident ||| # präsident
+barack ||| # barack
+zusammentat ||| # zusammentat
+waffenstillstand ||| # waffen stillstand
+erreichen ||| # erreichen
+könnte ||| # könnte
+verheißungsvolles ||| # verheißungs volles
+zeichen ||| # zeichen
+vielleicht ||| # vielleicht
+beginn ||| # beginn
+symbolisieren ||| # symbolisieren
+staatsanwaltschaft ||| # staat anwaltschaft
+freitag ||| # freitag
+versucht ||| # versucht
+festzustellen ||| # festzustellen
+armeegefreite ||| # armee gefreite
+bradley ||| # bradley
+manning ||| # manning
+angeklagt ||| # angeklagt
+größte ||| # größte
+enthüllung ||| # enthüllung
+vertraulicher ||| # vertraulicher
+informationen ||| # informationen
+amerikanischen ||| # amerikanischen
+geschichte ||| # geschichte
+mehrere ||| # mehrere
+gelegenheiten ||| # gelegenheiten
+versäumte ||| # versäumte
+angeblich ||| # angeblich
+erlittene ||| # erlittene
+misshandlung ||| # misshandlung
+militärhaft ||| # militärhaft
+beschweren ||| # beschweren
+glaube ||| # glaube
+dieses ||| # dieses
+richtige ||| # richtige
+ebenfalls ||| # ebenfalls
+diesem ||| # diesem
+gesetz ||| # gesetz
+ausgenommen ||| # ausgenommen
+personen ||| # personen
+ausbildungszeugnisse ||| # ausbildung zeugnisse
+diplome ||| # diplome
+zerfall ||| # zerfall
+erhalten ||| # erhalten
+wütend ||| # wütend
+diesen ||| # diesen
+forcierten ||| # forcierten
+verfassungsprozess ||| # verfassung prozess
+eigentlich ||| # eigentlich
+februar ||| # februar
+gesellschaftlichen ||| # gesellschaftlichen
+kräfte ||| # kräfte
+einbinden ||| # einbinden
+sollen ||| # sollen
+verruf ||| # verruf
+gebracht ||| # gebracht
+meisten ||| # meisten
+selbst ||| # selbst
+kämpfen ||| # kämpfen
+beteiligt ||| # beteiligt
+meinem ||| # meinem
+erzählte ||| # erzählte
+oxford ||| # oxford
+hasste ||| # hasste
+zufrieden ||| # zufrieden
+russischen ||| # russischen
+behörden ||| # behörden
+probleme ||| # probleme
+anziehung ||| # anziehung
+schrauben ||| # schrauben
+bekämpfen ||| # bekämpfen
+wollen ||| # wollen
+danach ||| # danach
+sendete ||| # sendete
+präsidentenamt ||| # präsidenten amt
+medien ||| # medien
+abschlusserklärung ||| # abschluss erklärung
+gipfeltreffens ||| # gipfel treffens
+erklärung ||| # erklärung
+humala ||| # humala
+handelte ||| # handelte
+offizielle ||| # offizielle
+dokument ||| # dokument
+abschluss ||| # abschluss
+gipfeltreffens ||| # gipfel treffens
+doppelt ||| # doppelt
+kosten ||| # kosten
+offiziellen ||| # offiziellen
+dieser ||| # dieser
+kostet ||| # kostet
+arbeitsmigranten ||| # arbeit migranten
+dreitausend ||| # dreitausend
+selbst ||| # selbst
+kommunistischen ||| # kommunistischen
+freunde ||| # freunde
+legten ||| # legten
+einwandfreie ||| # einwandfreie
+manieren ||| # manieren
+polizei ||| # polizei
+tragen ||| # tragen
+tödlicher ||| # tödlicher
+waffen ||| # waffen
+öffentlichkeit ||| # öffentlichkeit
+verbieten ||| # verbieten
+besitz ||| # besitz
+schusswaffen ||| # schuss waffen
+heraufsetzen ||| # heraufsetzen
+nukleares ||| # nukleares
+material ||| # material
+terroristen ||| # terroristen
+gelangt ||| # gelangt
+könnte ||| # könnte
+beispielsweise ||| # beispielsweise
+ausbrechen ||| # ausbrechen
+zweiten ||| # zweiten
+kommen ||| # kommen
+illegale ||| # illegale
+waffen ||| # waffen
+ordnungshütern ||| # ordnung hütern
+kriminellen ||| # kriminellen
+gestohlen ||| # gestohlen
+werden ||| # werden
+dieser ||| # dieser
+kundinnen ||| # kundinnen
+valentino ||| # valentino
+unvergesslich ||| # unvergesslich
+schützen ||| # schützen
+innerhalb ||| # innerhalb
+mannschaft ||| # mannschaft
+respektieren ||| # respektieren
+sowohl ||| # sowohl
+spieler ||| # spieler
+person ||| # person
+tatbestand ||| # tat bestand
+blasphemie ||| # blasphemie
+aufrechterhalten ||| # aufrecht erhalten
+beleidigungen ||| # beleidigungen
+verboten ||| # verboten
+schwerwiegende ||| # schwerwiegende
+folgen ||| # folgen
+meinungsäußerung ||| # meinung äußerung
+könnte ||| # könnte
+insbesondere ||| # insbesondere
+presse ||| # presse
+kirill ||| # kirill
+miller ||| # miller
+typischen ||| # typischen
+petersburger ||| # petersburger
+sozial ||| # sozial
+philosophischen ||| # philosophischen
+künstler ||| # künstler
+mythen ||| # mythen
+erschaffen ||| # erschaffen
+frauen ||| # frauen
+fliegen ||| # fliegen
+bereits ||| # bereits
+jahren ||| # jahren
+änderung ||| # änderung
+verbesserung ||| # verbesserung
+ernähre ||| # ernähre
+treibe ||| # treibe
+medikamente ||| # medikamente
+gefährliche ||| # gefährliche
+smogglocke ||| # smog glocke
+peking ||| # peking
+stadtregierung ||| # stadt regierung
+verschmutzung ||| # verschmutzung
+begrenzen ||| # begrenzen
+vorerst ||| # vorerst
+husten ||| # husten
+weiter ||| # weiter
+repräsentantenhaus ||| # repräsentanten haus
+großes ||| # großes
+gerangel ||| # gerangel
+haushaltsgesetz ||| # haushalt gesetz
+verabschiedet ||| # verabschiedet
+untergrenze ||| ((('#',0,1),),(('untergrenze',0,2),('unter',0,1),),(('grenze',0,1),),)
+preissturz ||| # preis sturz
+verschmutzungsrechte ||| # verschmutzung rechte
+verhindern ||| # verhindern
+informationen ||| # informationen
+frankfurter ||| # frankfurter
+allgemeinen ||| # allgemeinen
+zeitung ||| # zeitung
+sollen ||| # sollen
+zeiten ||| # zeiten
+zusätzliche ||| # zusätzliche
+emissionszertifikate ||| # emission zertifikate
+kommen ||| # kommen
+hannover ||| # hannover
+beginnt ||| # beginnt
+landstraßenmord ||| # landstraße mord
+kaarst ||| # kaarst
+sportlehrer ||| # sport lehrer
+festgenommen ||| # festgenommen
+rätselhaft ||| # rätselhaft
+prozess ||| # prozess
+christian ||| # christian
+einigen ||| # einigen
+vetomächte ||| # veto mächte
+atomüberwachungsprogramm ||| # atom überwachung programm
+thailändische ||| # thailändische
+demonstranten ||| # demonstranten
+stürmen ||| # stürmen
+regierungsgebäude ||| # regierung gebäude
+jahresrückblick ||| # jahr rückblick
+alljährliche ||| # alljährliche
+drohkulisse ||| # droh kulisse
+nordafrika ||| # nord afrika
+südkorea ||| # süd korea
+nordkorea ||| # nord korea
+gewarnt ||| # gewarnt
+traditionelles ||| # traditionelles
+militärmanöver ||| # militär manöver
+abzuhalten ||| # abzuhalten
+serotoninwiederaufnahmehemmer ||| # serotonin wiederaufnahme hemmer
+gedankenaustausch ||| # gedanke austausch
+nachbarschaftspolitik ||| # nachbarschaft politik
+frauenquote ||| # frauen quote
+aufsichtsräte ||| # aufsicht räte
+mindestens ||| # mindestens
+prozent ||| # prozent
+rechtsanspruch ||| # recht anspruch
+familienpflegezeit ||| # familie pflege zeit
+geeinigt ||| # geeinigt
+teilzeitarbeit ||| # teil zeit arbeit
+erleichtert ||| # erleichtert
+werden ||| # werden
+amtsperiode ||| # amtsperiode
+hälfte ||| # hälfte
+schwarzmeerregion ||| # schwarz meer region
+zentralasien ||| # zentral asien
+regierung ||| # regierung
+merkel ||| # merkel
+titelt ||| # titelt
+ugandisches ||| # ugandisches
+wochenmagazin ||| # woche magazin
+vergangenen ||| # vergangenen
+jahres ||| # jahres
+garantieerklärung ||| # garantie erklärung
+atomprogramms ||| # atom programms
+weltgemeinschaft ||| # welt gemeinschaft
+irakkrieg ||| # irak krieg
+strafsteuer ||| # straf steuer
+regierungsmethode ||| # regierung methode
+rechtsschutzversicherungsgesellschaften ||| # recht schutz versicherung gesellschaften
diff --git a/compound-split/de/wordlist.de b/compound-split/de/wordlist.de
new file mode 100644
index 00000000..676a1e3c
--- /dev/null
+++ b/compound-split/de/wordlist.de
@@ -0,0 +1,8 @@
+steuer
+teil
+mittel
+mitteln
+süd
+nord
+gesamt
+wieder
diff --git a/decoder/ff_csplit.cc b/decoder/ff_csplit.cc
index e6f78f84..33b6cea8 100644
--- a/decoder/ff_csplit.cc
+++ b/decoder/ff_csplit.cc
@@ -14,12 +14,19 @@
 #include "stringlib.h"
 #include "tdict.h"
 
+#ifndef HAVE_OLD_CPP
+# include <unordered_set>
+#else
+# include <tr1/unordered_set>
+namespace std { using std::tr1::unordered_set; }
+#endif
 using namespace std;
 
 struct BasicCSplitFeaturesImpl {
   BasicCSplitFeaturesImpl(const string& param) :
       word_count_(FD::Convert("WordCount")),
       letters_sq_(FD::Convert("LettersSq")),
+      letters_log_(FD::Convert("LettersLog")),
       letters_sqrt_(FD::Convert("LettersSqrt")),
       in_dict_(FD::Convert("InDict")),
       in_dict_sub_word_(FD::Convert("InDictSubWord")),
@@ -31,13 +38,14 @@ struct BasicCSplitFeaturesImpl {
       high_freq_(FD::Convert("HighFreq")),
       med_freq_(FD::Convert("MedFreq")),
       freq_(FD::Convert("Freq")),
+      in_dict_full_word_(FD::Convert("InDictFullWord")),
       fl1_(FD::Convert("FreqLen1")),
       fl2_(FD::Convert("FreqLen2")),
       bad_(FD::Convert("Bad")) {
     vector<string> argv;
     int argc = SplitOnWhitespace(param, &argv);
-    if (argc != 1 && argc != 2) {
-      cerr << "Expected: freqdict.txt [badwords.txt]\n";
+    if (argc != 1 && argc != 2 && argc != 3) {
+      cerr << "Expected: freqdict.txt [badwords.txt] [sensitvewords.txt]\n";
       abort();
     }
     freq_dict_.Load(argv[0]);
@@ -51,6 +59,14 @@ struct BasicCSplitFeaturesImpl {
         bad_words_.insert(TD::Convert(badword));
       }
     }
+    if (argc == 3) {
+      ReadFile rf(argv[2]);
+      istream& in = *rf.stream();
+      string line;
+      while(getline(in, line)) {
+        special_feats_[TD::Convert(line)] = FD::Convert("CS:"+line);
+      }
+    }
   }
 
   void TraversalFeaturesImpl(const Hypergraph::Edge& edge,
@@ -59,6 +75,7 @@ struct BasicCSplitFeaturesImpl {
 
   const int word_count_;
   const int letters_sq_;
+  const int letters_log_;
   const int letters_sqrt_;
   const int in_dict_;
   const int in_dict_sub_word_;
@@ -70,11 +87,13 @@ struct BasicCSplitFeaturesImpl {
   const int high_freq_;
   const int med_freq_;
   const int freq_;
+  const int in_dict_full_word_;
   const int fl1_;
   const int fl2_;
   const int bad_;
   FreqDict<float> freq_dict_;
   set<WordID> bad_words_;
+  unordered_map<WordID, int> special_feats_;
 };
 
 BasicCSplitFeatures::BasicCSplitFeatures(const string& param) :
@@ -85,8 +104,15 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
                                      const int src_word_length,
                                      SparseVector<double>* features) const {
   const bool subword = (edge.i_ > 0) || (edge.j_ < src_word_length);
+  string len_bias = "LenBias_0";
+  int swlen = log(src_word_length) / log(1.69);
+  if (swlen > 9) swlen = 9;
+  len_bias[8] += swlen;
+  int fid_len_bias_ = FD::Convert(len_bias);
+  features->set_value(fid_len_bias_, 1.0); 
   features->set_value(word_count_, 1.0);
   features->set_value(letters_sq_, (edge.j_ - edge.i_) * (edge.j_ - edge.i_));
+  features->set_value(letters_log_, log(edge.j_ - edge.i_));
   features->set_value(letters_sqrt_, sqrt(edge.j_ - edge.i_));
   const WordID word = edge.rule_->e_[1];
   const char* sword = TD::Convert(word).c_str();
@@ -117,10 +143,14 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
     features->set_value(in_dict_, 1.0);
     if (subword) features->set_value(in_dict_sub_word_, 1.0);
   } else {
+    if (!subword) features->set_value(in_dict_full_word_, 1.0);
     features->set_value(oov_, 1.0);
     if (subword) features->set_value(oov_sub_word_, 1.0);
     freq = 99.0f;
   }
+  const unordered_map<WordID, int>::const_iterator it = special_feats_.find(word);
+  if (it != special_feats_.end())
+    features->set_value(it->second, 1.0);
   if (bad_words_.count(word) != 0)
     features->set_value(bad_, 1.0);
   if (chars < 5)
@@ -139,6 +169,8 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
   features->set_value(fl2_, freq / chars);
 }
 
+void BasicCSplitFeatures::PrepareForInput(const SentenceMetadata& smeta) {}
+
 void BasicCSplitFeatures::TraversalFeaturesImpl(
                                      const SentenceMetadata& smeta,
                                      const Hypergraph::Edge& edge,
diff --git a/decoder/ff_csplit.h b/decoder/ff_csplit.h
index 64d42526..79bf2886 100644
--- a/decoder/ff_csplit.h
+++ b/decoder/ff_csplit.h
@@ -10,6 +10,7 @@ class BasicCSplitFeaturesImpl;
 class BasicCSplitFeatures : public FeatureFunction {
  public:
   BasicCSplitFeatures(const std::string& param);
+  virtual void PrepareForInput(const SentenceMetadata& smeta);
  protected:
   virtual void TraversalFeaturesImpl(const SentenceMetadata& smeta,
                                      const HG::Edge& edge,