add compound splitter

10 files changed, 1265 insertions, 0 deletions

diff --git a/compound-split/de/TRAIN b/compound-split/de/TRAIN
new file mode 100755
index 00000000..a1f6081b
--- /dev/null
+++ b/compound-split/de/TRAIN
@@ -0,0 +1,2 @@
+../../src/training/cluster-ptrain.pl --run_locally cdec-train.ini dev.in-ref weights.ptinit --gaussian_prior --sigma_squared 2 &> training.log
+
diff --git a/compound-split/de/badlist.de.gz b/compound-split/de/badlist.de.gz
new file mode 100644
index 00000000..a045f833
--- /dev/null
+++ b/compound-split/de/badlist.de.gz
diff --git a/compound-split/de/cdec-train.ini b/compound-split/de/cdec-train.ini
new file mode 100644
index 00000000..95e4bb8b
--- /dev/null
+++ b/compound-split/de/cdec-train.ini
@@ -0,0 +1,4 @@
+formalism=csplit
+cubepruning_pop_limit=100000
+feature_function=CSplit_BasicFeatures large_dict.de.gz badlist.de.gz
+feature_function=CSplit_ReverseCharLM charlm.rev.5gm.de.lm.gz
diff --git a/compound-split/de/charlm.rev.5gm.de.lm.gz b/compound-split/de/charlm.rev.5gm.de.lm.gz
new file mode 100644
index 00000000..1bae8cb9
--- /dev/null
+++ b/compound-split/de/charlm.rev.5gm.de.lm.gz
diff --git a/compound-split/de/dev.in-ref b/compound-split/de/dev.in-ref
new file mode 100644
index 00000000..a68f0688
--- /dev/null
+++ b/compound-split/de/dev.in-ref
@@ -0,0 +1,621 @@
+untersuchungsausschuss ||| ((('#',0,1),),(('untersuchung',0,1),('untersuchungs',0,1),),(('ausschuss',0,1),),)
+vielleicht ||| # vielleicht
+hochzeiten ||| # hochzeiten
+damalige ||| # damalige
+siegfried ||| # siegfried
+jaschinski ||| # jaschinski
+verdächtigenkreis ||| ((('#',0,1),),(('verdächtige',0,1),('verdächtigen',0,1),),(('kreis',0,1),),)
+staatsanwaltschaft ||| ((('#',0,1),),(('staat',0,1),('staats',0,1),),(('staatsanwaltschaft',0,1),),)
+damals ||| # damals
+gefeiert ||| # gefeiert
+landesbank ||| ((('#',0,1),),(('landesbank',0,2),('landes',0,1),('land',0,1),),(('bank',0,1),),)
+ungewöhnlich ||| # ungewöhnlich
+schwäbischen ||| # schwäbischen
+feldherrn ||| # feld herrn
+handelsblatt ||| ((('#',0,1),),(('handels',0,1),('handel',0,1),('handelsblatt',0,2),),(('blatt',0,1),),)
+alexander ||| # alexander
+großen ||| # großen
+promoviert ||| # promoviert
+wachstumsplänen ||| ((('#',0,1),),(('wachstums',0,1),('wachstum',0,1),),(('plänen',0,1),),)
+keinen ||| # keinen
+unausweichlichen ||| # unausweichlichen
+konsolidierung ||| # konsolidierung
+branche ||| # branche
+tragende ||| # tragende
+träumt ||| # träumt
+institut ||| # institut
+glücklicherweise ||| # glücklicherweise
+augenhöhe ||| ((('#',0,1),),(('auge',0,1),('augen',0,1),),(('höhe',0,1),),)
+deutschen ||| # deutschen
+wiederherstellung ||| # wiederherstellung
+grundstück ||| ((('#',0,1),),(('grund',0,1),('grundstück',0,2),),(('stück',0,1),),)
+ruhestand ||| # ruhestand
+widerstand ||| # widerstand
+verstrickt ||| # verstrickt
+stellen ||| # stellen
+zahlreichen ||| # zahlreichen
+versammlungsgesetz ||| ((('#',0,1),),(('versammlung',0,1),('versammlungs',0,1),),(('gesetz',0,1),),)
+verstöße ||| # verstöße
+sachbeschädigung ||| # sach beschädigung
+vereinigungen ||| # vereinigungen
+glashaus ||| # glas haus
+auenlandschaft ||| # auen landschaft
+fundament ||| # fundament
+vierhock ||| # vierhock
+idylle ||| # idylle
+plätschert ||| # plätschert
+johannes ||| # johannes
+angrenzenden ||| # angrenzenden
+sportjacke ||| # sport jacke
+mittelmeerinseln ||| # mittelmeer inseln
+stiefelförmige ||| # stiefel förmige
+wiederaufnahme ||| # wiederaufnahme
+tonbandaufnahme ||| # tonband aufnahme
+korrekturzucker ||| # korrektur zucker
+meeresspiegel ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('spiegel',0,1),),)
+gesamtausgabe ||| # gesamt ausgabe
+losfertigung ||| # los fertigung
+reichstag ||| # reichstag
+monntag ||| # monntag
+mittwoch ||| # mittwoch
+freitag ||| # freitag
+sonntag ||| # sonntag
+nachbarschaftsbeziehungen ||| ((('#',0,1),),(('nachbarschafts',0,1),('nachbarschaft',0,1),),(('beziehungen',0,1),),)
+saftbar ||| # saft bar
+produktionsprozesses ||| # produktion prozesses
+gesamtzusammenhang ||| # gesamt zusammenhang
+volkswirtschaftslehre ||| # volk wirtschaft lehre
+losverfahren ||| # los verfahren
+schifffahrt ||| # schiff fahrt
+dienstag ||| # dienstag
+donnerstag ||| # donnerstag
+samstag ||| # samstag
+sonnabend ||| # sonnabend
+mitglied ||| # mitglied
+abblendlicht ||| # abblend licht
+abbrucharbeiten ||| # abbruch arbeiten
+abergläubischen ||| # abergläubischen
+abfallbewirtschaftungshierarchie ||| # abfall bewirtschaftung hierarchie
+abfallbewirtschaftungsplänen ||| # abfall bewirtschaftung plänen
+abfertigungsgebühren ||| # abfertigung gebühren
+beitragsunabhängig ||| # beitrag unabhängig
+einreichungsfrist ||| # einreichung frist
+europaabgeordnete ||| # europa abgeordnete
+früherkennungskampagnen ||| # früh erkennung kampagnen
+hilfsagenturen ||| ((('#',0,1),),(('hilf',0,1),('hilfs',0,1),),(('agenturen',0,1),),)
+hilfsinstitutionen ||| ((('#',0,1),),(('hilf',0,1),('hilfs',0,1),),(('institutionen',0,1),),)
+kaisergranat ||| # kaiser granat
+kalifornien ||| # kalifornien
+kampfflugzeug ||| # kampf flugzeug
+luftangriffen ||| # luft angriffen
+luftsicherheit ||| # luft sicherheit
+mithäftlingen ||| # mithäftlingen
+wartungsarbeiten ||| # wartung arbeiten
+wasseraufbereitungsanlagen ||| ((('#',0,1),),(('wasser',0,1),),(('aufbereitungs',0,1),('aufbereitung',0,1),),(('anlagen',0,1),),)
+wasserdienstleistungen ||| # wasser dienstleistungen
+weihnachtsgeschenk ||| # weihnacht geschenk
+weltarbeitsorganisation ||| # welt arbeit organisation
+zeitdruck ||| # zeit druck
+bundesagentur ||| ((('#',0,1),),(('bund',0,1),('bundes',0,1),),(('agentur',0,1),),)
+fahrstuhlschächten ||| # fahrstuhl schächten
+elektroindustrie ||| # elektro industrie
+sonderpreis ||| # sonder preis
+modellrechnung ||| # modell rechnung
+treibhauseffekt ||| # treibhaus effekt
+europatournee ||| # europa tournee
+wirtschaftskrise ||| # wirtschafts krise
+mittwochabend ||| # mittwoch abend
+abschiedsgala ||| # abschied gala
+betriebstag ||| # betrieb tag
+flughafen ||| # flughafen
+truthahn ||| # truthahn
+gehirnregion ||| # gehirn region
+feststellung ||| # feststellung
+thanksgiving ||| # thanks giving
+börsenhändler ||| # börsen händler
+risikoforschung ||| # risiko forschung
+finanzkrise ||| # finanz krise
+erkenntnis ||| # erkenntnis
+vergangenheit ||| # vergangenheit
+festtagsbratenesser ||| # festtag braten esser
+ungemütlichkeit ||| # ungemütlichkeit
+privatanlegern ||| # privat anlegern
+finanzmakler ||| # finanz makler
+immobilienfonds ||| # immobilien fonds
+wertzuwachs ||| # wert zuwachs
+marmelade ||| # marmelade
+roboterzofe ||| # roboter zofe
+heinrich ||| # heinrich
+zeitdehnung ||| # zeit dehnung
+zeitlosigkeit ||| # zeitlosigkeit
+auseinandersetzung ||| # auseinandersetzung
+immobilienfondskrise ||| ((('#',0,1),),(('immobilien',0,1),),(('fonds',0,1),('fond',0,1),),(('krise',0,1),),)
+stackelberg ||| # stackelberg
+bodenseedampfschifffahrtsgesellschaftskapitänsmütze ||| # bodensee dampf schiff fahrt gesellschaft kapitän mütze
+hamburg ||| # hamburg
+inzwischen ||| # inzwischen
+deutsche ||| # deutsche
+justiz ||| # justiz
+britische ||| # britische
+bischof ||| # bischof
+richard ||| # richard
+williamson ||| # williamson
+respektablen ||| # respektablen
+standes ||| # standes
+soutane ||| # soutane
+unfassbare ||| # unfassbare
+millionen ||| # millionen
+gaskammern ||| # gas kammern
+holocaustleugner ||| # holocaust leugner
+großansicht ||| # groß ansicht
+überraschte ||| # überraschte
+gegenfrage ||| # gegen frage
+journalisten ||| # journalisten
+fernsehsender ||| # fernseh sender
+schließlich ||| # schließlich
+revisionisten ||| # revisionisten
+dreihunderttausend ||| # drei hundert tausend
+konzentrationslagern ||| ((('#',0,1),),(('konzentration',0,1),('konzentrations',0,1),),(('lagern',0,1),),)
+schwadroniert ||| # schwadroniert
+schornsteinhöhen ||| # schornstein höhen
+touristen ||| # touristen
+auschwitz ||| # auschwitz
+birkenau ||| # birkenau
+antisemitismus ||| ((('#',0,1),),(('anti',0,1),('antisemitismus',0,2),),(('semitismus',0,1),),)
+schwedische ||| # schwedische
+interviewer ||| # interviewer
+bischof ||| # bischof
+williamson ||| # williamson
+wahrheit ||| # wahrheit
+schlecht ||| # schlecht
+interessiert ||| # interessiert
+entrückte ||| # entrückte
+deutscher ||| # deutscher
+blamiert ||| # blamiert
+katholische ||| # katholische
+ausgabe ||| # ausgabe
+skandal ||| # skandal
+interview ||| # interview
+berichtet ||| # berichtet
+bayerischen ||| # bayerischen
+zaitzhofen ||| # zaitzhofen
+fernsehen ||| # fernsehen
+regensburger ||| # regensburger
+ruckdäschel ||| # ruckdäschel
+artikel ||| # artikel
+leitete ||| # leitete
+angaben ||| # angaben
+ermittlungsverfahren ||| ((('#',0,1),),(('ermittlung',0,1),('ermittlungs',0,1),),(('verfahren',0,1),),)
+verdacht ||| # verdacht
+volksverhetzung ||| ((('#',0,1),),(('volk',0,1),('volks',0,1),),(('verhetzung',0,1),),)
+inzwischen ||| # inzwischen
+rechtsanwalt ||| # rechtsanwalt
+einlassung ||| # einlassung
+behörde ||| # behörde
+geistliche ||| # geistliche
+gespräch ||| # gespräch
+ausschließlich ||| # ausschließlich
+auszustrahlen ||| # auszustrahlen
+veröffentlichung ||| # veröffentlichung
+deutschland ||| # deutschland
+exkommunikation ||| # exkommunikation
+hintergrund ||| # hintergrund
+juristischen ||| # juristischen
+volksverhetzungsparagrafen ||| ((('#',0,1),),(('volk',0,1),('volks',0,1),),(('verhetzung',0,1),('verhetzungs',0,1),),(('paragrafen',0,1),),)
+strafgesetzbuchs ||| # straf gesetz buchs
+leugnung ||| # leugnung
+strafverfolgung ||| # straf verfolgung
+hintertür ||| # hintertür
+entziehen ||| # entziehen
+inzwischen ||| # inzwischen
+einsicht ||| # einsicht
+ermittlungsakten ||| ((('#',0,1),),(('ermittlung',0,1),('ermittlungs',0,1),),(('akten',0,1),),)
+ruckdäschel ||| # ruckdäschel
+überlegen ||| # überlegen
+schwedischen ||| # schwedischen
+journalisten ||| # journalisten
+hintergründen ||| # hintergründen
+absprachen ||| # absprachen
+vorfeld ||| # vorfeld
+oberstaatsanwalt ||| ((('#',0,1),),(('ober',0,1),),(('staat',0,1),('staats',0,1),('staatsanwalt',0,2),),(('anwalt',0,1),),)
+mendelssohn ||| # mendelssohn
+bartholdy ||| # bartholdy
+entstammte ||| # entstammte
+angesehenen ||| # angesehenen
+wohlhabenden ||| # wohlhabenden
+bürgerlichen ||| # bürgerlichen
+jüdischen ||| # jüdischen
+familie ||| # familie
+väterlicherseits ||| # väterlicherseits
+bedeutenden ||| # bedeutenden
+philosophen ||| # philosophen
+abraham ||| # abraham
+bankkaufmannslehre ||| ((('#',0,1),),(('bank',0,1),),(('kaufmanns',0,1),('kaufmann',0,1),),(('lehre',0,1),),)
+kompagnon ||| # kompagnon
+mutter ||| # mutter
+salomon ||| # salomon
+fabrikantenfamilie ||| # fabrikanten familie
+schwester ||| # schwester
+hensel ||| # hensel
+geschwister ||| # geschwister
+rebecca ||| # rebecca
+mathematiker ||| # mathematiker
+dirichlet ||| # dirichlet
+kinder ||| # kinder
+pfarrer ||| # pfarrer
+reformierten ||| # reformierten
+gemeinde ||| # gemeinde
+berliner ||| # berliner
+jerusalems ||| # jerusalems
+haustaufe ||| # haus taufe
+protestantisch ||| # protestantisch
+gelegenheit ||| # gelegenheit
+taufnamen ||| # tauf namen
+ludwig ||| # ludwig
+darüber ||| # darüber
+familiennamen ||| ((('#',0,1),),(('familie',0,1),('familien',0,1),),(('namen',0,1),),)
+christliche ||| # christliche
+beigefügt ||| # beigefügt
+vorbesitzers ||| # vorbesitzers
+gartens ||| # gartens
+abraham ||| # abraham
+mendelssohn ||| # mendelssohn
+konvertierten ||| # konvertierten
+christentum ||| # christentum
+kindheit ||| # kindheit
+französischen ||| # französischen
+besetzung ||| # besetzung
+familie ||| # familie
+verwitwete ||| # verwitwete
+großmutter ||| ((('#',0,1),),(('groß',0,1),('großmutter',0,2),),(('mutter',0,1),),)
+musikunterricht ||| # musik unterricht
+schülerin ||| # schülerin
+philipp ||| # philipp
+kirnbergers ||| # kirnbergers
+unmittelbaren ||| # unmittelbaren
+großtante ||| # groß tante
+tochter ||| # tochter
+finanzmanns ||| # finanzmanns
+daniel ||| # daniel
+preußischer ||| # preußischer
+friedrich ||| # friedrich
+wilhelm ||| # wilhelm
+naturalisationspatent ||| ((('#',0,1),),(('naturalisation',0,1),('naturalisations',0,1),),(('patent',0,1),),)
+vermittelte ||| # vermittelte
+tradition ||| # tradition
+gönnerin ||| # gönnerin
+lehrerin ||| # lehrerin
+vorübergehenden ||| # vorübergehenden
+aufenthalts ||| # aufenthalts
+rückkehr ||| # rückkehr
+unterricht ||| # unterricht
+komposition ||| # komposition
+ausbildung ||| # ausbildung
+schriftstellers ||| # schriftstellers
+neunjähriger ||| # neun jähriger
+klavierpart ||| # klavier part
+klaviertrio ||| # klavier trio
+altsänger ||| # alt sänger
+akademie ||| # akademie
+kirchenmusik ||| ((('#',0,1),),(('kirchen',0,1),('kirche',0,1),),(('musik',0,1),),)
+außergewöhnlicher ||| # außergewöhnlicher
+schnelligkeit ||| # schnelligkeit
+klaviersonaten ||| # klavier sonaten
+klaviertrio ||| # klavier trio
+orgelstücke ||| # orgel stücke
+dreisätzige ||| # drei sätzige
+streichersinfonien ||| # streicher sinfonien
+motetten ||| # motetten
+singspiele ||| # singspiele
+soldatenliebschaft ||| # soldaten liebschaft
+singspiels ||| # singspiels
+komödianten ||| # komödianten
+freundschaft ||| # freundschaft
+barack ||| # barack
+getappt ||| # getappt
+anstehenden ||| # anstehenden
+herkulesaufgaben ||| # herkules aufgaben
+zugleich ||| # zugleich
+blütenweiße ||| # blütenweiße
+westen ||| # westen
+regierungsgrundsätzen ||| ((('#',0,1),),(('regierung',0,1),('regierungs',0,1),),(('grundsätzen',0,1),),)
+genügen ||| # genügen
+problem ||| # problem
+fachlich ||| # fachlich
+ansteckenden ||| # ansteckenden
+krankheit ||| # krankheit
+washington ||| # washington
+befallen ||| # befallen
+symptome ||| # symptome
+verquickung ||| # verquickung
+öffentlichen ||| # öffentlichen
+interessen ||| # interessen
+lobbyistenumtriebe ||| # lobbyisten umtriebe
+steuerzahlungsphobie ||| ((('#',0,1),),(('steuer',0,1),),(('zahlung',0,1),('zahlungs',0,1),),(('phobie',0,1),),)
+eigentlich ||| # eigentlich
+ausgezogen ||| # ausgezogen
+krankheit ||| # krankheit
+auszurotten ||| # auszurotten
+probleme ||| # probleme
+gewaltig ||| # gewaltig
+problembewältiger ||| # problem bewältiger
+verzichten ||| # verzichten
+ausnahmen ||| # ausnahmen
+nachsichtig ||| # nachsichtig
+nachlässig ||| # nachlässig
+nummer ||| # nummer
+verteidigungsministerium ||| ((('#',0,1),),(('verteidigung',0,1),('verteidigungs',0,1),),(('ministerium',0,1),),)
+fachmann ||| # fachmann
+rüstungslobbyist ||| ((('#',0,1),),(('rüstung',0,1),('rüstungs',0,1),),(('lobbyist',0,1),),)
+geithner ||| # geithner
+finanzminister ||| # finanz minister
+fiskus ||| # fiskus
+vorenthalten ||| # vorenthalten
+daschle ||| # daschle
+obamas ||| # obamas
+wunschkandidat ||| # wunsch kandidat
+gesundheitsministerium ||| ((('#',0,1),),(('gesundheit',0,1),('gesundheits',0,1),),(('ministerium',0,1),),)
+schuldete ||| # schuldete
+begleichung ||| # begleichung
+feststand ||| ((('#',0,1),),(('fest',0,1),('feststand',0,2),),(('stand',0,1),),)
+tatsächlich ||| # tatsächlich
+regierung ||| # regierung
+aufrücken ||| # aufrücken
+übergelaufen ||| ((('#',0,1),),(('über',0,1),('übergelaufen',0,2),),(('gelaufen',0,1),),)
+proteststurm ||| # protest sturm
+handtuch ||| ((('#',0,1),),(('hand',0,1),('handtuch',0,2),),(('tuch',0,1),),)
+konzentrationslager ||| ((('#',0,1),),(('konzentration',0,1),('konzentrations',0,1),),(('lager',0,1),),)
+entwicklungspolitik ||| ((('#',0,1),),(('entwicklung',0,1),('entwicklungs',0,1),),(('politik',0,1),),)
+zeitungsbericht ||| ((('#',0,1),),(('zeitung',0,1),('zeitungs',0,1),),(('bericht',0,1),),)
+managergehälter ||| # manager gehälter
+begrenzen ||| # begrenzen
+unternehmen ||| # unternehmen
+staatshilfen ||| ((('#',0,1),),(('staat',0,1),('staats',0,1),),(('hilfen',0,1),),)
+bescheidener ||| # bescheidener
+präsidenten ||| # präsidenten
+gehaltsobergrenze ||| ((('#',0,1),),(('gehalt',0,1),('gehalts',0,1),),(('ober',0,1),('obergrenze',0,2),),(('grenze',0,1),),)
+sonnensystems ||| # sonnen systems
+kreist ||| # kreist
+erdähnlicher ||| # erd ähnlicher
+planet ||| # planet
+exoplanet ||| ((('#',0,1),),(('exo',0,1),('exoplanet',0,2),),(('planet',0,1),),)
+durchbruch ||| ((('#',0,1),),(('durch',0,1),('durchbruch',0,2),),(('bruch',0,1),),)
+fremden ||| # fremden
+ulrich ||| # ulrich
+schnabel ||| # schnabel
+kulturgeschichte ||| # kultur geschichte
+milchwirtschaft ||| # milch wirtschaft
+menschen ||| # menschen
+geschäftsführung ||| ((('#',0,1),),(('geschäft',0,1),('geschäfts',0,1),),(('führung',0,1),),)
+zuständigen ||| # zuständigen
+amtsgericht ||| ((('#',0,1),),(('amt',0,1),('amts',0,1),),(('gericht',0,1),),)
+göppingen ||| # göppingen
+antrag ||| # antrag
+eröffnung ||| # eröffnung
+insolvenzverfahrens ||| # insolvenz verfahrens
+dieter ||| # dieter
+ausgewählte ||| # ausgewählte
+informationsangebote ||| ((('#',0,1),),(('information',0,1),('informations',0,1),),(('angebote',0,1),),)
+deutschen ||| # deutschen
+vereinfacht ||| # vereinfacht
+vokabelglossar ||| # vokabel glossar
+gewaltige ||| # gewaltige
+haushohe ||| # haushohe
+segler ||| # segler
+oktober ||| # oktober
+gibraltar ||| # gibraltar
+verschwand ||| # verschwand
+verfügte ||| # verfügte
+bronzekanonen ||| # bronze kanonen
+tonnen ||| # tonnen
+portugiesischer ||| # portugiesischer
+goldmünzen ||| # gold münzen
+kaufleute ||| # kauf leute
+schätzungen ||| # schätzungen
+vergangenen ||| # vergangenen
+millionen ||| # millionen
+schiffe ||| # schiffe
+meeresgrund ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('grund',0,1),),)
+unterschiedliche ||| # unterschiedliche
+wasserfahrzeuge ||| # wasser fahrzeuge
+kriegsschiffe ||| ((('#',0,1),),(('krieg',0,1),('kriegs',0,1),),(('schiffe',0,1),),)
+passagierdampfer ||| # passagier dampfer
+handelsflotten ||| ((('#',0,1),),(('handel',0,1),('handels',0,1),),(('flotten',0,1),),)
+piratenboote ||| ((('#',0,1),),(('pirate',0,1),('piraten',0,1),),(('boote',0,1),),)
+tanker ||| # tanker
+großbritannien ||| # groß britannien
+ältesten ||| # ältesten
+seefahrernationen ||| ((('#',0,1),),(('see',0,1),('seefahrer',0,2),),(('fahrer',0,1),),(('nationen',0,1),),)
+auffassung ||| # auffassung
+marinehistoriker ||| # marine historiker
+irgendein ||| # irgendein
+anderes ||| # anderes
+allein ||| # allein
+havarierten ||| # havarierten
+registrierte ||| # registrierte
+schiffe ||| # schiffe
+küstennähe ||| ((('#',0,1),),(('küste',0,1),('küsten',0,1),),(('nähe',0,1),),)
+ortung ||| # ortung
+victory ||| # victory
+amerikanisches ||| # amerikanisches
+bergungsunternehmen ||| ((('#',0,1),),(('bergung',0,1),('bergungs',0,1),),(('unternehmen',0,1),),)
+wichtigsten ||| # wichtigsten
+meeresfunde ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('funde',0,1),),)
+geschichte ||| # geschichte
+entdeckern ||| # entdeckern
+historisches ||| # historisches
+kriegsboot ||| ((('#',0,1),),(('krieg',0,1),('kriegs',0,1),),(('boot',0,1),),)
+jahrhundert ||| # jahrhundert
+tausend ||| # tausend
+untergegangenen ||| ((('#',0,1),),(('unter',0,1),('untergegangenen',0,2),),(('gegangenen',0,1),),)
+schiffen ||| # schiffen
+kostbarsten ||| # kostbarsten
+schätzen ||| # schätzen
+entdeckung ||| # entdeckung
+warten ||| # warten
+tauchjagd ||| # tauch jagd
+Überreste ||| # Überreste
+längst ||| # längst
+vergangener ||| # vergangener
+epochen ||| # epochen
+länder ||| # länder
+streiten ||| # streiten
+schiffsfriedhöfe ||| ((('#',0,1),),(('schiff',0,1),('schiffs',0,1),),(('friedhöfe',0,1),),)
+tauchjagd ||| # tauch jagd
+schatzjäger ||| # schatz jäger
+moderne ||| # moderne
+technik ||| # technik
+jahrhundertealte ||| # jahrhunderte alte
+wracks ||| # wracks
+geheimnisse ||| # geheimnisse
+besitzrechte ||| # besitz rechte
+wahrscheinlichkeit ||| # wahrscheinlichkeit
+minimaltemperatur ||| # minimal temperatur
+winterhalbjahr ||| ((('#',0,1),),(('winter',0,1),),(('halb',0,1),('halbjahr',0,2),),(('jahr',0,1),),)
+celsius ||| # celsius
+durchschnittliche ||| # durchschnittliche
+sommerhalbjahr ||| ((('#',0,1),),(('sommer',0,1),),(('halb',0,1),('halbjahr',0,2),),(('jahr',0,1),),)
+maximaltemperatur ||| # maximal temperatur
+kreuzungsversuche ||| ((('#',0,1),),(('kreuzung',0,1),('kreuzungs',0,1),),(('versuche',0,1),),)
+erbsenpflanzen ||| ((('#',0,1),),(('erbsen',0,1),('erbse',0,1),),(('pflanzen',0,1),),)
+klostergarten ||| # kloster garten
+befruchtungen ||| # befruchtungen
+zehntausende ||| # zehn tausende
+pflanzenhybriden ||| ((('#',0,1),),(('pflanze',0,1),('pflanzen',0,1),),(('hybriden',0,1),),)
+fleißaufgabe ||| ((('#',0,1),),(('fleiß',0,1),('fleißaufgabe',0,2),),(('aufgabe',0,1),),)
+ungewöhnliche ||| # ungewöhnliche
+hartnäckigkeit ||| # hartnäckigkeit
+naturforschers ||| # natur forschers
+innenminister ||| # innen minister
+verbreitete ||| # verbreitete
+falschinformationen ||| # falsch informationen
+analysen ||| # analysen
+hintergründe ||| # hintergründe
+menschen ||| # menschen
+gekostet ||| # gekostet
+hunderte ||| # hunderte
+wurden ||| # wurden
+verletzt ||| # verletzt
+containerschiff ||| # container schiff
+unfall ||| # unfall
+umweltdesaster ||| # umwelt desaster
+australien ||| # australien
+größer ||| # größer
+bisher ||| # bisher
+befürchtet ||| # befürchtet
+containerschiff ||| # container schiff
+unfall ||| # unfall
+australien ||| # australien
+deutlich ||| # deutlich
+schweröl ||| # schweröl
+zunächst ||| # zunächst
+angenommen ||| # angenommen
+freitag ||| # freitag
+schwappte ||| # schwappte
+schwarze ||| # schwarze
+flüssigkeit ||| # flüssigkeit
+strände ||| # strände
+kilometern ||| # kilometern
+kapitän ||| # kapitän
+langen ||| # langen
+pacific ||| # pacific
+adventurer ||| # adventurer
+hongkong ||| # hong kong
+verlust ||| # verlust
+zunächst ||| # zunächst
+tonnen ||| # tonnen
+angegeben ||| # angegeben
+regierungschef ||| ((('#',0,1),),(('regierung',0,1),('regierungs',0,1),),(('chef',0,1),),)
+queensland ||| # queensland
+samstag ||| # samstag
+kapitän ||| # kapitän
+vortag ||| # vortag
+vertuschung ||| # vertuschung
+vorgeworfen ||| # vorgeworfen
+mittwoch ||| # mittwoch
+containerschiff ||| # container schiff
+naturreservate ||| # natur reservate
+touristenstrände ||| # touristen strände
+ostküste ||| # ost küste
+nördlich ||| # nördlich
+brisbane ||| # brisbane
+bestechungsversuch ||| ((('#',0,1),),(('bestechungs',0,1),('bestechung',0,1),),(('versuch',0,1),),)
+campingkocher ||| # camping kocher
+später ||| # später
+ermöglichte ||| # ermöglichte
+verstärkte ||| # verstärkte
+integration ||| # integration
+funktechnik ||| # funk technik
+mobiltelefone ||| # mobil telefone
+aktenkoffers ||| ((('#',0,1),),(('akten',0,1),('aktenkoffers',0,2),),(('koffers',0,1),),)
+vorstufe ||| # vorstufe
+bedrohlich ||| # bedrohlich
+anstieg ||| # anstieg
+kohlendioxids ||| ((('#',0,1),),(('kohle',0,1),('kohlen',0,1),),(('dioxids',0,1),),)
+computermodelle ||| # computer modelle
+überhaupt ||| # überhaupt
+schützen ||| # schützen
+welchem ||| # welchem
+climategate ||| ((('#',0,1),),(('climate',0,1),('climategate',0,2),),(('gate',0,1),),)
+genannte ||| # genannte
+skandal ||| # skandal
+britische ||| # britische
+forschungsinstitut ||| ((('#',0,1),),(('forschung',0,1),('forschungs',0,1),),(('institut',0,1),),)
+climate ||| # climate
+research ||| # research
+folgenschwerste ||| ((('#',0,1),),(('folgenschwerste',0,2),('folgen',0,1),('folge',0,1),),(('schwerste',0,1),),)
+wissenschaftsdebatte ||| ((('#',0,1),),(('wissenschaft',0,1),('wissenschafts',0,1),),(('debatte',0,1),),)
+unserer ||| # unserer
+erneut ||| # erneut
+computerhacker ||| # computer hacker
+hatten ||| # hatten
+instituts ||| # instituts
+gestohlen ||| # gestohlen
+veröffentlicht ||| # veröffentlicht
+forscher ||| # forscher
+manipulierten ||| # manipulierten
+prognose ||| # prognose
+baldigen ||| # baldigen
+erwärmung ||| # erwärmung
+passten ||| # passten
+andersdenkende ||| # anders denkende
+wissenschaftler ||| # wissenschaftler
+wurden ||| # wurden
+gezielt ||| # gezielt
+diffamiert ||| # diffamiert
+wichtigsten ||| # wichtigsten
+datenlieferanten ||| # daten lieferanten
+weltklimarats ||| # welt klima rats
+wesentlichen ||| # wesentlichen
+fraktionen ||| # fraktionen
+debatte ||| # debatte
+herrschende ||| # herrschende
+schule ||| # schule
+vertreten ||| # vertreten
+repräsentiert ||| # repräsentiert
+mehrheit ||| # mehrheit
+wissenschaftler ||| # wissenschaftler
+führender ||| # führender
+stelle ||| # stelle
+stehen ||| # stehen
+forscher ||| # forscher
+klimamodelle ||| # klimamodelle
+entwickeln ||| # entwickeln
+computersimulationen ||| # computer simulationen
+künftige ||| # künftige
+errechnen ||| # errechnen
+sollen ||| # sollen
+hauptverantwortlichen ||| # haupt verantwortlichen
+prognostizierte ||| # prognostizierte
+erwärmung ||| # erwärmung
+menschen ||| # menschen
+zusätzlich ||| # zusätzlich
+natürlichen ||| # natürlichen
+geschehen ||| # geschehen
+verursachte ||| # verursachte
+ermittelt ||| # ermittelt
+spatenstich ||| # spaten stich
+teuersten ||| # teuersten
+kirchenneubau ||| # kirche neu bau
+ostdeutschlands ||| # ost deutschlands
+erfolgen ||| # erfolgen
diff --git a/compound-split/de/large_dict.de.gz b/compound-split/de/large_dict.de.gz
new file mode 100644
index 00000000..9af2c447
--- /dev/null
+++ b/compound-split/de/large_dict.de.gz
diff --git a/compound-split/de/test b/compound-split/de/test
new file mode 100644
index 00000000..8dac76cd
--- /dev/null
+++ b/compound-split/de/test
@@ -0,0 +1,302 @@
+aktiengesellschaft
+aktiengesellschaft
+wiederaufnahme
+tonbandaufnahme
+staatskrise
+staatskrise
+madagaskars
+präsident
+bittet
+schlagworte
+demonstration
+putsch
+machtkampf
+zwischen
+opposition
+regierungspartei
+regierungspartei
+spitzt
+afrikanischen
+botschaft
+befürchtet
+bürgerkrieg
+mitglieder
+oppositionspartei
+oppositionspartei
+demonstrieren
+putsch
+madagaskars
+präsidenten
+ravalomanana
+mitglieder
+oppositionspartei
+oppositionspartei
+demonstrieren
+putsch
+madagaskars
+präsidenten
+ravalomanana
+bedrängte
+präsident
+wandte
+öffentlichen
+hilferuf
+anhänger
+forderte
+regierungssitz
+regierungssitz
+schützen
+mitglieder
+präsidentengarde
+präsidentengarde
+unbestätigten
+medienberichten
+medienberichten
+begonnen
+posten
+verlassen
+augenzeugen
+augenzeugen
+berichteten
+gepanzerte
+fahrzeuge
+außenbezirken
+hauptstadt
+hauptstadt
+antananarivo
+botschafter
+marquardt
+nationalen
+fernsehen
+erklärt
+steuere
+bürgerkrieg
+botschaft
+familien
+mitarbeiter
+unbedingt
+benötigt
+werden
+bürger
+verlassen
+landes
+aufgefordert
+deutsche
+botschaft
+dagegen
+wollte
+absprache
+anderen
+europäischen
+vertretungen
+zunächst
+ausreise
+empfehlung
+regierung
+angeschlagenen
+staatspräsidenten
+staatspräsidenten
+ravalomanana
+demokratiebewegung
+selbst
+ernannten
+präsidenten
+übergangsregierung
+übergangsregierung
+rajoelina
+gegenüber
+wochen
+andauernde
+erbitterte
+machtkampf
+menschen
+gekostet
+hunderte
+wurden
+verletzt
+modernisierung
+atomwaffen
+umbauten
+marine
+russlands
+präsident
+medwedew
+aufrüstung
+begründung
+versuche
+präsenz
+grenzen
+landes
+verstärken
+anzeige
+moskau
+dmitrij
+medwedew
+begründet
+bebaren
+russischen
+streitkräfte
+sollten
+massiv
+gestärkt
+atomwaffenarsenal
+atomwaffenarsenal
+modernisiert
+werden
+westliche
+militärbündnis
+versuche
+präsenz
+grenzen
+auszubauen
+präsident
+deshalb
+aufrüstung
+marine
+umfang
+beginne
+umfassende
+umrüstung
+heeres
+flotte
+ernstes
+konfliktpotential
+infrastruktur
+kampfkraft
+streitkräfte
+strategischen
+atomwaffen
+internationalen
+terrorismus
+gefechtsbereitschaft
+gefechtsbereitschaft
+strategischen
+atomwaffen
+militärs
+aktuellen
+haushaltsprobleme
+haushaltsprobleme
+auswirkungen
+regierung
+streitkräfteetat
+infolge
+finanzkrise
+zusammengestrichen
+zusammengestrichen
+weitere
+kürzungen
+ausgeschlossen
+medwedews
+vorgänger
+wladimir
+wiederholt
+modernisierung
+waffenarsenals
+verkündet
+umsetzung
+ankündigungen
+großteil
+atomwaffen
+sowjetzeiten
+stimmung
+streitkräften
+rahmen
+reform
+offizierkorps
+verkleinert
+werden
+trifolium
+umfassende
+pflanzengattung
+pflanzengattung
+unterfamilie
+schmetterlingsblütler
+schmetterlingsblütler
+faboideae
+pflanzenfamilie
+pflanzenfamilie
+hülsenfrüchtler
+hülsenfrüchtler
+fabaceae
+gezählt
+sprachgebrauch
+allerdings
+häufig
+gattung
+bezeichnet
+sondern
+nahverwandten
+gattungen
+schneckenklee
+schneckenklee
+medicago
+steinklee
+melilotus
+taxonomisch
+entfernten
+gattung
+sauerklee
+oxalis
+charakteristische
+merkmale
+gattung
+dreifiedrige
+blätter
+vielblütige
+kopfige
+blütenstände
+blütenstände
+kontinenten
+ausnahme
+australiens
+antarktikas
+natürlich
+verbreitet
+australien
+wurden
+verschiedene
+kleearten
+menschen
+eingeführt
+landwirtschaft
+werden
+verschiedene
+kleearten
+futterpflanzen
+verwendet
+kleeanbau
+europa
+nordamerika
+ökonomischer
+bedeutung
+europa
+jahrhundert
+christus
+angebaut
+fähigkeit
+symbiose
+knöllchenbakterien
+rhizobiaceae
+wurzeln
+stickstoff
+verbesserung
+bodenfruchtbarkeit
+bedeutend
+kleeblatt
+symbolik
+vieler
+kulturen
+eingang
+repräsentiert
+dreiheit
+beispiel
+christentum
+dreifaltigkeit
+weiterhin
+sommer
+symbolisiert
+vierblättrige
+kleeblatt
+glücksbringer
+glücksbringer
+XX
diff --git a/compound-split/de/test.ref b/compound-split/de/test.ref
new file mode 100644
index 00000000..4b3c7abc
--- /dev/null
+++ b/compound-split/de/test.ref
@@ -0,0 +1,302 @@
+aktien gesellschaft
+aktie gesellschaft
+wiederaufnahme
+tonband aufnahme
+staats krise
+staat krise
+madagaskars
+präsident
+bittet
+schlagworte
+demonstration
+putsch
+macht kampf
+zwischen
+opposition
+regierungs partei
+regierung partei
+spitzt
+afrikanischen
+botschaft
+befürchtet
+bürger krieg
+mitglieder
+oppositions partei
+opposition partei
+demonstrieren
+putsch
+madagaskars
+präsidenten
+ravalomanana
+mitglieder
+oppositions partei
+opposition partei
+demonstrieren
+putsch
+madagaskars
+präsidenten
+ravalomanana
+bedrängte
+präsident
+wandte
+öffentlichen
+hilfe ruf
+anhänger
+forderte
+regierungs sitz
+regierung sitz
+schützen
+mitglieder
+präsidenten garde
+präsidenten garde
+unbestätigten
+medien berichten
+medie berichten
+begonnen
+posten
+verlassen
+augen zeugen
+auge zeugen
+berichteten
+gepanzerte
+fahrzeuge
+außen bezirken
+haupt stadt
+hauptstadt
+antananarivo
+botschafter
+marquardt
+nationalen
+fernsehen
+erklärt
+steuere
+bürger krieg
+botschaft
+familien
+mitarbeiter
+unbedingt
+benötigt
+werden
+bürger
+verlassen
+landes
+aufgefordert
+deutsche
+botschaft
+dagegen
+wollte
+absprache
+anderen
+europäischen
+vertretungen
+zunächst
+ausreise
+empfehlung
+regierung
+angeschlagenen
+staats präsidenten
+staat präsidenten
+ravalomanana
+demokratie bewegung
+selbst
+ernannten
+präsidenten
+übergangs regierung
+übergang regierung
+rajoelina
+gegenüber
+wochen
+andauernde
+erbitterte
+macht kampf
+menschen
+gekostet
+hunderte
+wurden
+verletzt
+modernisierung
+atom waffen
+umbauten
+marine
+russlands
+präsident
+medwedew
+aufrüstung
+begründung
+versuche
+präsenz
+grenzen
+landes
+verstärken
+anzeige
+moskau
+dmitrij
+medwedew
+begründet
+bebaren
+russischen
+streit kräfte
+sollten
+massiv
+gestärkt
+atom waffen arsenal
+atomwaffen arsenal
+modernisiert
+werden
+westliche
+militärbündnis
+versuche
+präsenz
+grenzen
+auszubauen
+präsident
+deshalb
+aufrüstung
+marine
+umfang
+beginne
+umfassende
+umrüstung
+heeres
+flotte
+ernstes
+konflikt potential
+infrastruktur
+kampf kraft
+streit kräfte
+strategischen
+atom waffen
+internationalen
+terrorismus
+gefechts bereitschaft
+gefecht bereitschaft
+strategischen
+atomwaffen
+militärs
+aktuellen
+haushalts probleme
+haushalt probleme
+auswirkungen
+regierung
+streit kräfte etat
+infolge
+finanz krise
+zusammengestrichen
+zusammen gestrichen
+weitere
+kürzungen
+ausgeschlossen
+medwedews
+vorgänger
+wladimir
+wiederholt
+modernisierung
+waffen arsenals
+verkündet
+umsetzung
+ankündigungen
+groß teil
+atom waffen
+sowjet zeiten
+stimmung
+streit kräften
+rahmen
+reform
+offizier korps
+verkleinert
+werden
+trifolium
+umfassende
+pflanzen gattung
+pflanze gattung
+unterfamilie
+schmetterlings blütler
+schmetterling blütler
+faboideae
+pflanzen familie
+pflanze familie
+hülsen früchtler
+hülse früchtler
+fabaceae
+gezählt
+sprach gebrauch
+allerdings
+häufig
+gattung
+bezeichnet
+sondern
+nah verwandten
+gattungen
+schnecken klee
+schnecke klee
+medicago
+stein klee
+melilotus
+taxonomisch
+entfernten
+gattung
+sauer klee
+oxalis
+charakteristische
+merkmale
+gattung
+drei fiedrige
+blätter
+viel blütige
+kopfige
+blüten stände
+blüte stände
+kontinenten
+ausnahme
+australiens
+antarktikas
+natürlich
+verbreitet
+australien
+wurden
+verschiedene
+klee arten
+menschen
+eingeführt
+landwirtschaft
+werden
+verschiedene
+klee arten
+futter pflanzen
+verwendet
+klee anbau
+europa
+nord amerika
+ökonomischer
+bedeutung
+europa
+jahrhundert
+christus
+angebaut
+fähigkeit
+symbiose
+knöllchen bakterien
+rhizobiaceae
+wurzeln
+stickstoff
+verbesserung
+boden fruchtbarkeit
+bedeutend
+klee blatt
+symbolik
+vieler
+kulturen
+eingang
+repräsentiert
+dreiheit
+beispiel
+christentum
+dreifaltigkeit
+weiterhin
+sommer
+symbolisiert
+vier blättrige
+klee blatt
+glücks bringer
+glück bringer
+XX
diff --git a/compound-split/de/weights.ptinit b/compound-split/de/weights.ptinit
new file mode 100644
index 00000000..eaaa3899
--- /dev/null
+++ b/compound-split/de/weights.ptinit
@@ -0,0 +1,17 @@
+LettersSq 0
+LettersSqrt 0
+RevCharLM 0
+FugS 0
+FugN 0
+WordCount 0
+InDict 0
+Short 0
+Long 0
+OOV 0
+ShortRange 0
+HighFreq 0
+MedFreq 0
+Freq 0
+Bad 0
+FreqLen1 0
+FreqLen2 0
diff --git a/compound-split/de/weights.trained b/compound-split/de/weights.trained
new file mode 100644
index 00000000..359e5cc7
--- /dev/null
+++ b/compound-split/de/weights.trained
@@ -0,0 +1,17 @@
+LettersSq -0.037643555390228831
+LettersSqrt 0.58198736272513085
+RevCharLM 0.45802141843469085
+FugS 0.26570690067173086
+FugN -0.70672252122442492
+WordCount 0.33774557030334018
+InDict 0.23339787529651213
+Short 0.60862824917301594
+Long -0.58675406875713121
+OOV 0.10434769500682411
+ShortRange -1.0221040223076261
+HighFreq -2.9803896632623825
+MedFreq 0.18811013582723696
+Freq -0.26933190242976746
+Bad -2.3217842031714113
+FreqLen1 -0.28996794292058575
+FreqLen2 -0.21944133928835977