From b1628d8bedb8a4145c77ed5917999379fc99a5d5 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Wed, 15 Jan 2014 20:33:02 -0500
Subject: maybe better randomization to prevent port conflicts on big machines?

---
 training/utils/parallelize.pl | 16 +++++++++++++---
 1 file changed, 13 insertions(+), 3 deletions(-)

diff --git a/training/utils/parallelize.pl b/training/utils/parallelize.pl
index 4197e0e5..c9ab88ce 100755
--- a/training/utils/parallelize.pl
+++ b/training/utils/parallelize.pl
@@ -45,11 +45,22 @@ my $numnodes = 8;
 my $user = $ENV{"USER"};
 my $pmem = "9g";
 my $basep=50300;
-my $randp=300;
 my $tryp=50;
 my $no_which;
 my $no_cd;
 
+if (-r '/dev/urandom') {
+  open(RR,'</dev/urandom') or die "Failed to read /dev/urandom: $!";
+  my $buffer;
+  die "Failed to read 4 bytes of entropy" unless read(RR,$buffer,4) == 4;
+  close RR;
+  my ($val) = unpack 'L1', $buffer;
+  srand($val);
+} else {
+  srand();
+}
+my $randp=4000;
+
 my $DEBUG=$ENV{DEBUG};
 print STDERR "DEBUG=$DEBUG output enabled.\n" if $DEBUG;
 my $verbose = 1;
@@ -206,8 +217,7 @@ chomp $host;
 
 
 # find open port
-srand;
-my $port = 50300+int(rand($randp));
+my $port = $basep+int(rand($randp));
 my $endp=$port+$tryp;
 sub listening_port_lines {
     my $quiet=$verbose?'':'2>/dev/null';
-- 
cgit v1.2.3


From 7a1db9fe7cb79fdb5544a33ddc2f9f3612adf1ae Mon Sep 17 00:00:00 2001
From: Chris Dyer <cdyer@allegro.clab.cs.cmu.edu>
Date: Wed, 15 Jan 2014 23:33:43 -0500
Subject: deal with hindi

---
 corpus/support/tokenizer.pl | 13 +++++++------
 1 file changed, 7 insertions(+), 6 deletions(-)

diff --git a/corpus/support/tokenizer.pl b/corpus/support/tokenizer.pl
index e0df16a7..079f45b6 100755
--- a/corpus/support/tokenizer.pl
+++ b/corpus/support/tokenizer.pl
@@ -65,7 +65,7 @@ my $Split_AposD  = 1;  ## 'd
 
 
 ### some patterns
-my $common_right_punc = '\.|\,|\;|:|\!|\?|\"|\)|\]|\}|\>|\-';
+my $common_right_punc = '\x{0964}|\.|\,|\;|\!|:|\?|\"|\)|\]|\}|\>|\-';
 
 #### step 1: read files
 
@@ -112,7 +112,6 @@ my $new_token_total = 0;
 
 while(<STDIN>){
     chomp();
-
     if(/^(\[b\s+|\]b|\]f|\[f\s+)/ || (/^\[[bf]$/) || (/^\s*$/) || /^<DOC/ || /^<\/DOC/) {
 	## markup
 	print STDOUT "$_\n";
@@ -121,7 +120,7 @@ while(<STDIN>){
 
     my $orig_num = 0;
     my $deep_proc_num = 0;
-
+    s/(\x{0964}+)/ $1/g;  # Devangari end of sentence
     my $new_line = proc_line($_, \$orig_num, \$deep_proc_num);
 
     $orig_token_total += $orig_num;
@@ -148,7 +147,8 @@ while(<STDIN>){
 	$new_line =~ s/(set|src|tgt|trg)/ $1/g;
     }
 
-    print STDOUT " $new_line\n";
+    chomp $new_line;
+    print STDOUT "$new_line\n";
 }
 
 ########################################################################
@@ -228,6 +228,7 @@ sub proc_token {
 
     ## step 1: check the most common case
     if($token =~ /^[a-z0-9\p{Cyrillic}\p{Greek}\p{Hebrew}\p{Han}\p{Arabic}\p{Devanagari}]+$/i){
+    #if($token =~ /^[a-z0-9\p{Cyrillic}\p{Greek}\p{Hebrew}\p{Han}\p{Arabic}]+$/i){
 	### most common cases
 	return $token;
     }
@@ -363,7 +364,7 @@ sub deep_proc_token {
 
     ##### step 0: if it mades up of all puncts, remove one punct at a time.
     if($line !~ /[\p{Cyrillic}\p{Greek}\p{Hebrew}\p{Han}\p{Arabic}\p{Devanagari}a-zA-Z\d]/){
-	if($line =~ /^(\!+|\@+|\++|\=+|\*+|\<+|\>+|\|+|\?+|\.+|\-+|\_+|\&+)$/){
+	if($line =~ /^(\!+|\@+|\++|\=+|\*+|\<+|\>+|\|+|\?+|\x{0964}+|\.+|\-+|\_+|\&+)$/){
 	    ## ++ @@@@ !!! ....
 	    return $line;
 	}
@@ -454,7 +455,7 @@ sub deep_proc_token {
 	### deal with ': e.g., 's, 't, 'm, 'll, 're, 've, n't
 
 	##  'there => ' there   '98 => the same
-	$suc += ($line =~ s/^(\'+)([a-z]+)/ $1 $2/gi);
+	$suc += ($line =~ s/^(\'+)([a-z\p{Cyrillic}\p{Greek}\p{Hebrew}\p{Han}\p{Arabic}\p{Devanagari}]+)/ $1 $2/gi);
 	
 	##  note that \' and \. could interact: e.g.,  U.S.'s;   're.
 	if($Split_NAposT && ($line =~ /^(.*[a-z]+)(n\'t)([\.]*)$/i)){
-- 
cgit v1.2.3


From c13f5b9f6b5e80cfe7719b25f90d8d73d5ef3098 Mon Sep 17 00:00:00 2001
From: Chris Dyer <cdyer@allegro.clab.cs.cmu.edu>
Date: Thu, 16 Jan 2014 00:25:14 -0500
Subject: moar hindi

---
 corpus/support/quote-norm.pl | 5 +++++
 1 file changed, 5 insertions(+)

diff --git a/corpus/support/quote-norm.pl b/corpus/support/quote-norm.pl
index 57f4ad77..7fe33db4 100755
--- a/corpus/support/quote-norm.pl
+++ b/corpus/support/quote-norm.pl
@@ -61,6 +61,11 @@ while(<STDIN>) {
   s/«/"/g;
   s/»/"/g;
   tr/！-～/!-~/;
+  tr/०-९/0-9/; # devangari
+  tr/౦-౯/0-9/; # telugu
+  tr/೦-೯/0-9/; # kannada
+  tr/೦-௯/0-9/; # tamil
+  tr/൦-൯/0-9/; # malayalam
   s/、/,/g;
   # s/。/./g;
   s/…/.../g;
-- 
cgit v1.2.3


From 8bce53d2a076ef76f3fea34b2bddb0a713ec4ea8 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Fri, 17 Jan 2014 04:07:16 -0500
Subject: new de split

---
 compound-split/cdec-de.ini       |    2 +-
 compound-split/de/cdec-train.ini |    2 +-
 compound-split/de/dev.in-ref     | 1216 ++++++++++++++++++++++++++++++++++++++
 compound-split/de/wordlist.de    |    8 +
 decoder/ff_csplit.cc             |   36 +-
 decoder/ff_csplit.h              |    1 +
 6 files changed, 1261 insertions(+), 4 deletions(-)
 create mode 100644 compound-split/de/wordlist.de

diff --git a/compound-split/cdec-de.ini b/compound-split/cdec-de.ini
index 85424e91..1573dd52 100644
--- a/compound-split/cdec-de.ini
+++ b/compound-split/cdec-de.ini
@@ -2,5 +2,5 @@ formalism=csplit
 intersection_strategy=full
 weights=de/weights.trained
 #weights=de/weights.noun-only-1best-only
-feature_function=CSplit_BasicFeatures de/large_dict.de.gz de/badlist.de.gz
+feature_function=CSplit_BasicFeatures de/large_dict.de.gz de/badlist.de.gz de/wordlist.de
 feature_function=CSplit_ReverseCharLM de/charlm.rev.5gm.de.lm.gz
diff --git a/compound-split/de/cdec-train.ini b/compound-split/de/cdec-train.ini
index 44f5934d..cd8e642d 100644
--- a/compound-split/de/cdec-train.ini
+++ b/compound-split/de/cdec-train.ini
@@ -1,5 +1,5 @@
 formalism=csplit
 # crf_uniform_empirical=true
 intersection_strategy=full
-feature_function=CSplit_BasicFeatures large_dict.de.gz badlist.de.gz
+feature_function=CSplit_BasicFeatures large_dict.de.gz badlist.de.gz wordlist.de
 feature_function=CSplit_ReverseCharLM charlm.rev.5gm.de.lm.gz
diff --git a/compound-split/de/dev.in-ref b/compound-split/de/dev.in-ref
index b91daced..41d74757 100644
--- a/compound-split/de/dev.in-ref
+++ b/compound-split/de/dev.in-ref
@@ -901,3 +901,1219 @@ geheimnis ||| # geheimnis
 bienentanzes ||| # biene tanzes
 entschlüsseln ||| # entschlüsseln
 klimawandel ||| # klima wandel
+empörend ||| # empörend
+ernannt ||| # ernannt
+wirtschaftliche ||| # wirtschaftliche
+offiziell ||| # offiziell
+abgefangen ||| # abgefangen
+abgehört ||| # abgehört
+abgehört ||| # abgehört
+abgeschafft ||| # abgeschafft
+abgesetzt ||| # abgesetzt
+abhängen ||| # abhängen
+abhöraktion ||| # abhör aktion
+abhörsichere ||| # abhör sichere
+abkommen ||| # abkommen
+absage ||| # absage
+abschaffung ||| # abschaffung
+affronts ||| # affronts
+agenten ||| # agenten
+aktion ||| # aktion
+aktivisten ||| # aktivisten
+aktivisten ||| # aktivisten
+alexander ||| # alexander
+alledem ||| # alledem
+allgemeine ||| # allgemeine
+amerikaner ||| # amerikaner
+amtsübergabe ||| ((('#',0,1),),(('amts',0,1),('amt',0,1),),(('übergabe',0,1),),)
+analysiert ||| # analysiert
+anderen ||| # anderen
+anderen ||| # anderen
+anderer ||| # anderer
+anderes ||| # anderes
+andernfalls ||| # andernfalls
+anders ||| # anders
+anders ||| # anders
+anfangen ||| # anfangen
+anführer ||| # anführer
+anführer ||| # anführer
+angeblich ||| # angeblich
+angeblich ||| # angeblich
+angela ||| # angela
+anklopft ||| # anklopft
+anspruch ||| # anspruch
+anspruch ||| # anspruch
+antreten ||| # antreten
+antworten ||| # antworten
+arbeitet ||| # arbeitet
+argwöhnisch ||| # argwöhnisch
+atomvertrag ||| # atom vertrag
+aufbewahrt ||| # aufbewahrt
+aufgehen ||| # aufgehen
+aufgezeichnet ||| # aufgezeichnet
+aufhören ||| # aufhören
+aufklärung ||| # aufklärung
+aufklärung ||| # aufklärung
+aufklärungsarbeit ||| ((('#',0,1),),(('aufklärungs',0,1),('aufklärung',0,1),),(('arbeit',0,1),),)
+aufzeichnete ||| # aufzeichnete
+auseinandersetzung ||| # auseinandersetzung
+ausforschungsprogramm ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('programm',0,1),),)
+ausforschungstechniken ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('techniken',0,1),),)
+ausgewählten ||| # ausgewählten
+auslöser ||| # auslöser
+auslöser ||| # auslöser
+ausmacht ||| # ausmacht
+ausmacht ||| # ausmacht
+ausmaß ||| # ausmaß
+ausprobieren ||| # ausprobieren
+ausprobiert ||| # ausprobiert
+ausrufezeichen ||| # ausrufezeichen
+autokrat ||| # autokrat
+autorität ||| # autorität
+außenminister ||| # außen minister
+außenministerium ||| # außen ministerium
+außenpolitischen ||| # außen politischen
+außenpolitischen ||| # außenpolitischen
+barack ||| # barack
+barmherzig ||| # barmherzig
+bedankte ||| # bedankte
+bedeutet ||| # bedeutet
+bedeutung ||| # bedeutung
+befürchtet ||| # befürchtet
+beginn ||| # beginn
+behauptet ||| # behauptet
+beiden ||| # beiden
+beides ||| # beides
+beiseiteschieben ||| # beiseite schieben
+beispielsweise ||| # beispielsweise
+bekanntwerden ||| # bekannt werden
+belauschen ||| # belauschen
+belauscht ||| # belauscht
+belege ||| # belege
+benötigt ||| # benötigt
+bereits ||| # bereits
+bericht ||| # bericht
+bericht ||| # bericht
+berichtet ||| # berichtet
+berlin ||| # berlin
+berliner ||| # berliner
+berufung ||| # berufung
+beschränkt ||| # beschränkt
+besetzen ||| # besetzen
+besetzt ||| # besetzt
+besonders ||| # besonders
+besorgt ||| # besorgt
+besser ||| # besser
+besser ||| # besser
+bestehen ||| # bestehen
+bestellt ||| # bestellt
+bestimmen ||| # bestimmen
+bestätigen ||| # bestätigen
+bestätigt ||| # bestätigt
+betrachtet ||| # betrachtet
+betritt ||| # betritt
+beunruhigend ||| # beunruhigend
+bewundern ||| # bewundern
+bewusstzuwerden ||| # bewusstzuwerden
+beziehungen ||| # beziehungen
+beäugen ||| # beäugen
+bieten ||| # bieten
+billigte ||| # billigte
+bisher ||| # bisher
+botschaft ||| # botschaft
+botschaft ||| # botschaft
+brandenburger ||| # brandenburger
+brandenburger ||| # brandenburger
+brauchen ||| # brauchen
+brauchen ||| # brauchen
+braucht ||| # braucht
+braucht ||| # braucht
+bundespräsident ||| # bundespräsident
+bundeswehr ||| # bundeswehr
+bändigen ||| # bändigen
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürgerkrieg ||| # bürger krieg
+bürgerlichen ||| # bürgerlichen
+bürgerrechte ||| # bürger rechte
+bürgerrechte ||| # bürger rechte
+bürgerrechten ||| # bürger rechten
+channel ||| # channel
+chefin ||| # chefin
+chinesen ||| # chinesen
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+dachte ||| # dachte
+damals ||| # damals
+damals ||| # damals
+damals ||| # damals
+danach ||| # danach
+danach ||| # danach
+darauf ||| # darauf
+darauf ||| # darauf
+darauf ||| # darauf
+dauern ||| # dauern
+definitionen ||| # definitionen
+demnach ||| # demnach
+demokratie ||| # demokratie
+demokratische ||| # demokratische
+demokratische ||| # demokratische
+demokratischen ||| # demokratischen
+denken ||| # denken
+derweil ||| # derweil
+derzeit ||| # derzeit
+deshalb ||| # deshalb
+dessen ||| # dessen
+dessen ||| # dessen
+deutsche ||| # deutsche
+deutschen ||| # deutschen
+deutscher ||| # deutscher
+dezentralisiert ||| # dezentralisiert
+diesem ||| # diesem
+diesem ||| # diesem
+diesem ||| # diesem
+diesem ||| # diesem
+diesen ||| # diesen
+diesen ||| # diesen
+dieser ||| # dieser
+dieser ||| # dieser
+dieser ||| # dieser
+dimension ||| # dimension
+direkt ||| # direkt
+direkt ||| # direkt
+dossier ||| # dossier
+dreckiges ||| # dreckiges
+dringlichkeit ||| # dringlichkeit
+drucken ||| # drucken
+drängen ||| # drängen
+durcheinander ||| # durcheinander
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+eigenes ||| # eigenes
+eindrückliche ||| # eindrückliche
+eindrücklichen ||| # eindrücklichen
+einfach ||| # einfach
+einfach ||| # einfach
+eingeräumt ||| # eingeräumt
+einmal ||| # einmal
+einschnitt ||| # einschnitt
+einsichten ||| # einsichten
+einzelnen ||| # einzelnen
+element ||| # element
+element ||| # element
+elemente ||| # elemente
+eltern ||| # eltern
+eltern ||| # eltern
+empfangen ||| # empfangen
+endgültig ||| # endgültig
+englischen ||| # englischen
+englischen ||| # englischen
+enthüllungen ||| # enthüllungen
+enthüllungen ||| # enthüllungen
+entlässt ||| # entlässt
+entmachtet ||| # entmachtet
+entscheiden ||| # entscheiden
+entscheidende ||| # entscheidende
+entscheidet ||| # entscheidet
+entscheidungen ||| # entscheidungen
+entstanden ||| # entstanden
+entstehen ||| # entstehen
+entwickeln ||| # entwickeln
+entwickeln ||| # entwickeln
+entwickeln ||| # entwickeln
+episode ||| # episode
+epochalen ||| # epochalen
+erfahren ||| # erfahren
+erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
+erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
+ergebnissen ||| # ergebnissen
+erhalten ||| # erhalten
+erhielt ||| # erhielt
+erinnern ||| # erinnern
+erkenntnisse ||| # erkenntnisse
+erneut ||| # erneut
+ernstfall ||| # ernstfall
+erscheint ||| # erscheint
+ersetzt ||| # ersetzt
+erstickt ||| # erstickt
+erstmals ||| # erstmals
+erwachsen ||| # erwachsen
+erweitert ||| # erweitert
+europäer ||| # europäer
+ewigen ||| # ewigen
+existiert ||| # existiert
+februar ||| # februar
+februar ||| # februar
+fehler ||| # fehler
+felder ||| # felder
+fernsehen ||| # fernsehen
+festgehalten ||| # festgehalten
+festnetzanschluss ||| # festnetzanschluss
+festnetzanschluss ||| # festnetzanschluss
+finden ||| # finden
+finden ||| # finden
+fliehen ||| # fliehen
+forbes ||| # forbes
+frankfurter ||| # frankfurter
+freien ||| # freien
+freiheit ||| # freiheit
+freiheit ||| # freiheit
+freiheit ||| # freiheit
+freiheiten ||| # freiheiten
+freilassung ||| # freilassung
+freilassung ||| # freilassung
+freilich ||| # freilich
+freiräume ||| # freiräume
+freundschaftlichen ||| # freundschaftlichen
+funktionieren ||| # funktionieren
+fußball ||| # fußball
+führer ||| # führer
+führten ||| # führten
+gaucks ||| # gaucks
+geachtet ||| # geachtet
+gearbeitet ||| # gearbeitet
+geborenes ||| # geborenes
+gedanken ||| # gedanken
+geeint ||| # geeint
+gefahr ||| # gefahr
+gefangenen ||| # gefangenen
+gefragt ||| # gefragt
+gefragt ||| # gefragt
+gefängnisse ||| # gefängnisse
+geführt ||| # geführt
+gegeneinander ||| # gegeneinander
+gegenleistung ||| # gegenleistung
+gegenteil ||| # gegenteil
+gegenüber ||| # gegenüber
+gehalten ||| # gehalten
+geheimdienste ||| # geheim dienste
+geheimdienstes ||| # geheim dienstes
+geheimdienstkreise ||| # geheim dienst kreise
+geheimdiensttruppe ||| # geheim dienst truppe
+geheimdienstzentrale ||| # geheim dienst zentrale
+geheime ||| # geheime
+geheimoperation ||| # geheim operation
+gehört ||| # gehört
+geknackt ||| # geknackt
+geknackt ||| # geknackt
+gemacht ||| # gemacht
+genfer ||| # genfer
+genutzt ||| # genutzt
+geordnet ||| # geordnet
+george ||| # george
+gerhard ||| # gerhard
+gerichten ||| # gerichten
+gesammelt ||| # gesammelt
+geschäftsleute ||| # geschäft leute
+gesellschaft ||| # gesellschaft
+gesellschaft ||| # gesellschaft
+gesellschaft ||| # gesellschaft
+gesellschaftliche ||| # gesellschaftliche
+gesellschaftssystem ||| # gesellschaft system
+gesetze ||| # gesetze
+gesicherten ||| # gesicherten
+gespräch ||| # gespräch
+gestartet ||| # gestartet
+gestellt ||| # gestellt
+gestoppt ||| # gestoppt
+gestoppt ||| # gestoppt
+gewaltig ||| # gewaltig
+gewehrt ||| # gewehrt
+gewesen ||| # gewesen
+gewesen ||| # gewesen
+gewusst ||| # gewusst
+gewählt ||| # gewählt
+gewährte ||| # gewährte
+geändert ||| # geändert
+gingen ||| # gingen
+gingen ||| # gingen
+glauben ||| # glauben
+gleichziehen ||| # gleichziehen
+gnädig ||| # gnädig
+greenpeace ||| # greenpeace
+greenpeace ||| # greenpeace
+greift ||| # greift
+grimmig ||| # grimmig
+gründen ||| # gründen
+gründete ||| # gründete
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+halten ||| # halten
+halten ||| # halten
+helfen ||| # helfen
+herauszufinden ||| # herauszufinden
+hinaus ||| # hinaus
+hindurch ||| # hindurch
+hingewiesen ||| # hingewiesen
+hinschauen ||| # hinschauen
+hinzufügen ||| # hinzufügen
+hochrangiger ||| # hochrangiger
+hochrangiger ||| # hochrangiger
+hätten ||| # hätten
+images ||| # images
+indirekt ||| # indirekt
+informationen ||| # informationen
+informationen ||| # informationen
+informationen ||| # informationen
+informationen ||| # informationen
+informiert ||| # informiert
+inhalt ||| # inhalt
+innenpolitisch ||| # innen politisch
+insgesamt ||| # insgesamt
+institut ||| # institut
+instituts ||| # instituts
+interesse ||| # interesse
+internat ||| # internat
+intervention ||| # intervention
+irgendwohin ||| # irgendwohin
+jahren ||| # jahren
+jahrtausends ||| # jahrtausends
+jahrzehnte ||| # jahrzehnte
+januar ||| # januar
+jedenfalls ||| # jedenfalls
+jedenfalls ||| # jedenfalls
+jelzin ||| # jelzin
+jeweiligen ||| # jeweiligen
+joachim ||| # joachim
+jährlich ||| # jährlich
+jüngste ||| # jüngste
+kampfzone ||| # kampf zone
+kandidaten ||| # kandidaten
+kannten ||| # kannten
+kanzler ||| # kanzler
+kanzleramt ||| # kanzleramt
+kanzleramt ||| # kanzleramt
+kanzlerin ||| # kanzlerin
+kanzlerin ||| # kanzlerin
+kanzlerin ||| # kanzlerin
+kanzlers ||| # kanzlers
+kanzlers ||| # kanzlers
+katastrophal ||| # katastrophal
+keinen ||| # keinen
+kinder ||| # kinder
+kinder ||| # kinder
+kleine ||| # kleine
+knackten ||| # knackten
+knalliges ||| # knalliges
+kommen ||| # kommen
+kommen ||| # kommen
+kommen ||| # kommen
+konnte ||| # konnte
+konnte ||| # konnte
+konnten ||| # konnten
+konsultation ||| # konsultation
+kontrollieren ||| # kontrollieren
+kontrollorgane ||| # kontroll organe
+korruption ||| # korruption
+kremls ||| # kremls
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kunstgriffen ||| # kunst griffen
+kurzum ||| # kurzum
+kämpfer ||| # kämpfer
+können ||| # können
+können ||| # können
+können ||| # können
+können ||| # können
+können ||| # können
+könnte ||| # könnte
+könnten ||| # könnten
+könnten ||| # könnten
+kümmert ||| # kümmert
+kürzlich ||| # kürzlich
+landbevölkerung ||| # land bevölkerung
+landes ||| # landes
+lassen ||| # lassen
+lassen ||| # lassen
+laufen ||| # laufen
+lausch ||| # lausch
+lauschaktivitäten ||| # lausch aktivitäten
+lauschangriff ||| # lausch angriff
+lauschangriff ||| # lausch angriff
+lediglich ||| # lediglich
+leiter ||| # leiter
+letzteren ||| # letzteren
+lewada ||| # lewada
+lewada ||| # lewada
+lieber ||| # lieber
+machen ||| # machen
+machen ||| # machen
+machen ||| # machen
+mannes ||| # mannes
+markiert ||| # markiert
+marktwirtschaft ||| # markt wirtschaft
+massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
+massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
+medien ||| # medien
+medien ||| # medien
+meinungsforscher ||| # meinung forscher
+meinungsforschungsinstitut ||| # meinung forschung institut
+meinungsforschungsinstituts ||| # meinung forschung instituts
+meiste ||| # meiste
+meisten ||| # meisten
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschlichkeit ||| # menschlichkeit
+menschsein ||| # menschsein
+menschsein ||| ((('#',0,1),),(('menschsein',0,2),('mensch',0,1),),(('sein',0,1),),)
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+michail ||| # michail
+militärintervention ||| # militär intervention
+milliardenkredit ||| # milliarden kredit
+mitarbeiter ||| # mitarbeiter
+mitarbeiter ||| # mitarbeiter
+mitarbeitern ||| # mitarbeitern
+mitarbeiters ||| # mitarbeiters
+mitglieder ||| # mitglieder
+mithalten ||| # mithalten
+mittags ||| # mittags
+mitteilen ||| # mitteilen
+mittwoch ||| # mittwoch
+modernster ||| # modernster
+moment ||| # moment
+moskau ||| # moskau
+musste ||| # musste
+mächtige ||| # mächtige
+mächtigste ||| # mächtigste
+mögliche ||| # mögliche
+möglicher ||| # möglicher
+müssen ||| # müssen
+müssen ||| # müssen
+nachdem ||| # nachdem
+nachrichten ||| # nachrichten
+nannte ||| # nannte
+natürlich ||| # natürlich
+nebenbei ||| # nebenbei
+nehmen ||| # nehmen
+neuesten ||| # neuesten
+neunzigern ||| # neunzigern
+neunzigern ||| # neunzigern
+nichts ||| # nichts
+nichts ||| # nichts
+nichts ||| # nichts
+nichts ||| # nichts
+nichtstaatliche ||| # nicht staatliche
+niemand ||| # niemand
+nominiert ||| # nominiert
+notlage ||| # notlage
+nutzen ||| # nutzen
+nötige ||| # nötige
+obamas ||| # obamas
+oligarchen ||| # oligarchen
+olympischen ||| # olympischen
+olympischen ||| # olympischen
+olympischen ||| # olympischen
+online ||| # online
+operation ||| # operation
+optimistisch ||| # optimistisch
+organisatoren ||| # organisatoren
+parlamentarismus ||| # parlamentarismus
+parlamenten ||| # parlamenten
+partei ||| # partei
+passiert ||| # passiert
+persönlich ||| # persönlich
+plötzlich ||| # plötzlich
+politik ||| # politik
+politiker ||| # politiker
+politisch ||| # politisch
+politische ||| # politische
+politischen ||| # politischen
+politischen ||| # politischen
+polizei ||| # polizei
+positionen ||| # positionen
+positives ||| # positives
+postsowjetischen ||| # post sowjetischen
+potenzielle ||| # potenzielle
+prekären ||| # prekären
+pressekonferenz ||| # presse konferenz
+prinzip ||| # prinzip
+privaten ||| # privaten
+privatheit ||| # privatheit
+privatheit ||| # privatheit
+privatleben ||| # privat leben
+privatleben ||| # privat leben
+problem ||| # problem
+profilseite ||| # profil seite
+prozent ||| # prozent
+prozent ||| # prozent
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+pubertät ||| # pubertät
+punksängerinnen ||| # punk sängerinnen
+putins ||| # putins
+quellennennung ||| # quelle nennung
+radikal ||| # radikal
+reformen ||| # reformen
+regierung ||| # regierung
+regierung ||| # regierung
+regierung ||| # regierung
+regierungschefs ||| # regierung chefs
+regionen ||| # regionen
+reisepläne ||| # reisepläne
+rezitierte ||| # rezitierte
+richter ||| # richter
+riesigen ||| # riesigen
+russen ||| # russen
+russen ||| # russen
+russen ||| # russen
+russen ||| # russen
+russische ||| # russische
+russische ||| # russische
+russischen ||| # russischen
+russischen ||| # russischen
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russlands ||| # russlands
+russlands ||| # russlands
+schafft ||| # schafft
+schaut ||| # schaut
+schenkt ||| # schenkt
+schließen ||| # schließen
+schlimm ||| # schlimm
+schlüsselstellen ||| # schlüssel stellen
+schmiergelder ||| # schmier gelder
+schrecken ||| # schrecken
+schreibt ||| # schreibt
+schrie ||| # schrie
+schrieb ||| # schrieb
+schritt ||| # schritt
+schritte ||| # schritte
+schröder ||| # schröder
+schröder ||| # schröder
+schröder ||| # schröder
+schröders ||| # schröders
+schwarzen ||| # schwarzen
+schweigen ||| # schweigen
+schützen ||| # schützen
+seinen ||| # seinen
+seinen ||| # seinen
+seiner ||| # seiner
+seiner ||| # seiner
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbstbewusstseins ||| # selbstbewusstseins
+selten ||| # selten
+setzte ||| # setzte
+sicherheit ||| # sicherheit
+sicherung ||| # sicherung
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+sofort ||| # sofort
+solche ||| # solche
+sommer ||| # sommer
+sommerurlaubsort ||| # sommer urlaub ort
+sondern ||| # sondern
+sondern ||| # sondern
+sondern ||| # sondern
+sonntag ||| # sonntag
+sonntag ||| # sonntag
+sonntagszeitung ||| # sonntag zeitung
+sotschi ||| # sotschi
+sotschi ||| # sotschi
+sotschi ||| # sotschi
+sowjetunion ||| # sowjet union
+spektakel ||| # spektakel
+sperre ||| # sperre
+spezialisten ||| # spezialisten
+spezialisten ||| # spezialisten
+spiegel ||| # spiegel
+spiele ||| # spiele
+spielen ||| # spielen
+spielen ||| # spielen
+spione ||| # spione
+sportereignisse ||| # sport ereignisse
+sportliche ||| # sportliche
+spreche ||| # spreche
+spricht ||| # spricht
+spräche ||| # spräche
+später ||| # später
+später ||| # später
+staaten ||| # staaten
+staatsaufträgen ||| # staat aufträgen
+staatsgewalt ||| ((('#',0,1),),(('staats',0,1),('staat',0,1),),(('gewalt',0,1),),)
+stabilisiert ||| # stabilisiert
+stagniert ||| # stagniert
+starken ||| # starken
+starken ||| # starken
+starker ||| # starker
+starker ||| # starker
+starker ||| # starker
+starten ||| # starten
+stationiert ||| # stationiert
+status ||| # status
+stehen ||| # stehen
+steinmeier ||| # steinmeier
+steinmeier ||| # steinmeier
+steinmeiers ||| # steinmeiers
+straflager ||| # straflager
+ständig ||| # ständig
+stärkt ||| # stärkt
+stärkung ||| # stärkung
+syrischen ||| # syrischen
+system ||| # system
+system ||| # system
+system ||| # system
+system ||| # system
+sämtliche ||| # sämtliche
+sängerinnen ||| # sängerinnen
+sängerinnen ||| # sängerinnen
+sätzen ||| # sätzen
+technik ||| # technik
+teilnahme ||| # teilnahme
+telefonat ||| # telefonat
+telefongespräche ||| # telefon gespräche
+themas ||| # themas
+tragen ||| # tragen
+transparenz ||| # transparenz
+trauen ||| # trauen
+traute ||| # traute
+ukraine ||| # ukraine
+ukraine ||| # ukraine
+umfassendes ||| # umfassendes
+umgang ||| # umgang
+umweltschützer ||| # umwelt schützer
+unabhängige ||| # unabhängige
+unabhängigen ||| # unabhängigen
+unbeobachteten ||| # unbeobachteten
+unmenschlicher ||| # unmenschlicher
+unseren ||| # unseren
+unserer ||| # unserer
+unserer ||| # unserer
+unserer ||| # unserer
+unserer ||| # unserer
+unternehmen ||| # unternehmen
+unterordnen ||| # unterordnen
+unterstützen ||| # unterstützen
+unterstützung ||| # unterstützung
+untersuchten ||| # untersuchten
+verbrachte ||| # verbrachte
+verfahren ||| # verfahren
+vergangenheit ||| # vergangenheit
+vergessene ||| # vergessene
+vergünstigungen ||| # vergünstigungen
+verhinderte ||| # verhinderte
+verhängnisvoller ||| # verhängnisvoller
+verkündet ||| # verkündet
+verlangen ||| # verlangen
+verlassen ||| # verlassen
+verloren ||| # verloren
+vernichtet ||| # vernichtet
+vernichtung ||| # vernichtung
+versichert ||| # versichert
+verspielen ||| # verspielen
+verspielen ||| # verspielen
+verstärkt ||| # verstärkt
+versuchen ||| # versuchen
+vertrauen ||| # vertrauen
+vertraut ||| # vertraut
+vertrauten ||| # vertrauten
+verträglichkeit ||| # verträglichkeit
+verwendet ||| # verwendet
+veränderungen ||| # veränderungen
+veränderungen ||| # veränderungen
+vielen ||| # vielen
+vierten ||| # vierten
+visier ||| # visier
+vollends ||| # vollends
+vorbeischauen ||| # vorbeischauen
+vorgänger ||| # vorgänger
+vorrangig ||| # vorrangig
+vorrecht ||| # vorrecht
+vorstellen ||| # vorstellen
+vorwerfen ||| # vorwerfen
+vorwürfe ||| # vorwürfe
+vorzeitig ||| # vorzeitig
+wahlerfolg ||| # wahlerfolg
+wahljahr ||| # wahljahr
+walter ||| # walter
+washington ||| # washington
+weihnachten ||| # weihnachten
+weihnachtsansprache ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('ansprache',0,1),),)
+weihnachtsbotschaft ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('botschaft',0,1),),)
+weiter ||| # weiter
+weiter ||| # weiter
+weiter ||| # weiter
+weiter ||| # weiter
+weiterarbeiten ||| # weiterarbeiten
+weitere ||| # weitere
+weißen ||| # weißen
+weltöffentlichkeit ||| # welt öffentlichkeit
+wenige ||| # wenige
+wenigen ||| # wenigen
+weniger ||| # weniger
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+wesentliches ||| # wesentliches
+wesentliches ||| # wesentliches
+westerwelle ||| # westerwelle
+whistleblower ||| ((('#',0,1),),(('whistleblower',0,2),('whistle',0,1),),(('blower',0,1),),)
+wichtig ||| # wichtig
+wichtige ||| # wichtige
+wichtigsten ||| # wichtigsten
+widmann ||| # widmann
+wieder ||| # wieder
+wieder ||| # wieder
+wieder ||| # wieder
+wieder ||| # wieder
+winterspiele ||| # winter spiele
+wirken ||| # wirken
+wirtschaftlich ||| # wirtschaftlich
+wissen ||| # wissen
+wissen ||| # wissen
+wissen ||| # wissen
+wissen ||| # wissen
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wohlstand ||| # wohlstand
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollte ||| # wollte
+wollten ||| # wollten
+worden ||| # worden
+worden ||| # worden
+worden ||| # worden
+wurden ||| # wurden
+wurden ||| # wurden
+wusste ||| # wusste
+wussten ||| # wussten
+wählen ||| # wählen
+während ||| # während
+würden ||| # würden
+wüssten ||| # wüssten
+zeitung ||| # zeitung
+zerfall ||| # zerfall
+zimmer ||| # zimmer
+zimmer ||| # zimmer
+zitiert ||| # zitiert
+zitierte ||| # zitierte
+zivilgesellschaft ||| # zivil gesellschaft
+zuflucht ||| # zuflucht
+zufolge ||| # zufolge
+zufolge ||| # zufolge
+zunächst ||| # zunächst
+zustand ||| # zustand
+zweiminütigen ||| ((('#',0,1),),(('zweiminütigen',0,2),('zwei',0,1),),(('minütigen',0,1),),)
+zweiten ||| # zweiten
+zwischen ||| # zwischen
+ähnlich ||| # ähnlich
+ändern ||| # ändern
+änderte ||| # änderte
+ökonomische ||| # ökonomische
+überhaupt ||| # überhaupt
+überstehen ||| # überstehen
+überwachung ||| # überwachung
+überwachungstechniken ||| ((('#',0,1),),(('überwachungs',0,1),('überwachung',0,1),),(('techniken',0,1),),)
+üblich ||| # üblich
+cyberbullying ||| ((('#',0,1),),(('cyberbullying',0,2),('cyber',0,1),),(('bullying',0,1),),)
+erklärt ||| # erklärt
+chinesischen ||| # chinesischen
+behörden ||| # behörden
+keiner ||| # keiner
+schuld ||| # schuld
+bewusst ||| # bewusst
+verbietet ||| # verbietet
+anderer ||| # anderer
+propheten ||| # propheten
+mohammed ||| # mohammed
+gesandten ||| # gesandten
+beleidigen ||| # beleidigen
+verleumden ||| # verleumden
+tatsächlich ||| # tatsächlich
+gewinnt ||| # gewinnt
+westjordanland ||| # west jordanland
+rivalisierenden ||| # rivalisierenden
+gemäßigten ||| # gemäßigten
+palästinensergruppe ||| # palästinens ergruppe
+kontrolliert ||| # kontrolliert
+meinen ||| # meinen
+wallten ||| # wallten
+tränen ||| # tränen
+machen ||| # machen
+ancelotti ||| # ancelotti
+eingeführte ||| # eingeführte
+konkurrenz ||| # konkurrenz
+zunutze ||| # zunutze
+sieben ||| # sieben
+jahren ||| # jahren
+kämpft ||| # kämpft
+konzern ||| # konzern
+chinesischen ||| # chinesischen
+plagiator ||| # plagiator
+derzeit ||| # derzeit
+mindestlohn ||| # mindestlohn
+föderaler ||| # föderaler
+yorker ||| # yorker
+gesetzgebung ||| # gesetzgebung
+dollar ||| # dollar
+stunde ||| # stunde
+imbongi ||| # imbongi
+bedeutet ||| # bedeutet
+geschichtenerzähler ||| # geschichte erzähler
+lobpreiser ||| # lob preiser
+polizei ||| # polizei
+weiterhin ||| # weiterhin
+städtische ||| # städtische
+vorgaben ||| # vorgaben
+regulierung ||| # regulierung
+anbauern ||| # anbauern
+medizinischem ||| # medizinischem
+marihuana ||| # marihuana
+durchsetzen ||| # durchsetzen
+drogenhändler ||| # drogen händler
+weiterhin ||| # weiterhin
+verfolgt ||| # verfolgt
+würden ||| # würden
+beleidigung ||| # beleidigung
+geahndet ||| # geahndet
+werden ||| # werden
+bleibt ||| # bleibt
+unklar ||| # unklar
+ungebildet ||| # ungebildet
+schließlich ||| # schließlich
+eintritt ||| # eintritt
+kostet ||| # kostet
+kinder ||| # kinder
+jahren ||| # jahren
+kostenlos ||| # kostenlos
+karten ||| # karten
+vorverkauf ||| # vorverkauf
+bohemiaticket ||| # bohemia ticket
+erhältlich ||| # erhältlich
+berufungsgericht ||| # berufung gericht
+berücksichtigt ||| # berücksichtigt
+schnee ||| # schnee
+spektakuläre ||| # spektakuläre
+landschaften ||| # landschaften
+diesen ||| # diesen
+hartnäckigen ||| # hartnäckigen
+geruch ||| # geruch
+einfach ||| # einfach
+verschwinden ||| # verschwinden
+walmart ||| # walmart
+verkauft ||| # verkauft
+produkte ||| # produkte
+windeln ||| # windeln
+jagdgewehre ||| # jagdgewehre
+autobatterien ||| # auto batterien
+staubsaugern ||| # staub saugern
+einige ||| # einige
+personen ||| # personen
+langweilen ||| # langweilen
+leichter ||| # leichter
+andere ||| # andere
+pragmatische ||| # pragmatische
+präsident ||| # präsident
+barack ||| # barack
+zusammentat ||| # zusammentat
+waffenstillstand ||| # waffen stillstand
+erreichen ||| # erreichen
+könnte ||| # könnte
+verheißungsvolles ||| # verheißungs volles
+zeichen ||| # zeichen
+vielleicht ||| # vielleicht
+beginn ||| # beginn
+symbolisieren ||| # symbolisieren
+staatsanwaltschaft ||| # staat anwaltschaft
+freitag ||| # freitag
+versucht ||| # versucht
+festzustellen ||| # festzustellen
+armeegefreite ||| # armee gefreite
+bradley ||| # bradley
+manning ||| # manning
+angeklagt ||| # angeklagt
+größte ||| # größte
+enthüllung ||| # enthüllung
+vertraulicher ||| # vertraulicher
+informationen ||| # informationen
+amerikanischen ||| # amerikanischen
+geschichte ||| # geschichte
+mehrere ||| # mehrere
+gelegenheiten ||| # gelegenheiten
+versäumte ||| # versäumte
+angeblich ||| # angeblich
+erlittene ||| # erlittene
+misshandlung ||| # misshandlung
+militärhaft ||| # militärhaft
+beschweren ||| # beschweren
+glaube ||| # glaube
+dieses ||| # dieses
+richtige ||| # richtige
+ebenfalls ||| # ebenfalls
+diesem ||| # diesem
+gesetz ||| # gesetz
+ausgenommen ||| # ausgenommen
+personen ||| # personen
+ausbildungszeugnisse ||| # ausbildung zeugnisse
+diplome ||| # diplome
+zerfall ||| # zerfall
+erhalten ||| # erhalten
+wütend ||| # wütend
+diesen ||| # diesen
+forcierten ||| # forcierten
+verfassungsprozess ||| # verfassung prozess
+eigentlich ||| # eigentlich
+februar ||| # februar
+gesellschaftlichen ||| # gesellschaftlichen
+kräfte ||| # kräfte
+einbinden ||| # einbinden
+sollen ||| # sollen
+verruf ||| # verruf
+gebracht ||| # gebracht
+meisten ||| # meisten
+selbst ||| # selbst
+kämpfen ||| # kämpfen
+beteiligt ||| # beteiligt
+meinem ||| # meinem
+erzählte ||| # erzählte
+oxford ||| # oxford
+hasste ||| # hasste
+zufrieden ||| # zufrieden
+russischen ||| # russischen
+behörden ||| # behörden
+probleme ||| # probleme
+anziehung ||| # anziehung
+schrauben ||| # schrauben
+bekämpfen ||| # bekämpfen
+wollen ||| # wollen
+danach ||| # danach
+sendete ||| # sendete
+präsidentenamt ||| # präsidenten amt
+medien ||| # medien
+abschlusserklärung ||| # abschluss erklärung
+gipfeltreffens ||| # gipfel treffens
+erklärung ||| # erklärung
+humala ||| # humala
+handelte ||| # handelte
+offizielle ||| # offizielle
+dokument ||| # dokument
+abschluss ||| # abschluss
+gipfeltreffens ||| # gipfel treffens
+doppelt ||| # doppelt
+kosten ||| # kosten
+offiziellen ||| # offiziellen
+dieser ||| # dieser
+kostet ||| # kostet
+arbeitsmigranten ||| # arbeit migranten
+dreitausend ||| # dreitausend
+selbst ||| # selbst
+kommunistischen ||| # kommunistischen
+freunde ||| # freunde
+legten ||| # legten
+einwandfreie ||| # einwandfreie
+manieren ||| # manieren
+polizei ||| # polizei
+tragen ||| # tragen
+tödlicher ||| # tödlicher
+waffen ||| # waffen
+öffentlichkeit ||| # öffentlichkeit
+verbieten ||| # verbieten
+besitz ||| # besitz
+schusswaffen ||| # schuss waffen
+heraufsetzen ||| # heraufsetzen
+nukleares ||| # nukleares
+material ||| # material
+terroristen ||| # terroristen
+gelangt ||| # gelangt
+könnte ||| # könnte
+beispielsweise ||| # beispielsweise
+ausbrechen ||| # ausbrechen
+zweiten ||| # zweiten
+kommen ||| # kommen
+illegale ||| # illegale
+waffen ||| # waffen
+ordnungshütern ||| # ordnung hütern
+kriminellen ||| # kriminellen
+gestohlen ||| # gestohlen
+werden ||| # werden
+dieser ||| # dieser
+kundinnen ||| # kundinnen
+valentino ||| # valentino
+unvergesslich ||| # unvergesslich
+schützen ||| # schützen
+innerhalb ||| # innerhalb
+mannschaft ||| # mannschaft
+respektieren ||| # respektieren
+sowohl ||| # sowohl
+spieler ||| # spieler
+person ||| # person
+tatbestand ||| # tat bestand
+blasphemie ||| # blasphemie
+aufrechterhalten ||| # aufrecht erhalten
+beleidigungen ||| # beleidigungen
+verboten ||| # verboten
+schwerwiegende ||| # schwerwiegende
+folgen ||| # folgen
+meinungsäußerung ||| # meinung äußerung
+könnte ||| # könnte
+insbesondere ||| # insbesondere
+presse ||| # presse
+kirill ||| # kirill
+miller ||| # miller
+typischen ||| # typischen
+petersburger ||| # petersburger
+sozial ||| # sozial
+philosophischen ||| # philosophischen
+künstler ||| # künstler
+mythen ||| # mythen
+erschaffen ||| # erschaffen
+frauen ||| # frauen
+fliegen ||| # fliegen
+bereits ||| # bereits
+jahren ||| # jahren
+änderung ||| # änderung
+verbesserung ||| # verbesserung
+ernähre ||| # ernähre
+treibe ||| # treibe
+medikamente ||| # medikamente
+gefährliche ||| # gefährliche
+smogglocke ||| # smog glocke
+peking ||| # peking
+stadtregierung ||| # stadt regierung
+verschmutzung ||| # verschmutzung
+begrenzen ||| # begrenzen
+vorerst ||| # vorerst
+husten ||| # husten
+weiter ||| # weiter
+repräsentantenhaus ||| # repräsentanten haus
+großes ||| # großes
+gerangel ||| # gerangel
+haushaltsgesetz ||| # haushalt gesetz
+verabschiedet ||| # verabschiedet
+untergrenze ||| ((('#',0,1),),(('untergrenze',0,2),('unter',0,1),),(('grenze',0,1),),)
+preissturz ||| # preis sturz
+verschmutzungsrechte ||| # verschmutzung rechte
+verhindern ||| # verhindern
+informationen ||| # informationen
+frankfurter ||| # frankfurter
+allgemeinen ||| # allgemeinen
+zeitung ||| # zeitung
+sollen ||| # sollen
+zeiten ||| # zeiten
+zusätzliche ||| # zusätzliche
+emissionszertifikate ||| # emission zertifikate
+kommen ||| # kommen
+hannover ||| # hannover
+beginnt ||| # beginnt
+landstraßenmord ||| # landstraße mord
+kaarst ||| # kaarst
+sportlehrer ||| # sport lehrer
+festgenommen ||| # festgenommen
+rätselhaft ||| # rätselhaft
+prozess ||| # prozess
+christian ||| # christian
+einigen ||| # einigen
+vetomächte ||| # veto mächte
+atomüberwachungsprogramm ||| # atom überwachung programm
+thailändische ||| # thailändische
+demonstranten ||| # demonstranten
+stürmen ||| # stürmen
+regierungsgebäude ||| # regierung gebäude
+jahresrückblick ||| # jahr rückblick
+alljährliche ||| # alljährliche
+drohkulisse ||| # droh kulisse
+nordafrika ||| # nord afrika
+südkorea ||| # süd korea
+nordkorea ||| # nord korea
+gewarnt ||| # gewarnt
+traditionelles ||| # traditionelles
+militärmanöver ||| # militär manöver
+abzuhalten ||| # abzuhalten
+serotoninwiederaufnahmehemmer ||| # serotonin wiederaufnahme hemmer
+gedankenaustausch ||| # gedanke austausch
+nachbarschaftspolitik ||| # nachbarschaft politik
+frauenquote ||| # frauen quote
+aufsichtsräte ||| # aufsicht räte
+mindestens ||| # mindestens
+prozent ||| # prozent
+rechtsanspruch ||| # recht anspruch
+familienpflegezeit ||| # familie pflege zeit
+geeinigt ||| # geeinigt
+teilzeitarbeit ||| # teil zeit arbeit
+erleichtert ||| # erleichtert
+werden ||| # werden
+amtsperiode ||| # amtsperiode
+hälfte ||| # hälfte
+schwarzmeerregion ||| # schwarz meer region
+zentralasien ||| # zentral asien
+regierung ||| # regierung
+merkel ||| # merkel
+titelt ||| # titelt
+ugandisches ||| # ugandisches
+wochenmagazin ||| # woche magazin
+vergangenen ||| # vergangenen
+jahres ||| # jahres
+garantieerklärung ||| # garantie erklärung
+atomprogramms ||| # atom programms
+weltgemeinschaft ||| # welt gemeinschaft
+irakkrieg ||| # irak krieg
+strafsteuer ||| # straf steuer
+regierungsmethode ||| # regierung methode
+rechtsschutzversicherungsgesellschaften ||| # recht schutz versicherung gesellschaften
diff --git a/compound-split/de/wordlist.de b/compound-split/de/wordlist.de
new file mode 100644
index 00000000..676a1e3c
--- /dev/null
+++ b/compound-split/de/wordlist.de
@@ -0,0 +1,8 @@
+steuer
+teil
+mittel
+mitteln
+süd
+nord
+gesamt
+wieder
diff --git a/decoder/ff_csplit.cc b/decoder/ff_csplit.cc
index e6f78f84..33b6cea8 100644
--- a/decoder/ff_csplit.cc
+++ b/decoder/ff_csplit.cc
@@ -14,12 +14,19 @@
 #include "stringlib.h"
 #include "tdict.h"
 
+#ifndef HAVE_OLD_CPP
+# include <unordered_set>
+#else
+# include <tr1/unordered_set>
+namespace std { using std::tr1::unordered_set; }
+#endif
 using namespace std;
 
 struct BasicCSplitFeaturesImpl {
   BasicCSplitFeaturesImpl(const string& param) :
       word_count_(FD::Convert("WordCount")),
       letters_sq_(FD::Convert("LettersSq")),
+      letters_log_(FD::Convert("LettersLog")),
       letters_sqrt_(FD::Convert("LettersSqrt")),
       in_dict_(FD::Convert("InDict")),
       in_dict_sub_word_(FD::Convert("InDictSubWord")),
@@ -31,13 +38,14 @@ struct BasicCSplitFeaturesImpl {
       high_freq_(FD::Convert("HighFreq")),
       med_freq_(FD::Convert("MedFreq")),
       freq_(FD::Convert("Freq")),
+      in_dict_full_word_(FD::Convert("InDictFullWord")),
       fl1_(FD::Convert("FreqLen1")),
       fl2_(FD::Convert("FreqLen2")),
       bad_(FD::Convert("Bad")) {
     vector<string> argv;
     int argc = SplitOnWhitespace(param, &argv);
-    if (argc != 1 && argc != 2) {
-      cerr << "Expected: freqdict.txt [badwords.txt]\n";
+    if (argc != 1 && argc != 2 && argc != 3) {
+      cerr << "Expected: freqdict.txt [badwords.txt] [sensitvewords.txt]\n";
       abort();
     }
     freq_dict_.Load(argv[0]);
@@ -51,6 +59,14 @@ struct BasicCSplitFeaturesImpl {
         bad_words_.insert(TD::Convert(badword));
       }
     }
+    if (argc == 3) {
+      ReadFile rf(argv[2]);
+      istream& in = *rf.stream();
+      string line;
+      while(getline(in, line)) {
+        special_feats_[TD::Convert(line)] = FD::Convert("CS:"+line);
+      }
+    }
   }
 
   void TraversalFeaturesImpl(const Hypergraph::Edge& edge,
@@ -59,6 +75,7 @@ struct BasicCSplitFeaturesImpl {
 
   const int word_count_;
   const int letters_sq_;
+  const int letters_log_;
   const int letters_sqrt_;
   const int in_dict_;
   const int in_dict_sub_word_;
@@ -70,11 +87,13 @@ struct BasicCSplitFeaturesImpl {
   const int high_freq_;
   const int med_freq_;
   const int freq_;
+  const int in_dict_full_word_;
   const int fl1_;
   const int fl2_;
   const int bad_;
   FreqDict<float> freq_dict_;
   set<WordID> bad_words_;
+  unordered_map<WordID, int> special_feats_;
 };
 
 BasicCSplitFeatures::BasicCSplitFeatures(const string& param) :
@@ -85,8 +104,15 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
                                      const int src_word_length,
                                      SparseVector<double>* features) const {
   const bool subword = (edge.i_ > 0) || (edge.j_ < src_word_length);
+  string len_bias = "LenBias_0";
+  int swlen = log(src_word_length) / log(1.69);
+  if (swlen > 9) swlen = 9;
+  len_bias[8] += swlen;
+  int fid_len_bias_ = FD::Convert(len_bias);
+  features->set_value(fid_len_bias_, 1.0); 
   features->set_value(word_count_, 1.0);
   features->set_value(letters_sq_, (edge.j_ - edge.i_) * (edge.j_ - edge.i_));
+  features->set_value(letters_log_, log(edge.j_ - edge.i_));
   features->set_value(letters_sqrt_, sqrt(edge.j_ - edge.i_));
   const WordID word = edge.rule_->e_[1];
   const char* sword = TD::Convert(word).c_str();
@@ -117,10 +143,14 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
     features->set_value(in_dict_, 1.0);
     if (subword) features->set_value(in_dict_sub_word_, 1.0);
   } else {
+    if (!subword) features->set_value(in_dict_full_word_, 1.0);
     features->set_value(oov_, 1.0);
     if (subword) features->set_value(oov_sub_word_, 1.0);
     freq = 99.0f;
   }
+  const unordered_map<WordID, int>::const_iterator it = special_feats_.find(word);
+  if (it != special_feats_.end())
+    features->set_value(it->second, 1.0);
   if (bad_words_.count(word) != 0)
     features->set_value(bad_, 1.0);
   if (chars < 5)
@@ -139,6 +169,8 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
   features->set_value(fl2_, freq / chars);
 }
 
+void BasicCSplitFeatures::PrepareForInput(const SentenceMetadata& smeta) {}
+
 void BasicCSplitFeatures::TraversalFeaturesImpl(
                                      const SentenceMetadata& smeta,
                                      const Hypergraph::Edge& edge,
diff --git a/decoder/ff_csplit.h b/decoder/ff_csplit.h
index 64d42526..79bf2886 100644
--- a/decoder/ff_csplit.h
+++ b/decoder/ff_csplit.h
@@ -10,6 +10,7 @@ class BasicCSplitFeaturesImpl;
 class BasicCSplitFeatures : public FeatureFunction {
  public:
   BasicCSplitFeatures(const std::string& param);
+  virtual void PrepareForInput(const SentenceMetadata& smeta);
  protected:
   virtual void TraversalFeaturesImpl(const SentenceMetadata& smeta,
                                      const HG::Edge& edge,
-- 
cgit v1.2.3


From 3c1e7365d8708846dfffd598158571d4c4abd097 Mon Sep 17 00:00:00 2001
From: Chris Dyer <cdyer@allegro.clab.cs.cmu.edu>
Date: Sat, 18 Jan 2014 21:57:32 -0500
Subject: new tuning of crf compound splitter for wmt14

---
 compound-split/de/TRAIN                   |    2 +-
 compound-split/de/charlm.rev.5gm.de.lm.gz |  Bin 5847741 -> 12724646 bytes
 compound-split/de/dev.in-ref              | 2119 ------------------------
 compound-split/de/large_dict.de.gz        |  Bin 11796618 -> 26258640 bytes
 compound-split/de/test                    |  302 ----
 compound-split/de/test.ref                |  302 ----
 compound-split/de/train.in-ref            | 2531 +++++++++++++++++++++++++++++
 compound-split/de/weights.trained         |   61 +-
 compound-split/de/wordlist.de             |   18 +-
 decoder/ff_csplit.cc                      |    9 +-
 10 files changed, 2593 insertions(+), 2751 deletions(-)
 delete mode 100644 compound-split/de/dev.in-ref
 delete mode 100644 compound-split/de/test
 delete mode 100644 compound-split/de/test.ref
 create mode 100644 compound-split/de/train.in-ref

diff --git a/compound-split/de/TRAIN b/compound-split/de/TRAIN
index 2b48a8d2..835ffcfc 100755
--- a/compound-split/de/TRAIN
+++ b/compound-split/de/TRAIN
@@ -1,2 +1,2 @@
-~/cdec/training/mpi_batch_optimize -w weights.trained -t dev.in-ref -p -c cdec-train.ini -M 200
+mpirun -np 8 ~/cdec/training/crf/mpi_batch_optimize -w weights.trained -t train.in-ref -p -c cdec-train.ini -M 200
 
diff --git a/compound-split/de/charlm.rev.5gm.de.lm.gz b/compound-split/de/charlm.rev.5gm.de.lm.gz
index 1bae8cb9..80856f61 100644
Binary files a/compound-split/de/charlm.rev.5gm.de.lm.gz and b/compound-split/de/charlm.rev.5gm.de.lm.gz differ
diff --git a/compound-split/de/dev.in-ref b/compound-split/de/dev.in-ref
deleted file mode 100644
index 41d74757..00000000
--- a/compound-split/de/dev.in-ref
+++ /dev/null
@@ -1,2119 +0,0 @@
-untersuchungsausschuss ||| ((('#',0,1),),(('untersuchung',0,1),('untersuchungs',0,1),),(('ausschuss',0,1),),)
-vielleicht ||| # vielleicht
-hochzeiten ||| # hochzeiten
-damalige ||| # damalige
-siegfried ||| # siegfried
-jaschinski ||| # jaschinski
-verdächtigenkreis ||| ((('#',0,1),),(('verdächtige',0,1),('verdächtigen',0,1),),(('kreis',0,1),),)
-staatsanwaltschaft ||| ((('#',0,1),),(('staat',0,1),('staats',0,1),),(('staatsanwaltschaft',0,1),),)
-damals ||| # damals
-gefeiert ||| # gefeiert
-landesbank ||| ((('#',0,1),),(('landesbank',0,2),('landes',0,1),('land',0,1),),(('bank',0,1),),)
-ungewöhnlich ||| # ungewöhnlich
-schwäbischen ||| # schwäbischen
-feldherrn ||| # feld herrn
-handelsblatt ||| ((('#',0,1),),(('handels',0,1),('handel',0,1),('handelsblatt',0,2),),(('blatt',0,1),),)
-alexander ||| # alexander
-großen ||| # großen
-promoviert ||| # promoviert
-wachstumsplänen ||| ((('#',0,1),),(('wachstums',0,1),('wachstum',0,1),),(('plänen',0,1),),)
-keinen ||| # keinen
-unausweichlichen ||| # unausweichlichen
-konsolidierung ||| # konsolidierung
-branche ||| # branche
-tragende ||| # tragende
-träumt ||| # träumt
-institut ||| # institut
-glücklicherweise ||| # glücklicherweise
-augenhöhe ||| ((('#',0,1),),(('auge',0,1),('augen',0,1),),(('höhe',0,1),),)
-deutschen ||| # deutschen
-wiederherstellung ||| # wiederherstellung
-grundstück ||| ((('#',0,1),),(('grund',0,1),('grundstück',0,2),),(('stück',0,1),),)
-ruhestand ||| # ruhestand
-widerstand ||| # widerstand
-verstrickt ||| # verstrickt
-stellen ||| # stellen
-zahlreichen ||| # zahlreichen
-versammlungsgesetz ||| ((('#',0,1),),(('versammlung',0,1),('versammlungs',0,1),),(('gesetz',0,1),),)
-verstöße ||| # verstöße
-sachbeschädigung ||| # sach beschädigung
-vereinigungen ||| # vereinigungen
-glashaus ||| # glas haus
-auenlandschaft ||| # auen landschaft
-fundament ||| # fundament
-vierhock ||| # vierhock
-idylle ||| # idylle
-plätschert ||| # plätschert
-johannes ||| # johannes
-angrenzenden ||| # angrenzenden
-sportjacke ||| # sport jacke
-mittelmeerinseln ||| # mittelmeer inseln
-stiefelförmige ||| # stiefel förmige
-wiederaufnahme ||| # wiederaufnahme
-tonbandaufnahme ||| # tonband aufnahme
-korrekturzucker ||| # korrektur zucker
-meeresspiegel ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('spiegel',0,1),),)
-gesamtausgabe ||| # gesamt ausgabe
-losfertigung ||| # los fertigung
-reichstag ||| # reichstag
-monntag ||| # monntag
-mittwoch ||| # mittwoch
-freitag ||| # freitag
-sonntag ||| # sonntag
-nachbarschaftsbeziehungen ||| ((('#',0,1),),(('nachbarschafts',0,1),('nachbarschaft',0,1),),(('beziehungen',0,1),),)
-saftbar ||| # saft bar
-produktionsprozesses ||| # produktion prozesses
-gesamtzusammenhang ||| # gesamt zusammenhang
-volkswirtschaftslehre ||| # volk wirtschaft lehre
-losverfahren ||| # los verfahren
-schifffahrt ||| # schiff fahrt
-dienstag ||| # dienstag
-donnerstag ||| # donnerstag
-samstag ||| # samstag
-sonnabend ||| # sonnabend
-mitglied ||| # mitglied
-abblendlicht ||| # abblend licht
-abbrucharbeiten ||| # abbruch arbeiten
-abergläubischen ||| # abergläubischen
-abfallbewirtschaftungshierarchie ||| # abfall bewirtschaftung hierarchie
-abfallbewirtschaftungsplänen ||| # abfall bewirtschaftung plänen
-abfertigungsgebühren ||| ((('#',0,1),),(('abfertigung',0,1),('abfertigungs',0,1),),(('gebühren',0,1),),)
-beitragsunabhängig ||| ((('#',0,1),),(('beitrag',0,1),('beitrags',0,1),),(('unabhängig',0,1),),)
-einreichungsfrist ||| ((('#',0,1),),(('einreichung',0,1),),(('frist',0,1),),)
-europaabgeordnete ||| # europa abgeordnete
-früherkennungskampagnen ||| ((('#',0,1),),(('früh',0,1),),(('erkennung',0,1),('erkennungs',0,1),),(('kampagnen',0,1),),)
-hilfsagenturen ||| ((('#',0,1),),(('hilf',0,1),('hilfs',0,1),),(('agenturen',0,1),),)
-hilfsinstitutionen ||| ((('#',0,1),),(('hilf',0,1),('hilfs',0,1),),(('institutionen',0,1),),)
-kaisergranat ||| # kaiser granat
-kalifornien ||| # kalifornien
-kampfflugzeug ||| # kampf flugzeug
-luftangriffen ||| # luft angriffen
-luftsicherheit ||| # luft sicherheit
-mithäftlingen ||| # mithäftlingen
-wartungsarbeiten ||| # wartung arbeiten
-wasseraufbereitungsanlagen ||| ((('#',0,1),),(('wasser',0,1),),(('aufbereitungs',0,1),('aufbereitung',0,1),),(('anlagen',0,1),),)
-wasserdienstleistungen ||| # wasser dienstleistungen
-weihnachtsgeschenk ||| # weihnacht geschenk
-weltarbeitsorganisation ||| # welt arbeit organisation
-zeitdruck ||| # zeit druck
-bundesagentur ||| ((('#',0,1),),(('bund',0,1),('bundes',0,1),),(('agentur',0,1),),)
-fahrstuhlschächten ||| # fahrstuhl schächten
-elektroindustrie ||| # elektro industrie
-sonderpreis ||| # sonder preis
-modellrechnung ||| # modell rechnung
-treibhauseffekt ||| # treibhaus effekt
-europatournee ||| # europa tournee
-wirtschaftskrise ||| ((('#',0,1),),(('wirtschafts',0,1),('wirtschaft',0,1),),(('krise',0,1),),)
-mittwochabend ||| # mittwoch abend
-abschiedsgala ||| ((('#',0,1),),(('abschied',0,1),('abschieds',0,1),),(('gala',0,1),),)
-betriebstag ||| # betrieb tag
-flughafen ||| # flughafen
-truthahn ||| # truthahn
-gehirnregion ||| # gehirn region
-feststellung ||| # feststellung
-thanksgiving ||| # thanks giving
-börsenhändler ||| ((('#',0,1),),(('börsen',0,1),('börse',0,1),),(('händler',0,1),),)
-risikoforschung ||| # risiko forschung
-finanzkrise ||| # finanz krise
-erkenntnis ||| # erkenntnis
-vergangenheit ||| # vergangenheit
-festtagsbratenesser ||| # festtag braten esser
-ungemütlichkeit ||| # ungemütlichkeit
-privatanlegern ||| # privat anlegern
-finanzmakler ||| # finanz makler
-immobilienfonds ||| # immobilien fonds
-wertzuwachs ||| # wert zuwachs
-marmelade ||| # marmelade
-roboterzofe ||| # roboter zofe
-heinrich ||| # heinrich
-zeitdehnung ||| # zeit dehnung
-zeitlosigkeit ||| # zeitlosigkeit
-auseinandersetzung ||| # auseinandersetzung
-immobilienfondskrise ||| ((('#',0,1),),(('immobilien',0,1),),(('fonds',0,1),('fond',0,1),),(('krise',0,1),),)
-stackelberg ||| # stackelberg
-bodenseedampfschifffahrtsgesellschaftskapitänsmütze ||| # bodensee dampf schiff fahrt gesellschaft kapitän mütze
-hamburg ||| # hamburg
-inzwischen ||| # inzwischen
-deutsche ||| # deutsche
-justiz ||| # justiz
-britische ||| # britische
-bischof ||| # bischof
-richard ||| # richard
-williamson ||| # williamson
-respektablen ||| # respektablen
-standes ||| # standes
-soutane ||| # soutane
-unfassbare ||| # unfassbare
-millionen ||| # millionen
-gaskammern ||| # gas kammern
-holocaustleugner ||| # holocaust leugner
-großansicht ||| # groß ansicht
-überraschte ||| # überraschte
-gegenfrage ||| # gegen frage
-journalisten ||| # journalisten
-fernsehsender ||| # fernseh sender
-schließlich ||| # schließlich
-revisionisten ||| # revisionisten
-dreihunderttausend ||| # drei hundert tausend
-konzentrationslagern ||| ((('#',0,1),),(('konzentration',0,1),('konzentrations',0,1),),(('lagern',0,1),),)
-schwadroniert ||| # schwadroniert
-schornsteinhöhen ||| # schornstein höhen
-touristen ||| # touristen
-auschwitz ||| # auschwitz
-birkenau ||| # birkenau
-antisemitismus ||| ((('#',0,1),),(('anti',0,1),('antisemitismus',0,2),),(('semitismus',0,1),),)
-schwedische ||| # schwedische
-interviewer ||| # interviewer
-bischof ||| # bischof
-williamson ||| # williamson
-wahrheit ||| # wahrheit
-schlecht ||| # schlecht
-interessiert ||| # interessiert
-entrückte ||| # entrückte
-deutscher ||| # deutscher
-blamiert ||| # blamiert
-katholische ||| # katholische
-ausgabe ||| # ausgabe
-skandal ||| # skandal
-interview ||| # interview
-berichtet ||| # berichtet
-bayerischen ||| # bayerischen
-zaitzhofen ||| # zaitzhofen
-fernsehen ||| # fernsehen
-regensburger ||| # regensburger
-ruckdäschel ||| # ruckdäschel
-artikel ||| # artikel
-leitete ||| # leitete
-angaben ||| # angaben
-ermittlungsverfahren ||| ((('#',0,1),),(('ermittlung',0,1),('ermittlungs',0,1),),(('verfahren',0,1),),)
-verdacht ||| # verdacht
-volksverhetzung ||| ((('#',0,1),),(('volk',0,1),('volks',0,1),),(('verhetzung',0,1),),)
-inzwischen ||| # inzwischen
-rechtsanwalt ||| # rechtsanwalt
-einlassung ||| # einlassung
-behörde ||| # behörde
-geistliche ||| # geistliche
-gespräch ||| # gespräch
-ausschließlich ||| # ausschließlich
-auszustrahlen ||| # auszustrahlen
-veröffentlichung ||| # veröffentlichung
-deutschland ||| # deutschland
-exkommunikation ||| # exkommunikation
-hintergrund ||| # hintergrund
-juristischen ||| # juristischen
-volksverhetzungsparagrafen ||| ((('#',0,1),),(('volk',0,1),('volks',0,1),),(('verhetzung',0,1),('verhetzungs',0,1),),(('paragrafen',0,1),),)
-strafgesetzbuchs ||| # straf gesetz buchs
-leugnung ||| # leugnung
-strafverfolgung ||| # straf verfolgung
-hintertür ||| # hintertür
-entziehen ||| # entziehen
-inzwischen ||| # inzwischen
-einsicht ||| # einsicht
-ermittlungsakten ||| ((('#',0,1),),(('ermittlung',0,1),('ermittlungs',0,1),),(('akten',0,1),),)
-ruckdäschel ||| # ruckdäschel
-überlegen ||| # überlegen
-schwedischen ||| # schwedischen
-journalisten ||| # journalisten
-hintergründen ||| # hintergründen
-absprachen ||| # absprachen
-vorfeld ||| # vorfeld
-oberstaatsanwalt ||| ((('#',0,1),),(('ober',0,1),),(('staat',0,1),('staats',0,1),('staatsanwalt',0,2),),(('anwalt',0,1),),)
-mendelssohn ||| # mendelssohn
-bartholdy ||| # bartholdy
-entstammte ||| # entstammte
-angesehenen ||| # angesehenen
-wohlhabenden ||| # wohlhabenden
-bürgerlichen ||| # bürgerlichen
-jüdischen ||| # jüdischen
-familie ||| # familie
-väterlicherseits ||| # väterlicherseits
-bedeutenden ||| # bedeutenden
-philosophen ||| # philosophen
-abraham ||| # abraham
-bankkaufmannslehre ||| ((('#',0,1),),(('bank',0,1),),(('kaufmanns',0,1),('kaufmann',0,1),),(('lehre',0,1),),)
-kompagnon ||| # kompagnon
-mutter ||| # mutter
-salomon ||| # salomon
-fabrikantenfamilie ||| # fabrikanten familie
-schwester ||| # schwester
-hensel ||| # hensel
-geschwister ||| # geschwister
-rebecca ||| # rebecca
-mathematiker ||| # mathematiker
-dirichlet ||| # dirichlet
-kinder ||| # kinder
-pfarrer ||| # pfarrer
-reformierten ||| # reformierten
-gemeinde ||| # gemeinde
-berliner ||| # berliner
-jerusalems ||| # jerusalems
-haustaufe ||| # haus taufe
-protestantisch ||| # protestantisch
-gelegenheit ||| # gelegenheit
-taufnamen ||| # tauf namen
-ludwig ||| # ludwig
-darüber ||| # darüber
-familiennamen ||| ((('#',0,1),),(('familie',0,1),('familien',0,1),),(('namen',0,1),),)
-christliche ||| # christliche
-beigefügt ||| # beigefügt
-vorbesitzers ||| # vorbesitzers
-gartens ||| # gartens
-abraham ||| # abraham
-mendelssohn ||| # mendelssohn
-konvertierten ||| # konvertierten
-christentum ||| # christentum
-kindheit ||| # kindheit
-französischen ||| # französischen
-besetzung ||| # besetzung
-familie ||| # familie
-verwitwete ||| # verwitwete
-großmutter ||| ((('#',0,1),),(('groß',0,1),('großmutter',0,2),),(('mutter',0,1),),)
-musikunterricht ||| # musik unterricht
-schülerin ||| # schülerin
-philipp ||| # philipp
-kirnbergers ||| # kirnbergers
-unmittelbaren ||| # unmittelbaren
-großtante ||| # groß tante
-tochter ||| # tochter
-finanzmanns ||| # finanzmanns
-daniel ||| # daniel
-preußischer ||| # preußischer
-friedrich ||| # friedrich
-wilhelm ||| # wilhelm
-naturalisationspatent ||| ((('#',0,1),),(('naturalisation',0,1),('naturalisations',0,1),),(('patent',0,1),),)
-vermittelte ||| # vermittelte
-tradition ||| # tradition
-gönnerin ||| # gönnerin
-lehrerin ||| # lehrerin
-vorübergehenden ||| # vorübergehenden
-aufenthalts ||| # aufenthalts
-rückkehr ||| # rückkehr
-unterricht ||| # unterricht
-komposition ||| # komposition
-ausbildung ||| # ausbildung
-schriftstellers ||| # schriftstellers
-neunjähriger ||| # neun jähriger
-klavierpart ||| # klavier part
-klaviertrio ||| # klavier trio
-altsänger ||| # alt sänger
-akademie ||| # akademie
-kirchenmusik ||| ((('#',0,1),),(('kirchen',0,1),('kirche',0,1),),(('musik',0,1),),)
-außergewöhnlicher ||| # außergewöhnlicher
-schnelligkeit ||| # schnelligkeit
-klaviersonaten ||| # klavier sonaten
-klaviertrio ||| # klavier trio
-orgelstücke ||| # orgel stücke
-dreisätzige ||| # drei sätzige
-streichersinfonien ||| # streicher sinfonien
-motetten ||| # motetten
-singspiele ||| # singspiele
-soldatenliebschaft ||| # soldaten liebschaft
-singspiels ||| # singspiels
-komödianten ||| # komödianten
-freundschaft ||| # freundschaft
-barack ||| # barack
-getappt ||| # getappt
-anstehenden ||| # anstehenden
-herkulesaufgaben ||| # herkules aufgaben
-zugleich ||| # zugleich
-blütenweiße ||| # blütenweiße
-westen ||| # westen
-regierungsgrundsätzen ||| ((('#',0,1),),(('regierung',0,1),('regierungs',0,1),),(('grundsätzen',0,1),),)
-genügen ||| # genügen
-problem ||| # problem
-fachlich ||| # fachlich
-ansteckenden ||| # ansteckenden
-krankheit ||| # krankheit
-washington ||| # washington
-befallen ||| # befallen
-symptome ||| # symptome
-verquickung ||| # verquickung
-öffentlichen ||| # öffentlichen
-interessen ||| # interessen
-lobbyistenumtriebe ||| # lobbyisten umtriebe
-steuerzahlungsphobie ||| ((('#',0,1),),(('steuer',0,1),),(('zahlung',0,1),('zahlungs',0,1),),(('phobie',0,1),),)
-eigentlich ||| # eigentlich
-ausgezogen ||| # ausgezogen
-krankheit ||| # krankheit
-auszurotten ||| # auszurotten
-probleme ||| # probleme
-gewaltig ||| # gewaltig
-problembewältiger ||| # problem bewältiger
-verzichten ||| # verzichten
-ausnahmen ||| # ausnahmen
-nachsichtig ||| # nachsichtig
-nachlässig ||| # nachlässig
-nummer ||| # nummer
-verteidigungsministerium ||| ((('#',0,1),),(('verteidigung',0,1),('verteidigungs',0,1),),(('ministerium',0,1),),)
-fachmann ||| # fachmann
-rüstungslobbyist ||| ((('#',0,1),),(('rüstung',0,1),('rüstungs',0,1),),(('lobbyist',0,1),),)
-geithner ||| # geithner
-finanzminister ||| # finanz minister
-fiskus ||| # fiskus
-vorenthalten ||| # vorenthalten
-daschle ||| # daschle
-obamas ||| # obamas
-wunschkandidat ||| # wunsch kandidat
-gesundheitsministerium ||| ((('#',0,1),),(('gesundheit',0,1),('gesundheits',0,1),),(('ministerium',0,1),),)
-schuldete ||| # schuldete
-begleichung ||| # begleichung
-feststand ||| ((('#',0,1),),(('fest',0,1),('feststand',0,2),),(('stand',0,1),),)
-tatsächlich ||| # tatsächlich
-regierung ||| # regierung
-aufrücken ||| # aufrücken
-übergelaufen ||| ((('#',0,1),),(('über',0,1),('übergelaufen',0,2),),(('gelaufen',0,1),),)
-proteststurm ||| # protest sturm
-handtuch ||| ((('#',0,1),),(('hand',0,1),('handtuch',0,2),),(('tuch',0,1),),)
-konzentrationslager ||| ((('#',0,1),),(('konzentration',0,1),('konzentrations',0,1),),(('lager',0,1),),)
-entwicklungspolitik ||| ((('#',0,1),),(('entwicklung',0,1),('entwicklungs',0,1),),(('politik',0,1),),)
-zeitungsbericht ||| ((('#',0,1),),(('zeitung',0,1),('zeitungs',0,1),),(('bericht',0,1),),)
-managergehälter ||| # manager gehälter
-begrenzen ||| # begrenzen
-unternehmen ||| # unternehmen
-staatshilfen ||| ((('#',0,1),),(('staat',0,1),('staats',0,1),),(('hilfen',0,1),),)
-bescheidener ||| # bescheidener
-präsidenten ||| # präsidenten
-gehaltsobergrenze ||| ((('#',0,1),),(('gehalt',0,1),('gehalts',0,1),),(('ober',0,1),('obergrenze',0,2),),(('grenze',0,1),),)
-sonnensystems ||| # sonnen systems
-kreist ||| # kreist
-erdähnlicher ||| # erd ähnlicher
-planet ||| # planet
-exoplanet ||| ((('#',0,1),),(('exo',0,1),('exoplanet',0,2),),(('planet',0,1),),)
-durchbruch ||| ((('#',0,1),),(('durch',0,1),('durchbruch',0,2),),(('bruch',0,1),),)
-fremden ||| # fremden
-ulrich ||| # ulrich
-schnabel ||| # schnabel
-kulturgeschichte ||| # kultur geschichte
-milchwirtschaft ||| # milch wirtschaft
-menschen ||| # menschen
-geschäftsführung ||| ((('#',0,1),),(('geschäft',0,1),('geschäfts',0,1),),(('führung',0,1),),)
-zuständigen ||| # zuständigen
-amtsgericht ||| ((('#',0,1),),(('amt',0,1),('amts',0,1),),(('gericht',0,1),),)
-göppingen ||| # göppingen
-antrag ||| # antrag
-eröffnung ||| # eröffnung
-insolvenzverfahrens ||| # insolvenz verfahrens
-dieter ||| # dieter
-ausgewählte ||| # ausgewählte
-informationsangebote ||| ((('#',0,1),),(('information',0,1),('informations',0,1),),(('angebote',0,1),),)
-deutschen ||| # deutschen
-vereinfacht ||| # vereinfacht
-vokabelglossar ||| # vokabel glossar
-gewaltige ||| # gewaltige
-haushohe ||| # haushohe
-segler ||| # segler
-oktober ||| # oktober
-gibraltar ||| # gibraltar
-verschwand ||| # verschwand
-verfügte ||| # verfügte
-bronzekanonen ||| # bronze kanonen
-tonnen ||| # tonnen
-portugiesischer ||| # portugiesischer
-goldmünzen ||| # gold münzen
-kaufleute ||| # kauf leute
-schätzungen ||| # schätzungen
-vergangenen ||| # vergangenen
-millionen ||| # millionen
-schiffe ||| # schiffe
-meeresgrund ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('grund',0,1),),)
-unterschiedliche ||| # unterschiedliche
-wasserfahrzeuge ||| # wasser fahrzeuge
-kriegsschiffe ||| ((('#',0,1),),(('krieg',0,1),('kriegs',0,1),),(('schiffe',0,1),),)
-passagierdampfer ||| # passagier dampfer
-handelsflotten ||| ((('#',0,1),),(('handel',0,1),('handels',0,1),),(('flotten',0,1),),)
-piratenboote ||| ((('#',0,1),),(('pirate',0,1),('piraten',0,1),),(('boote',0,1),),)
-tanker ||| # tanker
-großbritannien ||| # groß britannien
-ältesten ||| # ältesten
-seefahrernationen ||| ((('#',0,1),),(('see',0,1),('seefahrer',0,2),),(('fahrer',0,1),),(('nationen',0,1),),)
-auffassung ||| # auffassung
-marinehistoriker ||| # marine historiker
-irgendein ||| # irgendein
-anderes ||| # anderes
-allein ||| # allein
-havarierten ||| # havarierten
-registrierte ||| # registrierte
-schiffe ||| # schiffe
-küstennähe ||| ((('#',0,1),),(('küste',0,1),('küsten',0,1),),(('nähe',0,1),),)
-ortung ||| # ortung
-victory ||| # victory
-amerikanisches ||| # amerikanisches
-bergungsunternehmen ||| ((('#',0,1),),(('bergung',0,1),('bergungs',0,1),),(('unternehmen',0,1),),)
-wichtigsten ||| # wichtigsten
-meeresfunde ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('funde',0,1),),)
-geschichte ||| # geschichte
-entdeckern ||| # entdeckern
-historisches ||| # historisches
-kriegsboot ||| ((('#',0,1),),(('krieg',0,1),('kriegs',0,1),),(('boot',0,1),),)
-jahrhundert ||| # jahrhundert
-tausend ||| # tausend
-untergegangenen ||| ((('#',0,1),),(('unter',0,1),('untergegangenen',0,2),),(('gegangenen',0,1),),)
-schiffen ||| # schiffen
-kostbarsten ||| # kostbarsten
-schätzen ||| # schätzen
-entdeckung ||| # entdeckung
-warten ||| # warten
-tauchjagd ||| # tauch jagd
-Überreste ||| # Überreste
-längst ||| # längst
-vergangener ||| # vergangener
-epochen ||| # epochen
-länder ||| # länder
-streiten ||| # streiten
-schiffsfriedhöfe ||| ((('#',0,1),),(('schiff',0,1),('schiffs',0,1),),(('friedhöfe',0,1),),)
-tauchjagd ||| # tauch jagd
-schatzjäger ||| # schatz jäger
-moderne ||| # moderne
-technik ||| # technik
-jahrhundertealte ||| # jahrhunderte alte
-wracks ||| # wracks
-geheimnisse ||| # geheimnisse
-besitzrechte ||| # besitz rechte
-wahrscheinlichkeit ||| # wahrscheinlichkeit
-minimaltemperatur ||| # minimal temperatur
-winterhalbjahr ||| ((('#',0,1),),(('winter',0,1),),(('halb',0,1),('halbjahr',0,2),),(('jahr',0,1),),)
-celsius ||| # celsius
-durchschnittliche ||| # durchschnittliche
-sommerhalbjahr ||| ((('#',0,1),),(('sommer',0,1),),(('halb',0,1),('halbjahr',0,2),),(('jahr',0,1),),)
-maximaltemperatur ||| # maximal temperatur
-kreuzungsversuche ||| ((('#',0,1),),(('kreuzung',0,1),('kreuzungs',0,1),),(('versuche',0,1),),)
-erbsenpflanzen ||| ((('#',0,1),),(('erbsen',0,1),('erbse',0,1),),(('pflanzen',0,1),),)
-klostergarten ||| # kloster garten
-befruchtungen ||| # befruchtungen
-zehntausende ||| # zehn tausende
-pflanzenhybriden ||| ((('#',0,1),),(('pflanze',0,1),('pflanzen',0,1),),(('hybriden',0,1),),)
-fleißaufgabe ||| ((('#',0,1),),(('fleiß',0,1),('fleißaufgabe',0,2),),(('aufgabe',0,1),),)
-ungewöhnliche ||| # ungewöhnliche
-hartnäckigkeit ||| # hartnäckigkeit
-naturforschers ||| # natur forschers
-innenminister ||| # innen minister
-verbreitete ||| # verbreitete
-falschinformationen ||| # falsch informationen
-analysen ||| # analysen
-hintergründe ||| # hintergründe
-menschen ||| # menschen
-gekostet ||| # gekostet
-hunderte ||| # hunderte
-wurden ||| # wurden
-verletzt ||| # verletzt
-containerschiff ||| # container schiff
-unfall ||| # unfall
-umweltdesaster ||| # umwelt desaster
-australien ||| # australien
-größer ||| # größer
-bisher ||| # bisher
-befürchtet ||| # befürchtet
-containerschiff ||| # container schiff
-unfall ||| # unfall
-australien ||| # australien
-deutlich ||| # deutlich
-schweröl ||| # schweröl
-zunächst ||| # zunächst
-angenommen ||| # angenommen
-freitag ||| # freitag
-schwappte ||| # schwappte
-schwarze ||| # schwarze
-flüssigkeit ||| # flüssigkeit
-strände ||| # strände
-kilometern ||| # kilometern
-kapitän ||| # kapitän
-langen ||| # langen
-pacific ||| # pacific
-adventurer ||| # adventurer
-hongkong ||| # hong kong
-verlust ||| # verlust
-zunächst ||| # zunächst
-tonnen ||| # tonnen
-angegeben ||| # angegeben
-regierungschef ||| ((('#',0,1),),(('regierung',0,1),('regierungs',0,1),),(('chef',0,1),),)
-queensland ||| # queensland
-samstag ||| # samstag
-kapitän ||| # kapitän
-vortag ||| # vortag
-vertuschung ||| # vertuschung
-vorgeworfen ||| # vorgeworfen
-mittwoch ||| # mittwoch
-containerschiff ||| # container schiff
-naturreservate ||| # natur reservate
-touristenstrände ||| # touristen strände
-ostküste ||| # ost küste
-nördlich ||| # nördlich
-brisbane ||| # brisbane
-bestechungsversuch ||| ((('#',0,1),),(('bestechungs',0,1),('bestechung',0,1),),(('versuch',0,1),),)
-campingkocher ||| # camping kocher
-später ||| # später
-ermöglichte ||| # ermöglichte
-verstärkte ||| # verstärkte
-integration ||| # integration
-funktechnik ||| # funk technik
-mobiltelefone ||| # mobil telefone
-aktenkoffers ||| ((('#',0,1),),(('akten',0,1),('aktenkoffers',0,2),),(('koffers',0,1),),)
-vorstufe ||| # vorstufe
-bedrohlich ||| # bedrohlich
-anstieg ||| # anstieg
-kohlendioxids ||| ((('#',0,1),),(('kohle',0,1),('kohlen',0,1),),(('dioxids',0,1),),)
-computermodelle ||| # computer modelle
-überhaupt ||| # überhaupt
-schützen ||| # schützen
-welchem ||| # welchem
-climategate ||| ((('#',0,1),),(('climate',0,1),('climategate',0,2),),(('gate',0,1),),)
-genannte ||| # genannte
-skandal ||| # skandal
-britische ||| # britische
-forschungsinstitut ||| ((('#',0,1),),(('forschung',0,1),('forschungs',0,1),),(('institut',0,1),),)
-climate ||| # climate
-research ||| # research
-folgenschwerste ||| ((('#',0,1),),(('folgenschwerste',0,2),('folgen',0,1),('folge',0,1),),(('schwerste',0,1),),)
-wissenschaftsdebatte ||| ((('#',0,1),),(('wissenschaft',0,1),('wissenschafts',0,1),),(('debatte',0,1),),)
-unserer ||| # unserer
-erneut ||| # erneut
-computerhacker ||| # computer hacker
-hatten ||| # hatten
-instituts ||| # instituts
-gestohlen ||| # gestohlen
-veröffentlicht ||| # veröffentlicht
-forscher ||| # forscher
-manipulierten ||| # manipulierten
-prognose ||| # prognose
-baldigen ||| # baldigen
-erwärmung ||| # erwärmung
-passten ||| # passten
-andersdenkende ||| # anders denkende
-wissenschaftler ||| # wissenschaftler
-wurden ||| # wurden
-gezielt ||| # gezielt
-diffamiert ||| # diffamiert
-wichtigsten ||| # wichtigsten
-datenlieferanten ||| # daten lieferanten
-weltklimarats ||| # welt klima rats
-wesentlichen ||| # wesentlichen
-fraktionen ||| # fraktionen
-debatte ||| # debatte
-herrschende ||| # herrschende
-schule ||| # schule
-vertreten ||| # vertreten
-repräsentiert ||| # repräsentiert
-mehrheit ||| # mehrheit
-wissenschaftler ||| # wissenschaftler
-führender ||| # führender
-stelle ||| # stelle
-stehen ||| # stehen
-forscher ||| # forscher
-klimamodelle ||| # klimamodelle
-entwickeln ||| # entwickeln
-computersimulationen ||| # computer simulationen
-künftige ||| # künftige
-errechnen ||| # errechnen
-sollen ||| # sollen
-hauptverantwortlichen ||| # haupt verantwortlichen
-prognostizierte ||| # prognostizierte
-erwärmung ||| # erwärmung
-menschen ||| # menschen
-zusätzlich ||| # zusätzlich
-natürlichen ||| # natürlichen
-geschehen ||| # geschehen
-verursachte ||| # verursachte
-ermittelt ||| # ermittelt
-spatenstich ||| # spaten stich
-teuersten ||| # teuersten
-kirchenneubau ||| # kirche neu bau
-ostdeutschlands ||| # ost deutschlands
-erfolgen ||| # erfolgen
-rumänien ||| # rumänien 
-empört ||| # empört
-berlin ||| # berlin
-rumänische ||| # rumänische
-regierung ||| # regierung
-empört ||| # empört
-ankündigung ||| # ankündigung
-deutschlands ||| # deutschlands
-frankreichs ||| # frankreichs
-beitritt ||| # beitritt
-rumäniens ||| # rumäniens
-bulgariens ||| # bulgariens
-schengen ||| # schengen
-nicht ||| # nicht
-zuzustimmen ||| # zuzustimmen
-bukarest ||| # bukarest
-informationen ||| # informationen
-verletzung ||| # verletzung
-vertrags ||| # vertrags
-lissabon ||| # lissabon
-rumänischer ||| # rumänischer
-zollbeamter ||| ((('#',0,1),),(('zoll',0,1),('zollbeamter',0,2),),(('beamter',0,1),),)
-grenze ||| # grenze
-zwischen ||| # zwischen
-rumänien ||| # rumänien
-republik ||| # republik
-moldau ||| # moldau
-dezember ||| # dezember
-regierung ||| # regierung
-bukarest ||| # bukarest
-empört ||| # empört
-treten ||| # treten
-kontrollen ||| # kontrollen
-grenzen ||| # grenzen
-rumänien ||| # rumänien
-bulgarien ||| # bulgarien
-solange ||| # solange
-beizubehalten ||| # beizubehalten
-länder ||| # länder
-unumkehrbare ||| # unumkehrbare
-fortschritte ||| # fortschritte
-korruption ||| # korruption
-organisierte ||| # organisierte
-kriminalität ||| # kriminalität
-vorweisen ||| # vorweisen
-bukarest ||| # bukarest
-informationen ||| # informationen
-dieser ||| # dieser
-zeitung ||| # zeitung
-überlegt ||| # überlegt
-vertragsverletzung ||| ((('#',0,1),),(('vertrag',0,1),('vertrags',0,1),),(('verletzung',0,1),),)
-einzureichen ||| # einzureichen
-sollten ||| # sollten
-deutschland ||| # deutschland
-frankreich ||| # frankreich
-haltung ||| # haltung
-durchsetzen ||| # durchsetzen
-rumäniens ||| # rumäniens
-außenministerium ||| ((('#',0,1),),(('außen',0,1),),(('ministerium',0,1),),)
-spricht ||| # spricht
-unannehmbaren ||| # unannehmbaren
-präzedenzfall ||| ((('#',0,1),),(('präzedenzfall',0,2),('präzedenz',0,1),),(('fall',0,1),),)
-sondern ||| # sondern
-staatspräsident ||| ((('#',0,1),),(('staatspräsident',0,2),('staats',0,1),('staat',0,1),),(('präsident',0,1),),)
-georgi ||| # georgi
-parwanow ||| # parwanow
-verständnis ||| # verständnis
-bulgarien ||| # bulgarien
-verstehen ||| # verstehen
-auflagen ||| # auflagen
-erfüllen ||| # erfüllen
-eigentliche ||| # eigentliche
-erklärung ||| # erklärung
-verzögerung ||| # verzögerung
-mittwoch ||| # mittwoch
-haltung ||| # haltung
-hintergrund ||| # hintergrund
-streits ||| # streits
-regierung ||| # regierung
-ministerpräsident ||| ((('#',0,1),),(('minister',0,1),),(('präsident',0,1),),)
-grenzkontrollen ||| ((('#',0,1),),(('grenz',0,1),),(('kontrollen',0,1),),)
-entfallen ||| # entfallen
-zweiten ||| # zweiten
-weltkrieg ||| ((('#',0,1),),(('welt',0,1),('weltkrieg',0,2),),(('krieg',0,1),),)
-versteckte ||| # versteckte
-abwehr ||| # abwehr
-admirals ||| # admirals
-canaris ||| # canaris
-sprengsätze ||| # sprengsätze
-apfelsinenkisten ||| ((('#',0,1),),(('apfelsinen',0,1),('apfelsine',0,1),),(('kisten',0,1),),)
-britische ||| # britische
-hafenarbeiter ||| ((('#',0,1),),(('hafen',0,1),),(('arbeiter',0,1),),)
-weigerten ||| # weigerten
-schiffe ||| # schiffe
-entladen ||| # entladen
-zeiten ||| # zeiten
-griechischen ||| # griechischen
-militärdiktatur ||| ((('#',0,1),),(('militär',0,1),),(('diktatur',0,1),),)
-warnte ||| # warnte
-widerstandsgruppe ||| ((('#',0,1),),(('widerstand',0,1),('widerstands',0,1),),(('gruppe',0,1),),)
-pfirsiche ||| # pfirsiche
-aprikosen ||| # aprikosen
-vergiftet ||| # vergiftet
-kuklina ||| # kuklina
-trägerin ||| # trägerin
-alternativen ||| # alternativen
-nobelpreis ||| ((('#',0,1),),(('nobel',0,1),),(('preis',0,1),),)
-kämpft |||  # kämpft
-rechte ||| # rechte
-soldaten ||| # soldaten
-russlands ||| # russlands
-online ||| # online
-sprach ||| # sprach
-menschenrechte ||| ((('#',0,1),),(('menschen',0,1),('mensch',0,1),),(('rechte',0,1),),)
-heimat ||| # heimat
-kaufrausch ||| ((('#',0,1),),(('kauf',0,1),),(('rausch',0,1),),)
-kommerzialisierung ||| # kommerzialisierung
-weihnachten ||| # weihnachten
-funktioniert ||| # funktioniert
-zittert ||| # zittert
-wikileaks ||| # wikileaks
-verfassungsgericht ||| ((('#',0,1),),(('verfassung',0,1),('verfassungs',0,1),),(('gericht',0,1),),)
-berlusconis ||| # berlusconis
-immunität ||| # immunität
-teilweise ||| # teilweise
-zinspolitik ||| # zins politik
-trichet ||| # trichet
-inflation ||| # inflation
-eurozone ||| ((('#',0,1),),(('euro',0,1),('eurozone',0,2),),(('zone',0,1),),)
-effektive ||| # effektive
-kontrolle ||| # kontrolle
-futtermittelindustrie ||| # futtermittel industrie
-deutschland ||| # deutschland
-verspielt ||| # verspielt
-regierung ||| # regierung
-vertrauen ||| # vertrauen
-westerwelle ||| # westerwelle
-abzugsdatum ||| ((('#',0,1),),(('abzugs',0,1),('abzug',0,1),),(('datum',0,1),),)
-ghettoblaster ||| # ghetto blaster
-unserem ||| # unserem
-alltag ||| # alltag
-verschwunden ||| # verschwunden
-trotzdem ||| # trotzdem
-ikonen ||| # ikonen
-jugendkultur ||| # jugend kultur
-tatsächlich ||| # tatsächlich
-deuten ||| # deuten
-hochrechnungen ||| # hochrechnungen
-mckinsey ||| # mckinsey
-company ||| # company
-darauf ||| # darauf
-kaufkraft ||| # kauf kraft
-dieser ||| # dieser
-aufstrebenden ||| # aufstrebenden
-mittelschicht ||| # mittel schicht
-nächsten ||| # nächsten
-jahrzehnts ||| # jahrzehnts
-billionen ||| # billionen
-dollar ||| # dollar
-anwachsen ||| # anwachsen
-könnte ||| # könnte
-doppelt ||| # doppelt
-aktuellen ||| # aktuellen
-erbrauchsniveau ||| ((('#',0,1),),(('erbrauch',0,1),('erbrauchs',0,1),),(('niveau',0,1),),)
-vereinigten ||| # vereinigten
-staaten ||| # staaten
-größten ||| # größten
-schwellenländer ||| ((('#',0,1),),(('schwellen',0,1),('schwelle',0,1),),(('länder',0,1),),)
-brasilien ||| # brasilien
-russland ||| # russland
-indien ||| # indien
-frühstück ||| # frühstück
-fortschritt ||| # fortschritt
-frühstückstisch ||| ((('#',0,1),),(('frühstück',0,1),('frühstücks',0,1),),(('tisch',0,1),),)
-unserer ||| # unserer
-familie ||| # familie
-vielen ||| # vielen
-jahren ||| # jahren
-tageszeitung ||| ((('#',0,1),),(('tag',0,1),('tages',0,1),),(('zeitung',0,1),),)
-washington ||| # washington
-wahlschlacht ||| # wahl schlacht
-letzte ||| # letzte
-milliarden ||| # milliarden
-dollar ||| # dollar
-sollen ||| # sollen
-wahlkämpfer ||| # wahlkämpfer
-bislang ||| # bislang
-kampagnen ||| # kampagnen
-ausgegeben ||| # ausgegeben
-abstimmung ||| # abstimmung
-mobilisieren ||| # mobilisieren
-letzten ||| # letzten
-reserven ||| # reserven
-wähler ||| # wähler
-bekommen ||| # bekommen
-herausforderer ||| # herausforderer
-romney ||| # romney
-kündigte ||| # kündigte
-wahltag ||| # wahltag
-selbst ||| # selbst
-mehreren ||| # mehreren
-bundesstaaten ||| # bundesstaaten
-aufzutreten ||| # aufzutreten
-ursprünglich ||| # ursprünglich
-abschlussveranstaltung ||| # abschluss veranstaltung
-montagabend ||| # montag abend
-vorgesehen ||| # vorgesehen
-schließung ||| # schließung
-wahllokale ||| # wahl lokale
-stimmen ||| # stimmen
-werben ||| # werben
-sprecher ||| # sprecher
-wahlkampfteams ||| # wahlkampf teams
-pennsylvania ||| # pennsylvania
-natürlich ||| # natürlich
-schicksalstaat ||| # schicksal staat
-republikaner ||| # republikaner
-präsident ||| # präsident
-geworden ||| # geworden
-gewonnen ||| # gewonnen
-auswertung ||| # auswertung
-portals ||| # portals
-national ||| # national
-sieben ||| # sieben
-november ||| # november
-umfragen ||| # umfragen
-meistumkämpfte ||| # meist umkämpfte
-mehrheit ||| # mehrheit
-feststeht ||| # feststeht
-wahlkämpfer ||| # wahlkämpfer
-besonders ||| # besonders
-relevant ||| # relevant
-direkt ||| # direkt
-gewählt ||| # gewählt
-präsident ||| # präsident
-wahlmännergremium ||| # wahlmänner gremium
-spiegeln ||| # spiegeln
-ergebnisse ||| # ergebnisse
-einzelnen ||| # einzelnen
-bundesstaaten ||| # bundesstaaten
-präsident ||| # präsident
-letzten ||| # letzten
-seiner ||| # seiner
-kampagne ||| # kampagne
-vorgelegt ||| # vorgelegt
-rocklegende ||| # rock legende
-springsteen ||| # springsteen
-botschafter ||| # botschafter
-seiner ||| # seiner
-kampagne ||| # kampagne
-wisconsin ||| # wisconsin
-dankte ||| # dankte
-präsidenten ||| # präsidenten
-während ||| # während
-konzerts ||| # konzerts
-gesundheitsreform ||| ((('#',0.0,1),),(('gesundheits',0.0,1),('gesundheit',0.0,1),),(('reform',0.0,1),),)
-regulierung ||| # regulierung
-street ||| # street
-später ||| # später
-auftritte ||| # auftritte
-natürlich ||| # natürlich
-summen ||| # summen
-vibrieren ||| # vibrieren
-duftstoffe ||| ((('#',0.0,1),),(('duftstoffe',0.0,2),('duft',0.0,1),),(('stoffe',0.0,1),),)
-echten ||| # echten
-verströmen ||| # verströmen
-roboterbiene ||| # roboter biene
-entwickelt ||| # entwickelt
-wissenschaftlern ||| # wissenschaftlern
-freien ||| # freien
-universität ||| # universität
-berlin ||| # berlin
-künstlichen ||| # künstlichen
-insekt ||| # insekt
-wollen ||| # wollen
-forscher ||| # forscher
-futterquellen ||| # futter quellen
-lotsen ||| # lotsen
-geheimnis ||| # geheimnis
-bienentanzes ||| # biene tanzes
-entschlüsseln ||| # entschlüsseln
-klimawandel ||| # klima wandel
-empörend ||| # empörend
-ernannt ||| # ernannt
-wirtschaftliche ||| # wirtschaftliche
-offiziell ||| # offiziell
-abgefangen ||| # abgefangen
-abgehört ||| # abgehört
-abgehört ||| # abgehört
-abgeschafft ||| # abgeschafft
-abgesetzt ||| # abgesetzt
-abhängen ||| # abhängen
-abhöraktion ||| # abhör aktion
-abhörsichere ||| # abhör sichere
-abkommen ||| # abkommen
-absage ||| # absage
-abschaffung ||| # abschaffung
-affronts ||| # affronts
-agenten ||| # agenten
-aktion ||| # aktion
-aktivisten ||| # aktivisten
-aktivisten ||| # aktivisten
-alexander ||| # alexander
-alledem ||| # alledem
-allgemeine ||| # allgemeine
-amerikaner ||| # amerikaner
-amtsübergabe ||| ((('#',0,1),),(('amts',0,1),('amt',0,1),),(('übergabe',0,1),),)
-analysiert ||| # analysiert
-anderen ||| # anderen
-anderen ||| # anderen
-anderer ||| # anderer
-anderes ||| # anderes
-andernfalls ||| # andernfalls
-anders ||| # anders
-anders ||| # anders
-anfangen ||| # anfangen
-anführer ||| # anführer
-anführer ||| # anführer
-angeblich ||| # angeblich
-angeblich ||| # angeblich
-angela ||| # angela
-anklopft ||| # anklopft
-anspruch ||| # anspruch
-anspruch ||| # anspruch
-antreten ||| # antreten
-antworten ||| # antworten
-arbeitet ||| # arbeitet
-argwöhnisch ||| # argwöhnisch
-atomvertrag ||| # atom vertrag
-aufbewahrt ||| # aufbewahrt
-aufgehen ||| # aufgehen
-aufgezeichnet ||| # aufgezeichnet
-aufhören ||| # aufhören
-aufklärung ||| # aufklärung
-aufklärung ||| # aufklärung
-aufklärungsarbeit ||| ((('#',0,1),),(('aufklärungs',0,1),('aufklärung',0,1),),(('arbeit',0,1),),)
-aufzeichnete ||| # aufzeichnete
-auseinandersetzung ||| # auseinandersetzung
-ausforschungsprogramm ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('programm',0,1),),)
-ausforschungstechniken ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('techniken',0,1),),)
-ausgewählten ||| # ausgewählten
-auslöser ||| # auslöser
-auslöser ||| # auslöser
-ausmacht ||| # ausmacht
-ausmacht ||| # ausmacht
-ausmaß ||| # ausmaß
-ausprobieren ||| # ausprobieren
-ausprobiert ||| # ausprobiert
-ausrufezeichen ||| # ausrufezeichen
-autokrat ||| # autokrat
-autorität ||| # autorität
-außenminister ||| # außen minister
-außenministerium ||| # außen ministerium
-außenpolitischen ||| # außen politischen
-außenpolitischen ||| # außenpolitischen
-barack ||| # barack
-barmherzig ||| # barmherzig
-bedankte ||| # bedankte
-bedeutet ||| # bedeutet
-bedeutung ||| # bedeutung
-befürchtet ||| # befürchtet
-beginn ||| # beginn
-behauptet ||| # behauptet
-beiden ||| # beiden
-beides ||| # beides
-beiseiteschieben ||| # beiseite schieben
-beispielsweise ||| # beispielsweise
-bekanntwerden ||| # bekannt werden
-belauschen ||| # belauschen
-belauscht ||| # belauscht
-belege ||| # belege
-benötigt ||| # benötigt
-bereits ||| # bereits
-bericht ||| # bericht
-bericht ||| # bericht
-berichtet ||| # berichtet
-berlin ||| # berlin
-berliner ||| # berliner
-berufung ||| # berufung
-beschränkt ||| # beschränkt
-besetzen ||| # besetzen
-besetzt ||| # besetzt
-besonders ||| # besonders
-besorgt ||| # besorgt
-besser ||| # besser
-besser ||| # besser
-bestehen ||| # bestehen
-bestellt ||| # bestellt
-bestimmen ||| # bestimmen
-bestätigen ||| # bestätigen
-bestätigt ||| # bestätigt
-betrachtet ||| # betrachtet
-betritt ||| # betritt
-beunruhigend ||| # beunruhigend
-bewundern ||| # bewundern
-bewusstzuwerden ||| # bewusstzuwerden
-beziehungen ||| # beziehungen
-beäugen ||| # beäugen
-bieten ||| # bieten
-billigte ||| # billigte
-bisher ||| # bisher
-botschaft ||| # botschaft
-botschaft ||| # botschaft
-brandenburger ||| # brandenburger
-brandenburger ||| # brandenburger
-brauchen ||| # brauchen
-brauchen ||| # brauchen
-braucht ||| # braucht
-braucht ||| # braucht
-bundespräsident ||| # bundespräsident
-bundeswehr ||| # bundeswehr
-bändigen ||| # bändigen
-bürger ||| # bürger
-bürger ||| # bürger
-bürger ||| # bürger
-bürger ||| # bürger
-bürger ||| # bürger
-bürger ||| # bürger
-bürger ||| # bürger
-bürgerkrieg ||| # bürger krieg
-bürgerlichen ||| # bürgerlichen
-bürgerrechte ||| # bürger rechte
-bürgerrechte ||| # bürger rechte
-bürgerrechten ||| # bürger rechten
-channel ||| # channel
-chefin ||| # chefin
-chinesen ||| # chinesen
-chodorkowski ||| # chodorkowski
-chodorkowski ||| # chodorkowski
-chodorkowski ||| # chodorkowski
-chodorkowski ||| # chodorkowski
-dachte ||| # dachte
-damals ||| # damals
-damals ||| # damals
-damals ||| # damals
-danach ||| # danach
-danach ||| # danach
-darauf ||| # darauf
-darauf ||| # darauf
-darauf ||| # darauf
-dauern ||| # dauern
-definitionen ||| # definitionen
-demnach ||| # demnach
-demokratie ||| # demokratie
-demokratische ||| # demokratische
-demokratische ||| # demokratische
-demokratischen ||| # demokratischen
-denken ||| # denken
-derweil ||| # derweil
-derzeit ||| # derzeit
-deshalb ||| # deshalb
-dessen ||| # dessen
-dessen ||| # dessen
-deutsche ||| # deutsche
-deutschen ||| # deutschen
-deutscher ||| # deutscher
-dezentralisiert ||| # dezentralisiert
-diesem ||| # diesem
-diesem ||| # diesem
-diesem ||| # diesem
-diesem ||| # diesem
-diesen ||| # diesen
-diesen ||| # diesen
-dieser ||| # dieser
-dieser ||| # dieser
-dieser ||| # dieser
-dimension ||| # dimension
-direkt ||| # direkt
-direkt ||| # direkt
-dossier ||| # dossier
-dreckiges ||| # dreckiges
-dringlichkeit ||| # dringlichkeit
-drucken ||| # drucken
-drängen ||| # drängen
-durcheinander ||| # durcheinander
-edward ||| # edward
-edward ||| # edward
-edward ||| # edward
-edward ||| # edward
-edward ||| # edward
-edward ||| # edward
-edward ||| # edward
-edward ||| # edward
-eigenes ||| # eigenes
-eindrückliche ||| # eindrückliche
-eindrücklichen ||| # eindrücklichen
-einfach ||| # einfach
-einfach ||| # einfach
-eingeräumt ||| # eingeräumt
-einmal ||| # einmal
-einschnitt ||| # einschnitt
-einsichten ||| # einsichten
-einzelnen ||| # einzelnen
-element ||| # element
-element ||| # element
-elemente ||| # elemente
-eltern ||| # eltern
-eltern ||| # eltern
-empfangen ||| # empfangen
-endgültig ||| # endgültig
-englischen ||| # englischen
-englischen ||| # englischen
-enthüllungen ||| # enthüllungen
-enthüllungen ||| # enthüllungen
-entlässt ||| # entlässt
-entmachtet ||| # entmachtet
-entscheiden ||| # entscheiden
-entscheidende ||| # entscheidende
-entscheidet ||| # entscheidet
-entscheidungen ||| # entscheidungen
-entstanden ||| # entstanden
-entstehen ||| # entstehen
-entwickeln ||| # entwickeln
-entwickeln ||| # entwickeln
-entwickeln ||| # entwickeln
-episode ||| # episode
-epochalen ||| # epochalen
-erfahren ||| # erfahren
-erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
-erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
-ergebnissen ||| # ergebnissen
-erhalten ||| # erhalten
-erhielt ||| # erhielt
-erinnern ||| # erinnern
-erkenntnisse ||| # erkenntnisse
-erneut ||| # erneut
-ernstfall ||| # ernstfall
-erscheint ||| # erscheint
-ersetzt ||| # ersetzt
-erstickt ||| # erstickt
-erstmals ||| # erstmals
-erwachsen ||| # erwachsen
-erweitert ||| # erweitert
-europäer ||| # europäer
-ewigen ||| # ewigen
-existiert ||| # existiert
-februar ||| # februar
-februar ||| # februar
-fehler ||| # fehler
-felder ||| # felder
-fernsehen ||| # fernsehen
-festgehalten ||| # festgehalten
-festnetzanschluss ||| # festnetzanschluss
-festnetzanschluss ||| # festnetzanschluss
-finden ||| # finden
-finden ||| # finden
-fliehen ||| # fliehen
-forbes ||| # forbes
-frankfurter ||| # frankfurter
-freien ||| # freien
-freiheit ||| # freiheit
-freiheit ||| # freiheit
-freiheit ||| # freiheit
-freiheiten ||| # freiheiten
-freilassung ||| # freilassung
-freilassung ||| # freilassung
-freilich ||| # freilich
-freiräume ||| # freiräume
-freundschaftlichen ||| # freundschaftlichen
-funktionieren ||| # funktionieren
-fußball ||| # fußball
-führer ||| # führer
-führten ||| # führten
-gaucks ||| # gaucks
-geachtet ||| # geachtet
-gearbeitet ||| # gearbeitet
-geborenes ||| # geborenes
-gedanken ||| # gedanken
-geeint ||| # geeint
-gefahr ||| # gefahr
-gefangenen ||| # gefangenen
-gefragt ||| # gefragt
-gefragt ||| # gefragt
-gefängnisse ||| # gefängnisse
-geführt ||| # geführt
-gegeneinander ||| # gegeneinander
-gegenleistung ||| # gegenleistung
-gegenteil ||| # gegenteil
-gegenüber ||| # gegenüber
-gehalten ||| # gehalten
-geheimdienste ||| # geheim dienste
-geheimdienstes ||| # geheim dienstes
-geheimdienstkreise ||| # geheim dienst kreise
-geheimdiensttruppe ||| # geheim dienst truppe
-geheimdienstzentrale ||| # geheim dienst zentrale
-geheime ||| # geheime
-geheimoperation ||| # geheim operation
-gehört ||| # gehört
-geknackt ||| # geknackt
-geknackt ||| # geknackt
-gemacht ||| # gemacht
-genfer ||| # genfer
-genutzt ||| # genutzt
-geordnet ||| # geordnet
-george ||| # george
-gerhard ||| # gerhard
-gerichten ||| # gerichten
-gesammelt ||| # gesammelt
-geschäftsleute ||| # geschäft leute
-gesellschaft ||| # gesellschaft
-gesellschaft ||| # gesellschaft
-gesellschaft ||| # gesellschaft
-gesellschaftliche ||| # gesellschaftliche
-gesellschaftssystem ||| # gesellschaft system
-gesetze ||| # gesetze
-gesicherten ||| # gesicherten
-gespräch ||| # gespräch
-gestartet ||| # gestartet
-gestellt ||| # gestellt
-gestoppt ||| # gestoppt
-gestoppt ||| # gestoppt
-gewaltig ||| # gewaltig
-gewehrt ||| # gewehrt
-gewesen ||| # gewesen
-gewesen ||| # gewesen
-gewusst ||| # gewusst
-gewählt ||| # gewählt
-gewährte ||| # gewährte
-geändert ||| # geändert
-gingen ||| # gingen
-gingen ||| # gingen
-glauben ||| # glauben
-gleichziehen ||| # gleichziehen
-gnädig ||| # gnädig
-greenpeace ||| # greenpeace
-greenpeace ||| # greenpeace
-greift ||| # greift
-grimmig ||| # grimmig
-gründen ||| # gründen
-gründete ||| # gründete
-gudkow ||| # gudkow
-gudkow ||| # gudkow
-gudkow ||| # gudkow
-gudkow ||| # gudkow
-halten ||| # halten
-halten ||| # halten
-helfen ||| # helfen
-herauszufinden ||| # herauszufinden
-hinaus ||| # hinaus
-hindurch ||| # hindurch
-hingewiesen ||| # hingewiesen
-hinschauen ||| # hinschauen
-hinzufügen ||| # hinzufügen
-hochrangiger ||| # hochrangiger
-hochrangiger ||| # hochrangiger
-hätten ||| # hätten
-images ||| # images
-indirekt ||| # indirekt
-informationen ||| # informationen
-informationen ||| # informationen
-informationen ||| # informationen
-informationen ||| # informationen
-informiert ||| # informiert
-inhalt ||| # inhalt
-innenpolitisch ||| # innen politisch
-insgesamt ||| # insgesamt
-institut ||| # institut
-instituts ||| # instituts
-interesse ||| # interesse
-internat ||| # internat
-intervention ||| # intervention
-irgendwohin ||| # irgendwohin
-jahren ||| # jahren
-jahrtausends ||| # jahrtausends
-jahrzehnte ||| # jahrzehnte
-januar ||| # januar
-jedenfalls ||| # jedenfalls
-jedenfalls ||| # jedenfalls
-jelzin ||| # jelzin
-jeweiligen ||| # jeweiligen
-joachim ||| # joachim
-jährlich ||| # jährlich
-jüngste ||| # jüngste
-kampfzone ||| # kampf zone
-kandidaten ||| # kandidaten
-kannten ||| # kannten
-kanzler ||| # kanzler
-kanzleramt ||| # kanzleramt
-kanzleramt ||| # kanzleramt
-kanzlerin ||| # kanzlerin
-kanzlerin ||| # kanzlerin
-kanzlerin ||| # kanzlerin
-kanzlers ||| # kanzlers
-kanzlers ||| # kanzlers
-katastrophal ||| # katastrophal
-keinen ||| # keinen
-kinder ||| # kinder
-kinder ||| # kinder
-kleine ||| # kleine
-knackten ||| # knackten
-knalliges ||| # knalliges
-kommen ||| # kommen
-kommen ||| # kommen
-kommen ||| # kommen
-konnte ||| # konnte
-konnte ||| # konnte
-konnten ||| # konnten
-konsultation ||| # konsultation
-kontrollieren ||| # kontrollieren
-kontrollorgane ||| # kontroll organe
-korruption ||| # korruption
-kremls ||| # kremls
-kritiker ||| # kritiker
-kritiker ||| # kritiker
-kritiker ||| # kritiker
-kritiker ||| # kritiker
-kunstgriffen ||| # kunst griffen
-kurzum ||| # kurzum
-kämpfer ||| # kämpfer
-können ||| # können
-können ||| # können
-können ||| # können
-können ||| # können
-können ||| # können
-könnte ||| # könnte
-könnten ||| # könnten
-könnten ||| # könnten
-kümmert ||| # kümmert
-kürzlich ||| # kürzlich
-landbevölkerung ||| # land bevölkerung
-landes ||| # landes
-lassen ||| # lassen
-lassen ||| # lassen
-laufen ||| # laufen
-lausch ||| # lausch
-lauschaktivitäten ||| # lausch aktivitäten
-lauschangriff ||| # lausch angriff
-lauschangriff ||| # lausch angriff
-lediglich ||| # lediglich
-leiter ||| # leiter
-letzteren ||| # letzteren
-lewada ||| # lewada
-lewada ||| # lewada
-lieber ||| # lieber
-machen ||| # machen
-machen ||| # machen
-machen ||| # machen
-mannes ||| # mannes
-markiert ||| # markiert
-marktwirtschaft ||| # markt wirtschaft
-massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
-massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
-medien ||| # medien
-medien ||| # medien
-meinungsforscher ||| # meinung forscher
-meinungsforschungsinstitut ||| # meinung forschung institut
-meinungsforschungsinstituts ||| # meinung forschung instituts
-meiste ||| # meiste
-meisten ||| # meisten
-menschen ||| # menschen
-menschen ||| # menschen
-menschen ||| # menschen
-menschen ||| # menschen
-menschen ||| # menschen
-menschlichkeit ||| # menschlichkeit
-menschsein ||| # menschsein
-menschsein ||| ((('#',0,1),),(('menschsein',0,2),('mensch',0,1),),(('sein',0,1),),)
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-merkel ||| # merkel
-michail ||| # michail
-militärintervention ||| # militär intervention
-milliardenkredit ||| # milliarden kredit
-mitarbeiter ||| # mitarbeiter
-mitarbeiter ||| # mitarbeiter
-mitarbeitern ||| # mitarbeitern
-mitarbeiters ||| # mitarbeiters
-mitglieder ||| # mitglieder
-mithalten ||| # mithalten
-mittags ||| # mittags
-mitteilen ||| # mitteilen
-mittwoch ||| # mittwoch
-modernster ||| # modernster
-moment ||| # moment
-moskau ||| # moskau
-musste ||| # musste
-mächtige ||| # mächtige
-mächtigste ||| # mächtigste
-mögliche ||| # mögliche
-möglicher ||| # möglicher
-müssen ||| # müssen
-müssen ||| # müssen
-nachdem ||| # nachdem
-nachrichten ||| # nachrichten
-nannte ||| # nannte
-natürlich ||| # natürlich
-nebenbei ||| # nebenbei
-nehmen ||| # nehmen
-neuesten ||| # neuesten
-neunzigern ||| # neunzigern
-neunzigern ||| # neunzigern
-nichts ||| # nichts
-nichts ||| # nichts
-nichts ||| # nichts
-nichts ||| # nichts
-nichtstaatliche ||| # nicht staatliche
-niemand ||| # niemand
-nominiert ||| # nominiert
-notlage ||| # notlage
-nutzen ||| # nutzen
-nötige ||| # nötige
-obamas ||| # obamas
-oligarchen ||| # oligarchen
-olympischen ||| # olympischen
-olympischen ||| # olympischen
-olympischen ||| # olympischen
-online ||| # online
-operation ||| # operation
-optimistisch ||| # optimistisch
-organisatoren ||| # organisatoren
-parlamentarismus ||| # parlamentarismus
-parlamenten ||| # parlamenten
-partei ||| # partei
-passiert ||| # passiert
-persönlich ||| # persönlich
-plötzlich ||| # plötzlich
-politik ||| # politik
-politiker ||| # politiker
-politisch ||| # politisch
-politische ||| # politische
-politischen ||| # politischen
-politischen ||| # politischen
-polizei ||| # polizei
-positionen ||| # positionen
-positives ||| # positives
-postsowjetischen ||| # post sowjetischen
-potenzielle ||| # potenzielle
-prekären ||| # prekären
-pressekonferenz ||| # presse konferenz
-prinzip ||| # prinzip
-privaten ||| # privaten
-privatheit ||| # privatheit
-privatheit ||| # privatheit
-privatleben ||| # privat leben
-privatleben ||| # privat leben
-problem ||| # problem
-profilseite ||| # profil seite
-prozent ||| # prozent
-prozent ||| # prozent
-präsident ||| # präsident
-präsident ||| # präsident
-präsident ||| # präsident
-präsident ||| # präsident
-präsident ||| # präsident
-präsidenten ||| # präsidenten
-präsidenten ||| # präsidenten
-präsidenten ||| # präsidenten
-präsidenten ||| # präsidenten
-präsidenten ||| # präsidenten
-präsidenten ||| # präsidenten
-präsidenten ||| # präsidenten
-pubertät ||| # pubertät
-punksängerinnen ||| # punk sängerinnen
-putins ||| # putins
-quellennennung ||| # quelle nennung
-radikal ||| # radikal
-reformen ||| # reformen
-regierung ||| # regierung
-regierung ||| # regierung
-regierung ||| # regierung
-regierungschefs ||| # regierung chefs
-regionen ||| # regionen
-reisepläne ||| # reisepläne
-rezitierte ||| # rezitierte
-richter ||| # richter
-riesigen ||| # riesigen
-russen ||| # russen
-russen ||| # russen
-russen ||| # russen
-russen ||| # russen
-russische ||| # russische
-russische ||| # russische
-russischen ||| # russischen
-russischen ||| # russischen
-russland ||| # russland
-russland ||| # russland
-russland ||| # russland
-russland ||| # russland
-russland ||| # russland
-russland ||| # russland
-russland ||| # russland
-russlands ||| # russlands
-russlands ||| # russlands
-schafft ||| # schafft
-schaut ||| # schaut
-schenkt ||| # schenkt
-schließen ||| # schließen
-schlimm ||| # schlimm
-schlüsselstellen ||| # schlüssel stellen
-schmiergelder ||| # schmier gelder
-schrecken ||| # schrecken
-schreibt ||| # schreibt
-schrie ||| # schrie
-schrieb ||| # schrieb
-schritt ||| # schritt
-schritte ||| # schritte
-schröder ||| # schröder
-schröder ||| # schröder
-schröder ||| # schröder
-schröders ||| # schröders
-schwarzen ||| # schwarzen
-schweigen ||| # schweigen
-schützen ||| # schützen
-seinen ||| # seinen
-seinen ||| # seinen
-seiner ||| # seiner
-seiner ||| # seiner
-selbst ||| # selbst
-selbst ||| # selbst
-selbst ||| # selbst
-selbst ||| # selbst
-selbst ||| # selbst
-selbst ||| # selbst
-selbstbewusstseins ||| # selbstbewusstseins
-selten ||| # selten
-setzte ||| # setzte
-sicherheit ||| # sicherheit
-sicherung ||| # sicherung
-snowden ||| # snowden
-snowden ||| # snowden
-snowden ||| # snowden
-snowden ||| # snowden
-snowden ||| # snowden
-snowden ||| # snowden
-snowden ||| # snowden
-snowden ||| # snowden
-snowdens ||| # snowdens
-snowdens ||| # snowdens
-snowdens ||| # snowdens
-snowdens ||| # snowdens
-sofort ||| # sofort
-solche ||| # solche
-sommer ||| # sommer
-sommerurlaubsort ||| # sommer urlaub ort
-sondern ||| # sondern
-sondern ||| # sondern
-sondern ||| # sondern
-sonntag ||| # sonntag
-sonntag ||| # sonntag
-sonntagszeitung ||| # sonntag zeitung
-sotschi ||| # sotschi
-sotschi ||| # sotschi
-sotschi ||| # sotschi
-sowjetunion ||| # sowjet union
-spektakel ||| # spektakel
-sperre ||| # sperre
-spezialisten ||| # spezialisten
-spezialisten ||| # spezialisten
-spiegel ||| # spiegel
-spiele ||| # spiele
-spielen ||| # spielen
-spielen ||| # spielen
-spione ||| # spione
-sportereignisse ||| # sport ereignisse
-sportliche ||| # sportliche
-spreche ||| # spreche
-spricht ||| # spricht
-spräche ||| # spräche
-später ||| # später
-später ||| # später
-staaten ||| # staaten
-staatsaufträgen ||| # staat aufträgen
-staatsgewalt ||| ((('#',0,1),),(('staats',0,1),('staat',0,1),),(('gewalt',0,1),),)
-stabilisiert ||| # stabilisiert
-stagniert ||| # stagniert
-starken ||| # starken
-starken ||| # starken
-starker ||| # starker
-starker ||| # starker
-starker ||| # starker
-starten ||| # starten
-stationiert ||| # stationiert
-status ||| # status
-stehen ||| # stehen
-steinmeier ||| # steinmeier
-steinmeier ||| # steinmeier
-steinmeiers ||| # steinmeiers
-straflager ||| # straflager
-ständig ||| # ständig
-stärkt ||| # stärkt
-stärkung ||| # stärkung
-syrischen ||| # syrischen
-system ||| # system
-system ||| # system
-system ||| # system
-system ||| # system
-sämtliche ||| # sämtliche
-sängerinnen ||| # sängerinnen
-sängerinnen ||| # sängerinnen
-sätzen ||| # sätzen
-technik ||| # technik
-teilnahme ||| # teilnahme
-telefonat ||| # telefonat
-telefongespräche ||| # telefon gespräche
-themas ||| # themas
-tragen ||| # tragen
-transparenz ||| # transparenz
-trauen ||| # trauen
-traute ||| # traute
-ukraine ||| # ukraine
-ukraine ||| # ukraine
-umfassendes ||| # umfassendes
-umgang ||| # umgang
-umweltschützer ||| # umwelt schützer
-unabhängige ||| # unabhängige
-unabhängigen ||| # unabhängigen
-unbeobachteten ||| # unbeobachteten
-unmenschlicher ||| # unmenschlicher
-unseren ||| # unseren
-unserer ||| # unserer
-unserer ||| # unserer
-unserer ||| # unserer
-unserer ||| # unserer
-unternehmen ||| # unternehmen
-unterordnen ||| # unterordnen
-unterstützen ||| # unterstützen
-unterstützung ||| # unterstützung
-untersuchten ||| # untersuchten
-verbrachte ||| # verbrachte
-verfahren ||| # verfahren
-vergangenheit ||| # vergangenheit
-vergessene ||| # vergessene
-vergünstigungen ||| # vergünstigungen
-verhinderte ||| # verhinderte
-verhängnisvoller ||| # verhängnisvoller
-verkündet ||| # verkündet
-verlangen ||| # verlangen
-verlassen ||| # verlassen
-verloren ||| # verloren
-vernichtet ||| # vernichtet
-vernichtung ||| # vernichtung
-versichert ||| # versichert
-verspielen ||| # verspielen
-verspielen ||| # verspielen
-verstärkt ||| # verstärkt
-versuchen ||| # versuchen
-vertrauen ||| # vertrauen
-vertraut ||| # vertraut
-vertrauten ||| # vertrauten
-verträglichkeit ||| # verträglichkeit
-verwendet ||| # verwendet
-veränderungen ||| # veränderungen
-veränderungen ||| # veränderungen
-vielen ||| # vielen
-vierten ||| # vierten
-visier ||| # visier
-vollends ||| # vollends
-vorbeischauen ||| # vorbeischauen
-vorgänger ||| # vorgänger
-vorrangig ||| # vorrangig
-vorrecht ||| # vorrecht
-vorstellen ||| # vorstellen
-vorwerfen ||| # vorwerfen
-vorwürfe ||| # vorwürfe
-vorzeitig ||| # vorzeitig
-wahlerfolg ||| # wahlerfolg
-wahljahr ||| # wahljahr
-walter ||| # walter
-washington ||| # washington
-weihnachten ||| # weihnachten
-weihnachtsansprache ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('ansprache',0,1),),)
-weihnachtsbotschaft ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('botschaft',0,1),),)
-weiter ||| # weiter
-weiter ||| # weiter
-weiter ||| # weiter
-weiter ||| # weiter
-weiterarbeiten ||| # weiterarbeiten
-weitere ||| # weitere
-weißen ||| # weißen
-weltöffentlichkeit ||| # welt öffentlichkeit
-wenige ||| # wenige
-wenigen ||| # wenigen
-weniger ||| # weniger
-werden ||| # werden
-werden ||| # werden
-werden ||| # werden
-werden ||| # werden
-werden ||| # werden
-werden ||| # werden
-werden ||| # werden
-werden ||| # werden
-wesentliches ||| # wesentliches
-wesentliches ||| # wesentliches
-westerwelle ||| # westerwelle
-whistleblower ||| ((('#',0,1),),(('whistleblower',0,2),('whistle',0,1),),(('blower',0,1),),)
-wichtig ||| # wichtig
-wichtige ||| # wichtige
-wichtigsten ||| # wichtigsten
-widmann ||| # widmann
-wieder ||| # wieder
-wieder ||| # wieder
-wieder ||| # wieder
-wieder ||| # wieder
-winterspiele ||| # winter spiele
-wirken ||| # wirken
-wirtschaftlich ||| # wirtschaftlich
-wissen ||| # wissen
-wissen ||| # wissen
-wissen ||| # wissen
-wissen ||| # wissen
-wladimir ||| # wladimir
-wladimir ||| # wladimir
-wladimir ||| # wladimir
-wladimir ||| # wladimir
-wohlstand ||| # wohlstand
-wollen ||| # wollen
-wollen ||| # wollen
-wollen ||| # wollen
-wollen ||| # wollen
-wollen ||| # wollen
-wollte ||| # wollte
-wollten ||| # wollten
-worden ||| # worden
-worden ||| # worden
-worden ||| # worden
-wurden ||| # wurden
-wurden ||| # wurden
-wusste ||| # wusste
-wussten ||| # wussten
-wählen ||| # wählen
-während ||| # während
-würden ||| # würden
-wüssten ||| # wüssten
-zeitung ||| # zeitung
-zerfall ||| # zerfall
-zimmer ||| # zimmer
-zimmer ||| # zimmer
-zitiert ||| # zitiert
-zitierte ||| # zitierte
-zivilgesellschaft ||| # zivil gesellschaft
-zuflucht ||| # zuflucht
-zufolge ||| # zufolge
-zufolge ||| # zufolge
-zunächst ||| # zunächst
-zustand ||| # zustand
-zweiminütigen ||| ((('#',0,1),),(('zweiminütigen',0,2),('zwei',0,1),),(('minütigen',0,1),),)
-zweiten ||| # zweiten
-zwischen ||| # zwischen
-ähnlich ||| # ähnlich
-ändern ||| # ändern
-änderte ||| # änderte
-ökonomische ||| # ökonomische
-überhaupt ||| # überhaupt
-überstehen ||| # überstehen
-überwachung ||| # überwachung
-überwachungstechniken ||| ((('#',0,1),),(('überwachungs',0,1),('überwachung',0,1),),(('techniken',0,1),),)
-üblich ||| # üblich
-cyberbullying ||| ((('#',0,1),),(('cyberbullying',0,2),('cyber',0,1),),(('bullying',0,1),),)
-erklärt ||| # erklärt
-chinesischen ||| # chinesischen
-behörden ||| # behörden
-keiner ||| # keiner
-schuld ||| # schuld
-bewusst ||| # bewusst
-verbietet ||| # verbietet
-anderer ||| # anderer
-propheten ||| # propheten
-mohammed ||| # mohammed
-gesandten ||| # gesandten
-beleidigen ||| # beleidigen
-verleumden ||| # verleumden
-tatsächlich ||| # tatsächlich
-gewinnt ||| # gewinnt
-westjordanland ||| # west jordanland
-rivalisierenden ||| # rivalisierenden
-gemäßigten ||| # gemäßigten
-palästinensergruppe ||| # palästinens ergruppe
-kontrolliert ||| # kontrolliert
-meinen ||| # meinen
-wallten ||| # wallten
-tränen ||| # tränen
-machen ||| # machen
-ancelotti ||| # ancelotti
-eingeführte ||| # eingeführte
-konkurrenz ||| # konkurrenz
-zunutze ||| # zunutze
-sieben ||| # sieben
-jahren ||| # jahren
-kämpft ||| # kämpft
-konzern ||| # konzern
-chinesischen ||| # chinesischen
-plagiator ||| # plagiator
-derzeit ||| # derzeit
-mindestlohn ||| # mindestlohn
-föderaler ||| # föderaler
-yorker ||| # yorker
-gesetzgebung ||| # gesetzgebung
-dollar ||| # dollar
-stunde ||| # stunde
-imbongi ||| # imbongi
-bedeutet ||| # bedeutet
-geschichtenerzähler ||| # geschichte erzähler
-lobpreiser ||| # lob preiser
-polizei ||| # polizei
-weiterhin ||| # weiterhin
-städtische ||| # städtische
-vorgaben ||| # vorgaben
-regulierung ||| # regulierung
-anbauern ||| # anbauern
-medizinischem ||| # medizinischem
-marihuana ||| # marihuana
-durchsetzen ||| # durchsetzen
-drogenhändler ||| # drogen händler
-weiterhin ||| # weiterhin
-verfolgt ||| # verfolgt
-würden ||| # würden
-beleidigung ||| # beleidigung
-geahndet ||| # geahndet
-werden ||| # werden
-bleibt ||| # bleibt
-unklar ||| # unklar
-ungebildet ||| # ungebildet
-schließlich ||| # schließlich
-eintritt ||| # eintritt
-kostet ||| # kostet
-kinder ||| # kinder
-jahren ||| # jahren
-kostenlos ||| # kostenlos
-karten ||| # karten
-vorverkauf ||| # vorverkauf
-bohemiaticket ||| # bohemia ticket
-erhältlich ||| # erhältlich
-berufungsgericht ||| # berufung gericht
-berücksichtigt ||| # berücksichtigt
-schnee ||| # schnee
-spektakuläre ||| # spektakuläre
-landschaften ||| # landschaften
-diesen ||| # diesen
-hartnäckigen ||| # hartnäckigen
-geruch ||| # geruch
-einfach ||| # einfach
-verschwinden ||| # verschwinden
-walmart ||| # walmart
-verkauft ||| # verkauft
-produkte ||| # produkte
-windeln ||| # windeln
-jagdgewehre ||| # jagdgewehre
-autobatterien ||| # auto batterien
-staubsaugern ||| # staub saugern
-einige ||| # einige
-personen ||| # personen
-langweilen ||| # langweilen
-leichter ||| # leichter
-andere ||| # andere
-pragmatische ||| # pragmatische
-präsident ||| # präsident
-barack ||| # barack
-zusammentat ||| # zusammentat
-waffenstillstand ||| # waffen stillstand
-erreichen ||| # erreichen
-könnte ||| # könnte
-verheißungsvolles ||| # verheißungs volles
-zeichen ||| # zeichen
-vielleicht ||| # vielleicht
-beginn ||| # beginn
-symbolisieren ||| # symbolisieren
-staatsanwaltschaft ||| # staat anwaltschaft
-freitag ||| # freitag
-versucht ||| # versucht
-festzustellen ||| # festzustellen
-armeegefreite ||| # armee gefreite
-bradley ||| # bradley
-manning ||| # manning
-angeklagt ||| # angeklagt
-größte ||| # größte
-enthüllung ||| # enthüllung
-vertraulicher ||| # vertraulicher
-informationen ||| # informationen
-amerikanischen ||| # amerikanischen
-geschichte ||| # geschichte
-mehrere ||| # mehrere
-gelegenheiten ||| # gelegenheiten
-versäumte ||| # versäumte
-angeblich ||| # angeblich
-erlittene ||| # erlittene
-misshandlung ||| # misshandlung
-militärhaft ||| # militärhaft
-beschweren ||| # beschweren
-glaube ||| # glaube
-dieses ||| # dieses
-richtige ||| # richtige
-ebenfalls ||| # ebenfalls
-diesem ||| # diesem
-gesetz ||| # gesetz
-ausgenommen ||| # ausgenommen
-personen ||| # personen
-ausbildungszeugnisse ||| # ausbildung zeugnisse
-diplome ||| # diplome
-zerfall ||| # zerfall
-erhalten ||| # erhalten
-wütend ||| # wütend
-diesen ||| # diesen
-forcierten ||| # forcierten
-verfassungsprozess ||| # verfassung prozess
-eigentlich ||| # eigentlich
-februar ||| # februar
-gesellschaftlichen ||| # gesellschaftlichen
-kräfte ||| # kräfte
-einbinden ||| # einbinden
-sollen ||| # sollen
-verruf ||| # verruf
-gebracht ||| # gebracht
-meisten ||| # meisten
-selbst ||| # selbst
-kämpfen ||| # kämpfen
-beteiligt ||| # beteiligt
-meinem ||| # meinem
-erzählte ||| # erzählte
-oxford ||| # oxford
-hasste ||| # hasste
-zufrieden ||| # zufrieden
-russischen ||| # russischen
-behörden ||| # behörden
-probleme ||| # probleme
-anziehung ||| # anziehung
-schrauben ||| # schrauben
-bekämpfen ||| # bekämpfen
-wollen ||| # wollen
-danach ||| # danach
-sendete ||| # sendete
-präsidentenamt ||| # präsidenten amt
-medien ||| # medien
-abschlusserklärung ||| # abschluss erklärung
-gipfeltreffens ||| # gipfel treffens
-erklärung ||| # erklärung
-humala ||| # humala
-handelte ||| # handelte
-offizielle ||| # offizielle
-dokument ||| # dokument
-abschluss ||| # abschluss
-gipfeltreffens ||| # gipfel treffens
-doppelt ||| # doppelt
-kosten ||| # kosten
-offiziellen ||| # offiziellen
-dieser ||| # dieser
-kostet ||| # kostet
-arbeitsmigranten ||| # arbeit migranten
-dreitausend ||| # dreitausend
-selbst ||| # selbst
-kommunistischen ||| # kommunistischen
-freunde ||| # freunde
-legten ||| # legten
-einwandfreie ||| # einwandfreie
-manieren ||| # manieren
-polizei ||| # polizei
-tragen ||| # tragen
-tödlicher ||| # tödlicher
-waffen ||| # waffen
-öffentlichkeit ||| # öffentlichkeit
-verbieten ||| # verbieten
-besitz ||| # besitz
-schusswaffen ||| # schuss waffen
-heraufsetzen ||| # heraufsetzen
-nukleares ||| # nukleares
-material ||| # material
-terroristen ||| # terroristen
-gelangt ||| # gelangt
-könnte ||| # könnte
-beispielsweise ||| # beispielsweise
-ausbrechen ||| # ausbrechen
-zweiten ||| # zweiten
-kommen ||| # kommen
-illegale ||| # illegale
-waffen ||| # waffen
-ordnungshütern ||| # ordnung hütern
-kriminellen ||| # kriminellen
-gestohlen ||| # gestohlen
-werden ||| # werden
-dieser ||| # dieser
-kundinnen ||| # kundinnen
-valentino ||| # valentino
-unvergesslich ||| # unvergesslich
-schützen ||| # schützen
-innerhalb ||| # innerhalb
-mannschaft ||| # mannschaft
-respektieren ||| # respektieren
-sowohl ||| # sowohl
-spieler ||| # spieler
-person ||| # person
-tatbestand ||| # tat bestand
-blasphemie ||| # blasphemie
-aufrechterhalten ||| # aufrecht erhalten
-beleidigungen ||| # beleidigungen
-verboten ||| # verboten
-schwerwiegende ||| # schwerwiegende
-folgen ||| # folgen
-meinungsäußerung ||| # meinung äußerung
-könnte ||| # könnte
-insbesondere ||| # insbesondere
-presse ||| # presse
-kirill ||| # kirill
-miller ||| # miller
-typischen ||| # typischen
-petersburger ||| # petersburger
-sozial ||| # sozial
-philosophischen ||| # philosophischen
-künstler ||| # künstler
-mythen ||| # mythen
-erschaffen ||| # erschaffen
-frauen ||| # frauen
-fliegen ||| # fliegen
-bereits ||| # bereits
-jahren ||| # jahren
-änderung ||| # änderung
-verbesserung ||| # verbesserung
-ernähre ||| # ernähre
-treibe ||| # treibe
-medikamente ||| # medikamente
-gefährliche ||| # gefährliche
-smogglocke ||| # smog glocke
-peking ||| # peking
-stadtregierung ||| # stadt regierung
-verschmutzung ||| # verschmutzung
-begrenzen ||| # begrenzen
-vorerst ||| # vorerst
-husten ||| # husten
-weiter ||| # weiter
-repräsentantenhaus ||| # repräsentanten haus
-großes ||| # großes
-gerangel ||| # gerangel
-haushaltsgesetz ||| # haushalt gesetz
-verabschiedet ||| # verabschiedet
-untergrenze ||| ((('#',0,1),),(('untergrenze',0,2),('unter',0,1),),(('grenze',0,1),),)
-preissturz ||| # preis sturz
-verschmutzungsrechte ||| # verschmutzung rechte
-verhindern ||| # verhindern
-informationen ||| # informationen
-frankfurter ||| # frankfurter
-allgemeinen ||| # allgemeinen
-zeitung ||| # zeitung
-sollen ||| # sollen
-zeiten ||| # zeiten
-zusätzliche ||| # zusätzliche
-emissionszertifikate ||| # emission zertifikate
-kommen ||| # kommen
-hannover ||| # hannover
-beginnt ||| # beginnt
-landstraßenmord ||| # landstraße mord
-kaarst ||| # kaarst
-sportlehrer ||| # sport lehrer
-festgenommen ||| # festgenommen
-rätselhaft ||| # rätselhaft
-prozess ||| # prozess
-christian ||| # christian
-einigen ||| # einigen
-vetomächte ||| # veto mächte
-atomüberwachungsprogramm ||| # atom überwachung programm
-thailändische ||| # thailändische
-demonstranten ||| # demonstranten
-stürmen ||| # stürmen
-regierungsgebäude ||| # regierung gebäude
-jahresrückblick ||| # jahr rückblick
-alljährliche ||| # alljährliche
-drohkulisse ||| # droh kulisse
-nordafrika ||| # nord afrika
-südkorea ||| # süd korea
-nordkorea ||| # nord korea
-gewarnt ||| # gewarnt
-traditionelles ||| # traditionelles
-militärmanöver ||| # militär manöver
-abzuhalten ||| # abzuhalten
-serotoninwiederaufnahmehemmer ||| # serotonin wiederaufnahme hemmer
-gedankenaustausch ||| # gedanke austausch
-nachbarschaftspolitik ||| # nachbarschaft politik
-frauenquote ||| # frauen quote
-aufsichtsräte ||| # aufsicht räte
-mindestens ||| # mindestens
-prozent ||| # prozent
-rechtsanspruch ||| # recht anspruch
-familienpflegezeit ||| # familie pflege zeit
-geeinigt ||| # geeinigt
-teilzeitarbeit ||| # teil zeit arbeit
-erleichtert ||| # erleichtert
-werden ||| # werden
-amtsperiode ||| # amtsperiode
-hälfte ||| # hälfte
-schwarzmeerregion ||| # schwarz meer region
-zentralasien ||| # zentral asien
-regierung ||| # regierung
-merkel ||| # merkel
-titelt ||| # titelt
-ugandisches ||| # ugandisches
-wochenmagazin ||| # woche magazin
-vergangenen ||| # vergangenen
-jahres ||| # jahres
-garantieerklärung ||| # garantie erklärung
-atomprogramms ||| # atom programms
-weltgemeinschaft ||| # welt gemeinschaft
-irakkrieg ||| # irak krieg
-strafsteuer ||| # straf steuer
-regierungsmethode ||| # regierung methode
-rechtsschutzversicherungsgesellschaften ||| # recht schutz versicherung gesellschaften
diff --git a/compound-split/de/large_dict.de.gz b/compound-split/de/large_dict.de.gz
index f5b1b9d3..c7db323c 100644
Binary files a/compound-split/de/large_dict.de.gz and b/compound-split/de/large_dict.de.gz differ
diff --git a/compound-split/de/test b/compound-split/de/test
deleted file mode 100644
index 8dac76cd..00000000
--- a/compound-split/de/test
+++ /dev/null
@@ -1,302 +0,0 @@
-aktiengesellschaft
-aktiengesellschaft
-wiederaufnahme
-tonbandaufnahme
-staatskrise
-staatskrise
-madagaskars
-präsident
-bittet
-schlagworte
-demonstration
-putsch
-machtkampf
-zwischen
-opposition
-regierungspartei
-regierungspartei
-spitzt
-afrikanischen
-botschaft
-befürchtet
-bürgerkrieg
-mitglieder
-oppositionspartei
-oppositionspartei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-mitglieder
-oppositionspartei
-oppositionspartei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-bedrängte
-präsident
-wandte
-öffentlichen
-hilferuf
-anhänger
-forderte
-regierungssitz
-regierungssitz
-schützen
-mitglieder
-präsidentengarde
-präsidentengarde
-unbestätigten
-medienberichten
-medienberichten
-begonnen
-posten
-verlassen
-augenzeugen
-augenzeugen
-berichteten
-gepanzerte
-fahrzeuge
-außenbezirken
-hauptstadt
-hauptstadt
-antananarivo
-botschafter
-marquardt
-nationalen
-fernsehen
-erklärt
-steuere
-bürgerkrieg
-botschaft
-familien
-mitarbeiter
-unbedingt
-benötigt
-werden
-bürger
-verlassen
-landes
-aufgefordert
-deutsche
-botschaft
-dagegen
-wollte
-absprache
-anderen
-europäischen
-vertretungen
-zunächst
-ausreise
-empfehlung
-regierung
-angeschlagenen
-staatspräsidenten
-staatspräsidenten
-ravalomanana
-demokratiebewegung
-selbst
-ernannten
-präsidenten
-übergangsregierung
-übergangsregierung
-rajoelina
-gegenüber
-wochen
-andauernde
-erbitterte
-machtkampf
-menschen
-gekostet
-hunderte
-wurden
-verletzt
-modernisierung
-atomwaffen
-umbauten
-marine
-russlands
-präsident
-medwedew
-aufrüstung
-begründung
-versuche
-präsenz
-grenzen
-landes
-verstärken
-anzeige
-moskau
-dmitrij
-medwedew
-begründet
-bebaren
-russischen
-streitkräfte
-sollten
-massiv
-gestärkt
-atomwaffenarsenal
-atomwaffenarsenal
-modernisiert
-werden
-westliche
-militärbündnis
-versuche
-präsenz
-grenzen
-auszubauen
-präsident
-deshalb
-aufrüstung
-marine
-umfang
-beginne
-umfassende
-umrüstung
-heeres
-flotte
-ernstes
-konfliktpotential
-infrastruktur
-kampfkraft
-streitkräfte
-strategischen
-atomwaffen
-internationalen
-terrorismus
-gefechtsbereitschaft
-gefechtsbereitschaft
-strategischen
-atomwaffen
-militärs
-aktuellen
-haushaltsprobleme
-haushaltsprobleme
-auswirkungen
-regierung
-streitkräfteetat
-infolge
-finanzkrise
-zusammengestrichen
-zusammengestrichen
-weitere
-kürzungen
-ausgeschlossen
-medwedews
-vorgänger
-wladimir
-wiederholt
-modernisierung
-waffenarsenals
-verkündet
-umsetzung
-ankündigungen
-großteil
-atomwaffen
-sowjetzeiten
-stimmung
-streitkräften
-rahmen
-reform
-offizierkorps
-verkleinert
-werden
-trifolium
-umfassende
-pflanzengattung
-pflanzengattung
-unterfamilie
-schmetterlingsblütler
-schmetterlingsblütler
-faboideae
-pflanzenfamilie
-pflanzenfamilie
-hülsenfrüchtler
-hülsenfrüchtler
-fabaceae
-gezählt
-sprachgebrauch
-allerdings
-häufig
-gattung
-bezeichnet
-sondern
-nahverwandten
-gattungen
-schneckenklee
-schneckenklee
-medicago
-steinklee
-melilotus
-taxonomisch
-entfernten
-gattung
-sauerklee
-oxalis
-charakteristische
-merkmale
-gattung
-dreifiedrige
-blätter
-vielblütige
-kopfige
-blütenstände
-blütenstände
-kontinenten
-ausnahme
-australiens
-antarktikas
-natürlich
-verbreitet
-australien
-wurden
-verschiedene
-kleearten
-menschen
-eingeführt
-landwirtschaft
-werden
-verschiedene
-kleearten
-futterpflanzen
-verwendet
-kleeanbau
-europa
-nordamerika
-ökonomischer
-bedeutung
-europa
-jahrhundert
-christus
-angebaut
-fähigkeit
-symbiose
-knöllchenbakterien
-rhizobiaceae
-wurzeln
-stickstoff
-verbesserung
-bodenfruchtbarkeit
-bedeutend
-kleeblatt
-symbolik
-vieler
-kulturen
-eingang
-repräsentiert
-dreiheit
-beispiel
-christentum
-dreifaltigkeit
-weiterhin
-sommer
-symbolisiert
-vierblättrige
-kleeblatt
-glücksbringer
-glücksbringer
-XX
diff --git a/compound-split/de/test.ref b/compound-split/de/test.ref
deleted file mode 100644
index 4b3c7abc..00000000
--- a/compound-split/de/test.ref
+++ /dev/null
@@ -1,302 +0,0 @@
-aktien gesellschaft
-aktie gesellschaft
-wiederaufnahme
-tonband aufnahme
-staats krise
-staat krise
-madagaskars
-präsident
-bittet
-schlagworte
-demonstration
-putsch
-macht kampf
-zwischen
-opposition
-regierungs partei
-regierung partei
-spitzt
-afrikanischen
-botschaft
-befürchtet
-bürger krieg
-mitglieder
-oppositions partei
-opposition partei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-mitglieder
-oppositions partei
-opposition partei
-demonstrieren
-putsch
-madagaskars
-präsidenten
-ravalomanana
-bedrängte
-präsident
-wandte
-öffentlichen
-hilfe ruf
-anhänger
-forderte
-regierungs sitz
-regierung sitz
-schützen
-mitglieder
-präsidenten garde
-präsidenten garde
-unbestätigten
-medien berichten
-medie berichten
-begonnen
-posten
-verlassen
-augen zeugen
-auge zeugen
-berichteten
-gepanzerte
-fahrzeuge
-außen bezirken
-haupt stadt
-hauptstadt
-antananarivo
-botschafter
-marquardt
-nationalen
-fernsehen
-erklärt
-steuere
-bürger krieg
-botschaft
-familien
-mitarbeiter
-unbedingt
-benötigt
-werden
-bürger
-verlassen
-landes
-aufgefordert
-deutsche
-botschaft
-dagegen
-wollte
-absprache
-anderen
-europäischen
-vertretungen
-zunächst
-ausreise
-empfehlung
-regierung
-angeschlagenen
-staats präsidenten
-staat präsidenten
-ravalomanana
-demokratie bewegung
-selbst
-ernannten
-präsidenten
-übergangs regierung
-übergang regierung
-rajoelina
-gegenüber
-wochen
-andauernde
-erbitterte
-macht kampf
-menschen
-gekostet
-hunderte
-wurden
-verletzt
-modernisierung
-atom waffen
-umbauten
-marine
-russlands
-präsident
-medwedew
-aufrüstung
-begründung
-versuche
-präsenz
-grenzen
-landes
-verstärken
-anzeige
-moskau
-dmitrij
-medwedew
-begründet
-bebaren
-russischen
-streit kräfte
-sollten
-massiv
-gestärkt
-atom waffen arsenal
-atomwaffen arsenal
-modernisiert
-werden
-westliche
-militärbündnis
-versuche
-präsenz
-grenzen
-auszubauen
-präsident
-deshalb
-aufrüstung
-marine
-umfang
-beginne
-umfassende
-umrüstung
-heeres
-flotte
-ernstes
-konflikt potential
-infrastruktur
-kampf kraft
-streit kräfte
-strategischen
-atom waffen
-internationalen
-terrorismus
-gefechts bereitschaft
-gefecht bereitschaft
-strategischen
-atomwaffen
-militärs
-aktuellen
-haushalts probleme
-haushalt probleme
-auswirkungen
-regierung
-streit kräfte etat
-infolge
-finanz krise
-zusammengestrichen
-zusammen gestrichen
-weitere
-kürzungen
-ausgeschlossen
-medwedews
-vorgänger
-wladimir
-wiederholt
-modernisierung
-waffen arsenals
-verkündet
-umsetzung
-ankündigungen
-groß teil
-atom waffen
-sowjet zeiten
-stimmung
-streit kräften
-rahmen
-reform
-offizier korps
-verkleinert
-werden
-trifolium
-umfassende
-pflanzen gattung
-pflanze gattung
-unterfamilie
-schmetterlings blütler
-schmetterling blütler
-faboideae
-pflanzen familie
-pflanze familie
-hülsen früchtler
-hülse früchtler
-fabaceae
-gezählt
-sprach gebrauch
-allerdings
-häufig
-gattung
-bezeichnet
-sondern
-nah verwandten
-gattungen
-schnecken klee
-schnecke klee
-medicago
-stein klee
-melilotus
-taxonomisch
-entfernten
-gattung
-sauer klee
-oxalis
-charakteristische
-merkmale
-gattung
-drei fiedrige
-blätter
-viel blütige
-kopfige
-blüten stände
-blüte stände
-kontinenten
-ausnahme
-australiens
-antarktikas
-natürlich
-verbreitet
-australien
-wurden
-verschiedene
-klee arten
-menschen
-eingeführt
-landwirtschaft
-werden
-verschiedene
-klee arten
-futter pflanzen
-verwendet
-klee anbau
-europa
-nord amerika
-ökonomischer
-bedeutung
-europa
-jahrhundert
-christus
-angebaut
-fähigkeit
-symbiose
-knöllchen bakterien
-rhizobiaceae
-wurzeln
-stickstoff
-verbesserung
-boden fruchtbarkeit
-bedeutend
-klee blatt
-symbolik
-vieler
-kulturen
-eingang
-repräsentiert
-dreiheit
-beispiel
-christentum
-dreifaltigkeit
-weiterhin
-sommer
-symbolisiert
-vier blättrige
-klee blatt
-glücks bringer
-glück bringer
-XX
diff --git a/compound-split/de/train.in-ref b/compound-split/de/train.in-ref
new file mode 100644
index 00000000..80251b4a
--- /dev/null
+++ b/compound-split/de/train.in-ref
@@ -0,0 +1,2531 @@
+niederlande ||| # niederlande
+hauptstadt ||| # hauptstadt
+untersuchungsausschuss ||| ((('#',0,1),),(('untersuchung',0,1),('untersuchungs',0,1),),(('ausschuss',0,1),),)
+vielleicht ||| # vielleicht
+hochzeiten ||| # hochzeiten
+damalige ||| # damalige
+siegfried ||| # siegfried
+jaschinski ||| # jaschinski
+verdächtigenkreis ||| ((('#',0,1),),(('verdächtige',0,1),('verdächtigen',0,1),),(('kreis',0,1),),)
+staatsanwaltschaft ||| ((('#',0,1),),(('staat',0,1),('staats',0,1),),(('staatsanwaltschaft',0,1),),)
+damals ||| # damals
+gefeiert ||| # gefeiert
+landesbank ||| ((('#',0,1),),(('landesbank',0,2),('landes',0,1),('land',0,1),),(('bank',0,1),),)
+ungewöhnlich ||| # ungewöhnlich
+schwäbischen ||| # schwäbischen
+feldherrn ||| # feld herrn
+handelsblatt ||| ((('#',0,1),),(('handels',0,1),('handel',0,1),('handelsblatt',0,2),),(('blatt',0,1),),)
+alexander ||| # alexander
+großen ||| # großen
+promoviert ||| # promoviert
+wachstumsplänen ||| ((('#',0,1),),(('wachstums',0,1),('wachstum',0,1),),(('plänen',0,1),),)
+keinen ||| # keinen
+unausweichlichen ||| # unausweichlichen
+konsolidierung ||| # konsolidierung
+branche ||| # branche
+tragende ||| # tragende
+träumt ||| # träumt
+institut ||| # institut
+glücklicherweise ||| # glücklicherweise
+augenhöhe ||| ((('#',0,1),),(('auge',0,1),('augen',0,1),),(('höhe',0,1),),)
+deutschen ||| # deutschen
+wiederherstellung ||| # wiederherstellung
+grundstück ||| ((('#',0,1),),(('grund',0,1),('grundstück',0,2),),(('stück',0,1),),)
+ruhestand ||| # ruhestand
+widerstand ||| # widerstand
+verstrickt ||| # verstrickt
+stellen ||| # stellen
+zahlreichen ||| # zahlreichen
+versammlungsgesetz ||| ((('#',0,1),),(('versammlung',0,1),('versammlungs',0,1),),(('gesetz',0,1),),)
+verstöße ||| # verstöße
+sachbeschädigung ||| # sach beschädigung
+vereinigungen ||| # vereinigungen
+glashaus ||| # glas haus
+auenlandschaft ||| # auen landschaft
+fundament ||| # fundament
+vierhock ||| # vierhock
+idylle ||| # idylle
+plätschert ||| # plätschert
+johannes ||| # johannes
+angrenzenden ||| # angrenzenden
+sportjacke ||| # sport jacke
+mittelmeerinseln ||| # mittelmeer inseln
+stiefelförmige ||| # stiefel förmige
+wiederaufnahme ||| # wiederaufnahme
+tonbandaufnahme ||| # tonband aufnahme
+korrekturzucker ||| # korrektur zucker
+meeresspiegel ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('spiegel',0,1),),)
+gesamtausgabe ||| # gesamt ausgabe
+losfertigung ||| # los fertigung
+reichstag ||| # reichstag
+monntag ||| # monntag
+mittwoch ||| # mittwoch
+freitag ||| # freitag
+sonntag ||| # sonntag
+nachbarschaftsbeziehungen ||| ((('#',0,1),),(('nachbarschafts',0,1),('nachbarschaft',0,1),),(('beziehungen',0,1),),)
+saftbar ||| # saft bar
+produktionsprozesses ||| # produktion prozesses
+gesamtzusammenhang ||| # gesamt zusammenhang
+volkswirtschaftslehre ||| # volk wirtschaft lehre
+losverfahren ||| # los verfahren
+schifffahrt ||| # schiff fahrt
+dienstag ||| # dienstag
+donnerstag ||| # donnerstag
+samstag ||| # samstag
+sonnabend ||| # sonnabend
+mitglied ||| # mitglied
+abblendlicht ||| # abblend licht
+abbrucharbeiten ||| # abbruch arbeiten
+abergläubischen ||| # abergläubischen
+abfallbewirtschaftungshierarchie ||| # abfall bewirtschaftung hierarchie
+abfallbewirtschaftungsplänen ||| # abfall bewirtschaftung plänen
+abfertigungsgebühren ||| ((('#',0,1),),(('abfertigung',0,1),('abfertigungs',0,1),),(('gebühren',0,1),),)
+beitragsunabhängig ||| ((('#',0,1),),(('beitrag',0,1),('beitrags',0,1),),(('unabhängig',0,1),),)
+einreichungsfrist ||| ((('#',0,1),),(('einreichung',0,1),),(('frist',0,1),),)
+europaabgeordnete ||| # europa abgeordnete
+früherkennungskampagnen ||| ((('#',0,1),),(('früh',0,1),),(('erkennung',0,1),('erkennungs',0,1),),(('kampagnen',0,1),),)
+hilfsagenturen ||| ((('#',0,1),),(('hilf',0,1),('hilfs',0,1),),(('agenturen',0,1),),)
+hilfsinstitutionen ||| ((('#',0,1),),(('hilf',0,1),('hilfs',0,1),),(('institutionen',0,1),),)
+kaisergranat ||| # kaiser granat
+kalifornien ||| # kalifornien
+kampfflugzeug ||| # kampf flugzeug
+luftangriffen ||| # luft angriffen
+luftsicherheit ||| # luft sicherheit
+mithäftlingen ||| # mithäftlingen
+wartungsarbeiten ||| # wartung arbeiten
+wasseraufbereitungsanlagen ||| ((('#',0,1),),(('wasser',0,1),),(('aufbereitungs',0,1),('aufbereitung',0,1),),(('anlagen',0,1),),)
+wasserdienstleistungen ||| # wasser dienstleistungen
+weihnachtsgeschenk ||| # weihnacht geschenk
+weltarbeitsorganisation ||| # welt arbeit organisation
+zeitdruck ||| # zeit druck
+bundesagentur ||| ((('#',0,1),),(('bund',0,1),('bundes',0,1),),(('agentur',0,1),),)
+fahrstuhlschächten ||| # fahrstuhl schächten
+elektroindustrie ||| # elektro industrie
+sonderpreis ||| # sonder preis
+modellrechnung ||| # modell rechnung
+treibhauseffekt ||| # treibhaus effekt
+europatournee ||| # europa tournee
+wirtschaftskrise ||| ((('#',0,1),),(('wirtschafts',0,1),('wirtschaft',0,1),),(('krise',0,1),),)
+mittwochabend ||| # mittwoch abend
+abschiedsgala ||| ((('#',0,1),),(('abschied',0,1),('abschieds',0,1),),(('gala',0,1),),)
+betriebstag ||| # betrieb tag
+flughafen ||| # flughafen
+truthahn ||| # truthahn
+gehirnregion ||| # gehirn region
+feststellung ||| # feststellung
+thanksgiving ||| # thanks giving
+börsenhändler ||| ((('#',0,1),),(('börsen',0,1),('börse',0,1),),(('händler',0,1),),)
+risikoforschung ||| # risiko forschung
+finanzkrise ||| # finanz krise
+erkenntnis ||| # erkenntnis
+vergangenheit ||| # vergangenheit
+festtagsbratenesser ||| # festtag braten esser
+ungemütlichkeit ||| # ungemütlichkeit
+privatanlegern ||| # privat anlegern
+finanzmakler ||| # finanz makler
+immobilienfonds ||| # immobilien fonds
+wertzuwachs ||| # wert zuwachs
+marmelade ||| # marmelade
+roboterzofe ||| # roboter zofe
+heinrich ||| # heinrich
+zeitdehnung ||| # zeit dehnung
+zeitlosigkeit ||| # zeitlosigkeit
+auseinandersetzung ||| # auseinandersetzung
+immobilienfondskrise ||| ((('#',0,1),),(('immobilien',0,1),),(('fonds',0,1),('fond',0,1),),(('krise',0,1),),)
+stackelberg ||| # stackelberg
+bodenseedampfschifffahrtsgesellschaftskapitänsmütze ||| # bodensee dampf schiff fahrt gesellschaft kapitän mütze
+hamburg ||| # hamburg
+inzwischen ||| # inzwischen
+deutsche ||| # deutsche
+justiz ||| # justiz
+britische ||| # britische
+bischof ||| # bischof
+richard ||| # richard
+williamson ||| # williamson
+respektablen ||| # respektablen
+standes ||| # standes
+soutane ||| # soutane
+unfassbare ||| # unfassbare
+millionen ||| # millionen
+gaskammern ||| # gas kammern
+holocaustleugner ||| # holocaust leugner
+großansicht ||| # groß ansicht
+überraschte ||| # überraschte
+gegenfrage ||| # gegen frage
+journalisten ||| # journalisten
+fernsehsender ||| # fernseh sender
+schließlich ||| # schließlich
+revisionisten ||| # revisionisten
+dreihunderttausend ||| # drei hundert tausend
+konzentrationslagern ||| ((('#',0,1),),(('konzentration',0,1),('konzentrations',0,1),),(('lagern',0,1),),)
+schwadroniert ||| # schwadroniert
+schornsteinhöhen ||| # schornstein höhen
+touristen ||| # touristen
+auschwitz ||| # auschwitz
+birkenau ||| # birkenau
+antisemitismus ||| ((('#',0,1),),(('anti',0,1),('antisemitismus',0,2),),(('semitismus',0,1),),)
+schwedische ||| # schwedische
+interviewer ||| # interviewer
+bischof ||| # bischof
+williamson ||| # williamson
+wahrheit ||| # wahrheit
+schlecht ||| # schlecht
+interessiert ||| # interessiert
+entrückte ||| # entrückte
+deutscher ||| # deutscher
+blamiert ||| # blamiert
+katholische ||| # katholische
+ausgabe ||| # ausgabe
+skandal ||| # skandal
+interview ||| # interview
+berichtet ||| # berichtet
+bayerischen ||| # bayerischen
+zaitzhofen ||| # zaitzhofen
+fernsehen ||| # fernsehen
+regensburger ||| # regensburger
+ruckdäschel ||| # ruckdäschel
+artikel ||| # artikel
+leitete ||| # leitete
+angaben ||| # angaben
+ermittlungsverfahren ||| ((('#',0,1),),(('ermittlung',0,1),('ermittlungs',0,1),),(('verfahren',0,1),),)
+verdacht ||| # verdacht
+volksverhetzung ||| ((('#',0,1),),(('volk',0,1),('volks',0,1),),(('verhetzung',0,1),),)
+inzwischen ||| # inzwischen
+rechtsanwalt ||| # rechtsanwalt
+einlassung ||| # einlassung
+behörde ||| # behörde
+geistliche ||| # geistliche
+gespräch ||| # gespräch
+ausschließlich ||| # ausschließlich
+auszustrahlen ||| # auszustrahlen
+veröffentlichung ||| # veröffentlichung
+deutschland ||| # deutschland
+deutschland ||| # deutschland
+deutschland ||| # deutschland
+deutschland ||| # deutschland
+deutschland ||| # deutschland
+exkommunikation ||| # exkommunikation
+hintergrund ||| # hintergrund
+juristischen ||| # juristischen
+volksverhetzungsparagrafen ||| ((('#',0,1),),(('volk',0,1),('volks',0,1),),(('verhetzung',0,1),('verhetzungs',0,1),),(('paragrafen',0,1),),)
+strafgesetzbuchs ||| # straf gesetz buchs
+leugnung ||| # leugnung
+strafverfolgung ||| # straf verfolgung
+hintertür ||| # hintertür
+entziehen ||| # entziehen
+inzwischen ||| # inzwischen
+einsicht ||| # einsicht
+ermittlungsakten ||| ((('#',0,1),),(('ermittlung',0,1),('ermittlungs',0,1),),(('akten',0,1),),)
+ruckdäschel ||| # ruckdäschel
+überlegen ||| # überlegen
+schwedischen ||| # schwedischen
+journalisten ||| # journalisten
+hintergründen ||| # hintergründen
+absprachen ||| # absprachen
+vorfeld ||| # vorfeld
+oberstaatsanwalt ||| ((('#',0,1),),(('ober',0,1),),(('staat',0,1),('staats',0,1),('staatsanwalt',0,2),),(('anwalt',0,1),),)
+mendelssohn ||| # mendelssohn
+bartholdy ||| # bartholdy
+entstammte ||| # entstammte
+angesehenen ||| # angesehenen
+wohlhabenden ||| # wohlhabenden
+bürgerlichen ||| # bürgerlichen
+jüdischen ||| # jüdischen
+familie ||| # familie
+väterlicherseits ||| # väterlicherseits
+bedeutenden ||| # bedeutenden
+philosophen ||| # philosophen
+abraham ||| # abraham
+bankkaufmannslehre ||| ((('#',0,1),),(('bank',0,1),),(('kaufmanns',0,1),('kaufmann',0,1),),(('lehre',0,1),),)
+kompagnon ||| # kompagnon
+mutter ||| # mutter
+salomon ||| # salomon
+fabrikantenfamilie ||| # fabrikanten familie
+schwester ||| # schwester
+hensel ||| # hensel
+geschwister ||| # geschwister
+rebecca ||| # rebecca
+mathematiker ||| # mathematiker
+dirichlet ||| # dirichlet
+kinder ||| # kinder
+pfarrer ||| # pfarrer
+reformierten ||| # reformierten
+gemeinde ||| # gemeinde
+berliner ||| # berliner
+jerusalems ||| # jerusalems
+haustaufe ||| # haus taufe
+protestantisch ||| # protestantisch
+gelegenheit ||| # gelegenheit
+taufnamen ||| # tauf namen
+ludwig ||| # ludwig
+darüber ||| # darüber
+familiennamen ||| ((('#',0,1),),(('familie',0,1),('familien',0,1),),(('namen',0,1),),)
+christliche ||| # christliche
+beigefügt ||| # beigefügt
+vorbesitzers ||| # vorbesitzers
+gartens ||| # gartens
+abraham ||| # abraham
+mendelssohn ||| # mendelssohn
+konvertierten ||| # konvertierten
+christentum ||| # christentum
+kindheit ||| # kindheit
+französischen ||| # französischen
+besetzung ||| # besetzung
+familie ||| # familie
+verwitwete ||| # verwitwete
+großmutter ||| ((('#',0,1),),(('groß',0,1),('großmutter',0,2),),(('mutter',0,1),),)
+musikunterricht ||| # musik unterricht
+schülerin ||| # schülerin
+philipp ||| # philipp
+kirnbergers ||| # kirnbergers
+unmittelbaren ||| # unmittelbaren
+großtante ||| # groß tante
+tochter ||| # tochter
+finanzmanns ||| # finanzmanns
+daniel ||| # daniel
+preußischer ||| # preußischer
+friedrich ||| # friedrich
+wilhelm ||| # wilhelm
+naturalisationspatent ||| ((('#',0,1),),(('naturalisation',0,1),('naturalisations',0,1),),(('patent',0,1),),)
+vermittelte ||| # vermittelte
+tradition ||| # tradition
+gönnerin ||| # gönnerin
+lehrerin ||| # lehrerin
+vorübergehenden ||| # vorübergehenden
+aufenthalts ||| # aufenthalts
+rückkehr ||| # rückkehr
+unterricht ||| # unterricht
+komposition ||| # komposition
+ausbildung ||| # ausbildung
+schriftstellers ||| # schriftstellers
+neunjähriger ||| # neun jähriger
+klavierpart ||| # klavier part
+klaviertrio ||| # klavier trio
+altsänger ||| # alt sänger
+akademie ||| # akademie
+kirchenmusik ||| ((('#',0,1),),(('kirchen',0,1),('kirche',0,1),),(('musik',0,1),),)
+außergewöhnlicher ||| # außergewöhnlicher
+schnelligkeit ||| # schnelligkeit
+klaviersonaten ||| # klavier sonaten
+klaviertrio ||| # klavier trio
+orgelstücke ||| # orgel stücke
+dreisätzige ||| # drei sätzige
+streichersinfonien ||| # streicher sinfonien
+motetten ||| # motetten
+singspiele ||| # singspiele
+soldatenliebschaft ||| # soldaten liebschaft
+singspiels ||| # singspiels
+komödianten ||| # komödianten
+freundschaft ||| # freundschaft
+barack ||| # barack
+getappt ||| # getappt
+anstehenden ||| # anstehenden
+herkulesaufgaben ||| # herkules aufgaben
+zugleich ||| # zugleich
+blütenweiße ||| # blütenweiße
+westen ||| # westen
+regierungsgrundsätzen ||| ((('#',0,1),),(('regierung',0,1),('regierungs',0,1),),(('grundsätzen',0,1),),)
+genügen ||| # genügen
+problem ||| # problem
+fachlich ||| # fachlich
+ansteckenden ||| # ansteckenden
+krankheit ||| # krankheit
+washington ||| # washington
+befallen ||| # befallen
+symptome ||| # symptome
+verquickung ||| # verquickung
+öffentlichen ||| # öffentlichen
+interessen ||| # interessen
+lobbyistenumtriebe ||| # lobbyisten umtriebe
+steuerzahlungsphobie ||| ((('#',0,1),),(('steuer',0,1),),(('zahlung',0,1),('zahlungs',0,1),),(('phobie',0,1),),)
+eigentlich ||| # eigentlich
+ausgezogen ||| # ausgezogen
+krankheit ||| # krankheit
+auszurotten ||| # auszurotten
+probleme ||| # probleme
+gewaltig ||| # gewaltig
+problembewältiger ||| # problem bewältiger
+verzichten ||| # verzichten
+ausnahmen ||| # ausnahmen
+nachsichtig ||| # nachsichtig
+nachlässig ||| # nachlässig
+nummer ||| # nummer
+verteidigungsministerium ||| ((('#',0,1),),(('verteidigung',0,1),('verteidigungs',0,1),),(('ministerium',0,1),),)
+fachmann ||| # fachmann
+rüstungslobbyist ||| ((('#',0,1),),(('rüstung',0,1),('rüstungs',0,1),),(('lobbyist',0,1),),)
+geithner ||| # geithner
+finanzminister ||| # finanz minister
+fiskus ||| # fiskus
+vorenthalten ||| # vorenthalten
+daschle ||| # daschle
+obamas ||| # obamas
+wunschkandidat ||| # wunsch kandidat
+gesundheitsministerium ||| ((('#',0,1),),(('gesundheit',0,1),('gesundheits',0,1),),(('ministerium',0,1),),)
+schuldete ||| # schuldete
+begleichung ||| # begleichung
+feststand ||| ((('#',0,1),),(('fest',0,1),('feststand',0,2),),(('stand',0,1),),)
+tatsächlich ||| # tatsächlich
+regierung ||| # regierung
+aufrücken ||| # aufrücken
+übergelaufen ||| ((('#',0,1),),(('über',0,1),('übergelaufen',0,2),),(('gelaufen',0,1),),)
+proteststurm ||| # protest sturm
+handtuch ||| ((('#',0,1),),(('hand',0,1),('handtuch',0,2),),(('tuch',0,1),),)
+konzentrationslager ||| ((('#',0,1),),(('konzentration',0,1),('konzentrations',0,1),),(('lager',0,1),),)
+entwicklungspolitik ||| ((('#',0,1),),(('entwicklung',0,1),('entwicklungs',0,1),),(('politik',0,1),),)
+zeitungsbericht ||| ((('#',0,1),),(('zeitung',0,1),('zeitungs',0,1),),(('bericht',0,1),),)
+managergehälter ||| # manager gehälter
+begrenzen ||| # begrenzen
+unternehmen ||| # unternehmen
+staatshilfen ||| ((('#',0,1),),(('staat',0,1),('staats',0,1),),(('hilfen',0,1),),)
+bescheidener ||| # bescheidener
+präsidenten ||| # präsidenten
+gehaltsobergrenze ||| ((('#',0,1),),(('gehalt',0,1),('gehalts',0,1),),(('ober',0,1),('obergrenze',0,2),),(('grenze',0,1),),)
+sonnensystems ||| # sonnen systems
+kreist ||| # kreist
+erdähnlicher ||| # erd ähnlicher
+planet ||| # planet
+exoplanet ||| ((('#',0,1),),(('exo',0,1),('exoplanet',0,2),),(('planet',0,1),),)
+durchbruch ||| ((('#',0,1),),(('durch',0,1),('durchbruch',0,2),),(('bruch',0,1),),)
+fremden ||| # fremden
+ulrich ||| # ulrich
+schnabel ||| # schnabel
+kulturgeschichte ||| # kultur geschichte
+milchwirtschaft ||| # milch wirtschaft
+menschen ||| # menschen
+geschäftsführung ||| ((('#',0,1),),(('geschäft',0,1),('geschäfts',0,1),),(('führung',0,1),),)
+zuständigen ||| # zuständigen
+amtsgericht ||| ((('#',0,1),),(('amt',0,1),('amts',0,1),),(('gericht',0,1),),)
+göppingen ||| # göppingen
+antrag ||| # antrag
+eröffnung ||| # eröffnung
+insolvenzverfahrens ||| # insolvenz verfahrens
+dieter ||| # dieter
+ausgewählte ||| # ausgewählte
+informationsangebote ||| ((('#',0,1),),(('information',0,1),('informations',0,1),),(('angebote',0,1),),)
+deutschen ||| # deutschen
+vereinfacht ||| # vereinfacht
+vokabelglossar ||| # vokabel glossar
+gewaltige ||| # gewaltige
+haushohe ||| # haushohe
+segler ||| # segler
+oktober ||| # oktober
+gibraltar ||| # gibraltar
+verschwand ||| # verschwand
+verfügte ||| # verfügte
+bronzekanonen ||| # bronze kanonen
+tonnen ||| # tonnen
+portugiesischer ||| # portugiesischer
+goldmünzen ||| # gold münzen
+kaufleute ||| # kauf leute
+schätzungen ||| # schätzungen
+vergangenen ||| # vergangenen
+millionen ||| # millionen
+schiffe ||| # schiffe
+meeresgrund ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('grund',0,1),),)
+unterschiedliche ||| # unterschiedliche
+wasserfahrzeuge ||| # wasser fahrzeuge
+kriegsschiffe ||| ((('#',0,1),),(('krieg',0,1),('kriegs',0,1),),(('schiffe',0,1),),)
+passagierdampfer ||| # passagier dampfer
+handelsflotten ||| ((('#',0,1),),(('handel',0,1),('handels',0,1),),(('flotten',0,1),),)
+piratenboote ||| ((('#',0,1),),(('pirate',0,1),('piraten',0,1),),(('boote',0,1),),)
+tanker ||| # tanker
+großbritannien ||| # groß britannien
+ältesten ||| # ältesten
+seefahrernationen ||| ((('#',0,1),),(('see',0,1),('seefahrer',0,2),),(('fahrer',0,1),),(('nationen',0,1),),)
+auffassung ||| # auffassung
+marinehistoriker ||| # marine historiker
+irgendein ||| # irgendein
+anderes ||| # anderes
+allein ||| # allein
+havarierten ||| # havarierten
+registrierte ||| # registrierte
+schiffe ||| # schiffe
+küstennähe ||| ((('#',0,1),),(('küste',0,1),('küsten',0,1),),(('nähe',0,1),),)
+ortung ||| # ortung
+victory ||| # victory
+amerikanisches ||| # amerikanisches
+bergungsunternehmen ||| ((('#',0,1),),(('bergung',0,1),('bergungs',0,1),),(('unternehmen',0,1),),)
+wichtigsten ||| # wichtigsten
+meeresfunde ||| ((('#',0,1),),(('meer',0,1),('meeres',0,1),),(('funde',0,1),),)
+geschichte ||| # geschichte
+entdeckern ||| # entdeckern
+historisches ||| # historisches
+kriegsboot ||| ((('#',0,1),),(('krieg',0,1),('kriegs',0,1),),(('boot',0,1),),)
+jahrhundert ||| # jahrhundert
+tausend ||| # tausend
+untergegangenen ||| ((('#',0,1),),(('unter',0,1),('untergegangenen',0,2),),(('gegangenen',0,1),),)
+schiffen ||| # schiffen
+kostbarsten ||| # kostbarsten
+schätzen ||| # schätzen
+entdeckung ||| # entdeckung
+warten ||| # warten
+tauchjagd ||| # tauch jagd
+Überreste ||| # Überreste
+längst ||| # längst
+vergangener ||| # vergangener
+epochen ||| # epochen
+länder ||| # länder
+streiten ||| # streiten
+schiffsfriedhöfe ||| ((('#',0,1),),(('schiff',0,1),('schiffs',0,1),),(('friedhöfe',0,1),),)
+tauchjagd ||| # tauch jagd
+schatzjäger ||| # schatz jäger
+moderne ||| # moderne
+technik ||| # technik
+jahrhundertealte ||| # jahrhunderte alte
+wracks ||| # wracks
+geheimnisse ||| # geheimnisse
+besitzrechte ||| # besitz rechte
+wahrscheinlichkeit ||| # wahrscheinlichkeit
+minimaltemperatur ||| # minimal temperatur
+winterhalbjahr ||| ((('#',0,1),),(('winter',0,1),),(('halb',0,1),('halbjahr',0,2),),(('jahr',0,1),),)
+celsius ||| # celsius
+durchschnittliche ||| # durchschnittliche
+sommerhalbjahr ||| ((('#',0,1),),(('sommer',0,1),),(('halb',0,1),('halbjahr',0,2),),(('jahr',0,1),),)
+maximaltemperatur ||| # maximal temperatur
+kreuzungsversuche ||| ((('#',0,1),),(('kreuzung',0,1),('kreuzungs',0,1),),(('versuche',0,1),),)
+erbsenpflanzen ||| ((('#',0,1),),(('erbsen',0,1),('erbse',0,1),),(('pflanzen',0,1),),)
+klostergarten ||| # kloster garten
+befruchtungen ||| # befruchtungen
+zehntausende ||| # zehn tausende
+pflanzenhybriden ||| ((('#',0,1),),(('pflanze',0,1),('pflanzen',0,1),),(('hybriden',0,1),),)
+fleißaufgabe ||| ((('#',0,1),),(('fleiß',0,1),('fleißaufgabe',0,2),),(('aufgabe',0,1),),)
+ungewöhnliche ||| # ungewöhnliche
+hartnäckigkeit ||| # hartnäckigkeit
+naturforschers ||| # natur forschers
+innenminister ||| # innen minister
+verbreitete ||| # verbreitete
+falschinformationen ||| # falsch informationen
+analysen ||| # analysen
+hintergründe ||| # hintergründe
+menschen ||| # menschen
+gekostet ||| # gekostet
+hunderte ||| # hunderte
+wurden ||| # wurden
+verletzt ||| # verletzt
+containerschiff ||| # container schiff
+unfall ||| # unfall
+umweltdesaster ||| # umwelt desaster
+australien ||| # australien
+größer ||| # größer
+bisher ||| # bisher
+befürchtet ||| # befürchtet
+containerschiff ||| # container schiff
+unfall ||| # unfall
+australien ||| # australien
+deutlich ||| # deutlich
+schweröl ||| # schweröl
+zunächst ||| # zunächst
+angenommen ||| # angenommen
+freitag ||| # freitag
+schwappte ||| # schwappte
+schwarze ||| # schwarze
+flüssigkeit ||| # flüssigkeit
+strände ||| # strände
+kilometern ||| # kilometern
+kapitän ||| # kapitän
+langen ||| # langen
+pacific ||| # pacific
+adventurer ||| # adventurer
+hongkong ||| # hong kong
+verlust ||| # verlust
+zunächst ||| # zunächst
+tonnen ||| # tonnen
+angegeben ||| # angegeben
+regierungschef ||| ((('#',0,1),),(('regierung',0,1),('regierungs',0,1),),(('chef',0,1),),)
+queensland ||| # queensland
+samstag ||| # samstag
+kapitän ||| # kapitän
+vortag ||| # vortag
+vertuschung ||| # vertuschung
+vorgeworfen ||| # vorgeworfen
+mittwoch ||| # mittwoch
+containerschiff ||| # container schiff
+naturreservate ||| # natur reservate
+touristenstrände ||| # touristen strände
+ostküste ||| # ost küste
+nördlich ||| # nördlich
+brisbane ||| # brisbane
+bestechungsversuch ||| ((('#',0,1),),(('bestechungs',0,1),('bestechung',0,1),),(('versuch',0,1),),)
+campingkocher ||| # camping kocher
+später ||| # später
+ermöglichte ||| # ermöglichte
+verstärkte ||| # verstärkte
+integration ||| # integration
+funktechnik ||| # funk technik
+mobiltelefone ||| # mobil telefone
+aktenkoffers ||| ((('#',0,1),),(('akten',0,1),('aktenkoffers',0,2),),(('koffers',0,1),),)
+vorstufe ||| # vorstufe
+bedrohlich ||| # bedrohlich
+anstieg ||| # anstieg
+kohlendioxids ||| ((('#',0,1),),(('kohle',0,1),('kohlen',0,1),),(('dioxids',0,1),),)
+computermodelle ||| # computer modelle
+hauptbahnhof ||| # haupt bahnhof
+hauptziel ||| # haupt ziel
+hauptunterschied ||| # haupt unterschied
+überhaupt ||| # überhaupt
+schützen ||| # schützen
+welchem ||| # welchem
+climategate ||| ((('#',0,1),),(('climate',0,1),('climategate',0,2),),(('gate',0,1),),)
+genannte ||| # genannte
+skandal ||| # skandal
+britische ||| # britische
+forschungsinstitut ||| ((('#',0,1),),(('forschung',0,1),('forschungs',0,1),),(('institut',0,1),),)
+climate ||| # climate
+research ||| # research
+folgenschwerste ||| ((('#',0,1),),(('folgenschwerste',0,2),('folgen',0,1),('folge',0,1),),(('schwerste',0,1),),)
+wissenschaftsdebatte ||| ((('#',0,1),),(('wissenschaft',0,1),('wissenschafts',0,1),),(('debatte',0,1),),)
+unserer ||| # unserer
+erneut ||| # erneut
+computerhacker ||| # computer hacker
+hatten ||| # hatten
+instituts ||| # instituts
+gestohlen ||| # gestohlen
+veröffentlicht ||| # veröffentlicht
+forscher ||| # forscher
+manipulierten ||| # manipulierten
+prognose ||| # prognose
+baldigen ||| # baldigen
+erwärmung ||| # erwärmung
+passten ||| # passten
+andersdenkende ||| # anders denkende
+wissenschaftler ||| # wissenschaftler
+wurden ||| # wurden
+gezielt ||| # gezielt
+diffamiert ||| # diffamiert
+wichtigsten ||| # wichtigsten
+datenlieferanten ||| # daten lieferanten
+weltklimarats ||| # welt klima rats
+wesentlichen ||| # wesentlichen
+fraktionen ||| # fraktionen
+debatte ||| # debatte
+herrschende ||| # herrschende
+schule ||| # schule
+vertreten ||| # vertreten
+repräsentiert ||| # repräsentiert
+mehrheit ||| # mehrheit
+wissenschaftler ||| # wissenschaftler
+führender ||| # führender
+stelle ||| # stelle
+stehen ||| # stehen
+forscher ||| # forscher
+klimamodelle ||| # klimamodelle
+entwickeln ||| # entwickeln
+computersimulationen ||| # computer simulationen
+künftige ||| # künftige
+errechnen ||| # errechnen
+sollen ||| # sollen
+hauptverantwortlichen ||| # haupt verantwortlichen
+prognostizierte ||| # prognostizierte
+erwärmung ||| # erwärmung
+menschen ||| # menschen
+zusätzlich ||| # zusätzlich
+natürlichen ||| # natürlichen
+geschehen ||| # geschehen
+verursachte ||| # verursachte
+ermittelt ||| # ermittelt
+spatenstich ||| # spaten stich
+teuersten ||| # teuersten
+kirchenneubau ||| # kirche neu bau
+ostdeutschlands ||| # ost deutschlands
+erfolgen ||| # erfolgen
+rumänien ||| # rumänien 
+empört ||| # empört
+berlin ||| # berlin
+rumänische ||| # rumänische
+regierung ||| # regierung
+empört ||| # empört
+ankündigung ||| # ankündigung
+deutschlands ||| # deutschlands
+frankreichs ||| # frankreichs
+beitritt ||| # beitritt
+rumäniens ||| # rumäniens
+bulgariens ||| # bulgariens
+schengen ||| # schengen
+nicht ||| # nicht
+zuzustimmen ||| # zuzustimmen
+bukarest ||| # bukarest
+informationen ||| # informationen
+verletzung ||| # verletzung
+vertrags ||| # vertrags
+lissabon ||| # lissabon
+rumänischer ||| # rumänischer
+zollbeamter ||| ((('#',0,1),),(('zoll',0,1),('zollbeamter',0,2),),(('beamter',0,1),),)
+grenze ||| # grenze
+zwischen ||| # zwischen
+rumänien ||| # rumänien
+republik ||| # republik
+moldau ||| # moldau
+dezember ||| # dezember
+regierung ||| # regierung
+bukarest ||| # bukarest
+empört ||| # empört
+treten ||| # treten
+kontrollen ||| # kontrollen
+grenzen ||| # grenzen
+rumänien ||| # rumänien
+bulgarien ||| # bulgarien
+solange ||| # solange
+beizubehalten ||| # beizubehalten
+länder ||| # länder
+unumkehrbare ||| # unumkehrbare
+fortschritte ||| # fortschritte
+korruption ||| # korruption
+organisierte ||| # organisierte
+kriminalität ||| # kriminalität
+vorweisen ||| # vorweisen
+bukarest ||| # bukarest
+informationen ||| # informationen
+dieser ||| # dieser
+zeitung ||| # zeitung
+überlegt ||| # überlegt
+vertragsverletzung ||| ((('#',0,1),),(('vertrag',0,1),('vertrags',0,1),),(('verletzung',0,1),),)
+einzureichen ||| # einzureichen
+sollten ||| # sollten
+deutschland ||| # deutschland
+frankreich ||| # frankreich
+haltung ||| # haltung
+durchsetzen ||| # durchsetzen
+rumäniens ||| # rumäniens
+außenministerium ||| ((('#',0,1),),(('außen',0,1),),(('ministerium',0,1),),)
+spricht ||| # spricht
+unannehmbaren ||| # unannehmbaren
+präzedenzfall ||| ((('#',0,1),),(('präzedenzfall',0,2),('präzedenz',0,1),),(('fall',0,1),),)
+sondern ||| # sondern
+staatspräsident ||| ((('#',0,1),),(('staatspräsident',0,2),('staats',0,1),('staat',0,1),),(('präsident',0,1),),)
+georgi ||| # georgi
+parwanow ||| # parwanow
+verständnis ||| # verständnis
+bulgarien ||| # bulgarien
+verstehen ||| # verstehen
+auflagen ||| # auflagen
+erfüllen ||| # erfüllen
+eigentliche ||| # eigentliche
+erklärung ||| # erklärung
+verzögerung ||| # verzögerung
+mittwoch ||| # mittwoch
+haltung ||| # haltung
+hintergrund ||| # hintergrund
+streits ||| # streits
+regierung ||| # regierung
+ministerpräsident ||| ((('#',0,1),),(('minister',0,1),),(('präsident',0,1),),)
+grenzkontrollen ||| ((('#',0,1),),(('grenz',0,1),),(('kontrollen',0,1),),)
+entfallen ||| # entfallen
+zweiten ||| # zweiten
+weltkrieg ||| ((('#',0,1),),(('welt',0,1),('weltkrieg',0,2),),(('krieg',0,1),),)
+versteckte ||| # versteckte
+abwehr ||| # abwehr
+admirals ||| # admirals
+canaris ||| # canaris
+sprengsätze ||| # sprengsätze
+apfelsinenkisten ||| ((('#',0,1),),(('apfelsinen',0,1),('apfelsine',0,1),),(('kisten',0,1),),)
+britische ||| # britische
+hafenarbeiter ||| ((('#',0,1),),(('hafen',0,1),),(('arbeiter',0,1),),)
+weigerten ||| # weigerten
+schiffe ||| # schiffe
+entladen ||| # entladen
+zeiten ||| # zeiten
+griechischen ||| # griechischen
+militärdiktatur ||| ((('#',0,1),),(('militär',0,1),),(('diktatur',0,1),),)
+warnte ||| # warnte
+widerstandsgruppe ||| ((('#',0,1),),(('widerstand',0,1),('widerstands',0,1),),(('gruppe',0,1),),)
+pfirsiche ||| # pfirsiche
+aprikosen ||| # aprikosen
+vergiftet ||| # vergiftet
+kuklina ||| # kuklina
+trägerin ||| # trägerin
+alternativen ||| # alternativen
+nobelpreis ||| ((('#',0,1),),(('nobel',0,1),),(('preis',0,1),),)
+kämpft |||  # kämpft
+rechte ||| # rechte
+soldaten ||| # soldaten
+russlands ||| # russlands
+online ||| # online
+sprach ||| # sprach
+menschenrechte ||| ((('#',0,1),),(('menschen',0,1),('mensch',0,1),),(('rechte',0,1),),)
+heimat ||| # heimat
+kaufrausch ||| ((('#',0,1),),(('kauf',0,1),),(('rausch',0,1),),)
+kommerzialisierung ||| # kommerzialisierung
+weihnachten ||| # weihnachten
+funktioniert ||| # funktioniert
+zittert ||| # zittert
+wikileaks ||| # wikileaks
+verfassungsgericht ||| ((('#',0,1),),(('verfassung',0,1),('verfassungs',0,1),),(('gericht',0,1),),)
+berlusconis ||| # berlusconis
+immunität ||| # immunität
+teilweise ||| # teilweise
+zinspolitik ||| # zins politik
+trichet ||| # trichet
+inflation ||| # inflation
+eurozone ||| ((('#',0,1),),(('euro',0,1),('eurozone',0,2),),(('zone',0,1),),)
+effektive ||| # effektive
+kontrolle ||| # kontrolle
+futtermittelindustrie ||| # futtermittel industrie
+deutschland ||| # deutschland
+verspielt ||| # verspielt
+regierung ||| # regierung
+vertrauen ||| # vertrauen
+westerwelle ||| # westerwelle
+abzugsdatum ||| ((('#',0,1),),(('abzugs',0,1),('abzug',0,1),),(('datum',0,1),),)
+ghettoblaster ||| # ghetto blaster
+unserem ||| # unserem
+alltag ||| # alltag
+verschwunden ||| # verschwunden
+trotzdem ||| # trotzdem
+ikonen ||| # ikonen
+jugendkultur ||| # jugend kultur
+tatsächlich ||| # tatsächlich
+deuten ||| # deuten
+hochrechnungen ||| # hochrechnungen
+mckinsey ||| # mckinsey
+company ||| # company
+darauf ||| # darauf
+kaufkraft ||| # kauf kraft
+dieser ||| # dieser
+aufstrebenden ||| # aufstrebenden
+mittelschicht ||| # mittel schicht
+nächsten ||| # nächsten
+jahrzehnts ||| # jahrzehnts
+billionen ||| # billionen
+dollar ||| # dollar
+anwachsen ||| # anwachsen
+könnte ||| # könnte
+doppelt ||| # doppelt
+aktuellen ||| # aktuellen
+erbrauchsniveau ||| ((('#',0,1),),(('erbrauch',0,1),('erbrauchs',0,1),),(('niveau',0,1),),)
+vereinigten ||| # vereinigten
+staaten ||| # staaten
+größten ||| # größten
+schwellenländer ||| ((('#',0,1),),(('schwellen',0,1),('schwelle',0,1),),(('länder',0,1),),)
+brasilien ||| # brasilien
+russland ||| # russland
+indien ||| # indien
+frühstück ||| # frühstück
+fortschritt ||| # fortschritt
+frühstückstisch ||| ((('#',0,1),),(('frühstück',0,1),('frühstücks',0,1),),(('tisch',0,1),),)
+unserer ||| # unserer
+familie ||| # familie
+vielen ||| # vielen
+jahren ||| # jahren
+tageszeitung ||| ((('#',0,1),),(('tag',0,1),('tages',0,1),),(('zeitung',0,1),),)
+washington ||| # washington
+wahlschlacht ||| # wahl schlacht
+letzte ||| # letzte
+milliarden ||| # milliarden
+dollar ||| # dollar
+sollen ||| # sollen
+wahlkämpfer ||| # wahlkämpfer
+bislang ||| # bislang
+kampagnen ||| # kampagnen
+ausgegeben ||| # ausgegeben
+abstimmung ||| # abstimmung
+mobilisieren ||| # mobilisieren
+letzten ||| # letzten
+reserven ||| # reserven
+wähler ||| # wähler
+bekommen ||| # bekommen
+herausforderer ||| # herausforderer
+herausforederung ||| # herausforderung
+herauseforderungen ||| # herauseforderungen
+romney ||| # romney
+kündigte ||| # kündigte
+wahltag ||| # wahltag
+selbst ||| # selbst
+mehreren ||| # mehreren
+bundesstaaten ||| # bundesstaaten
+aufzutreten ||| # aufzutreten
+ursprünglich ||| # ursprünglich
+abschlussveranstaltung ||| # abschluss veranstaltung
+montagabend ||| # montag abend
+vorgesehen ||| # vorgesehen
+schließung ||| # schließung
+wahllokale ||| # wahl lokale
+stimmen ||| # stimmen
+werben ||| # werben
+sprecher ||| # sprecher
+wahlkampfteams ||| # wahlkampf teams
+pennsylvania ||| # pennsylvania
+natürlich ||| # natürlich
+schicksalstaat ||| # schicksal staat
+republikaner ||| # republikaner
+präsident ||| # präsident
+geworden ||| # geworden
+gewonnen ||| # gewonnen
+auswertung ||| # auswertung
+portals ||| # portals
+national ||| # national
+sieben ||| # sieben
+november ||| # november
+umfragen ||| # umfragen
+meistumkämpfte ||| # meist umkämpfte
+mehrheit ||| # mehrheit
+feststeht ||| # feststeht
+wahlkämpfer ||| # wahlkämpfer
+besonders ||| # besonders
+relevant ||| # relevant
+direkt ||| # direkt
+gewählt ||| # gewählt
+präsident ||| # präsident
+wahlmännergremium ||| # wahlmänner gremium
+spiegeln ||| # spiegeln
+ergebnisse ||| # ergebnisse
+einzelnen ||| # einzelnen
+bundesstaaten ||| # bundesstaaten
+präsident ||| # präsident
+letzten ||| # letzten
+seiner ||| # seiner
+kampagne ||| # kampagne
+vorgelegt ||| # vorgelegt
+rocklegende ||| # rock legende
+springsteen ||| # springsteen
+botschafter ||| # botschafter
+seiner ||| # seiner
+kampagne ||| # kampagne
+wisconsin ||| # wisconsin
+dankte ||| # dankte
+präsidenten ||| # präsidenten
+während ||| # während
+konzerts ||| # konzerts
+gesundheitsreform ||| ((('#',0.0,1),),(('gesundheits',0.0,1),('gesundheit',0.0,1),),(('reform',0.0,1),),)
+regulierung ||| # regulierung
+street ||| # street
+später ||| # später
+auftritte ||| # auftritte
+natürlich ||| # natürlich
+summen ||| # summen
+vibrieren ||| # vibrieren
+duftstoffe ||| ((('#',0.0,1),),(('duftstoffe',0.0,2),('duft',0.0,1),),(('stoffe',0.0,1),),)
+echten ||| # echten
+verströmen ||| # verströmen
+roboterbiene ||| # roboter biene
+entwickelt ||| # entwickelt
+wissenschaftlern ||| # wissenschaftlern
+freien ||| # freien
+universität ||| # universität
+berlin ||| # berlin
+künstlichen ||| # künstlichen
+insekt ||| # insekt
+wollen ||| # wollen
+forscher ||| # forscher
+futterquellen ||| # futter quellen
+lotsen ||| # lotsen
+geheimnis ||| # geheimnis
+bienentanzes ||| # biene tanzes
+entschlüsseln ||| # entschlüsseln
+klimawandel ||| # klima wandel
+empörend ||| # empörend
+ernannt ||| # ernannt
+wirtschaftliche ||| # wirtschaftliche
+offiziell ||| # offiziell
+abgefangen ||| # abgefangen
+abgehört ||| # abgehört
+abgehört ||| # abgehört
+abgeschafft ||| # abgeschafft
+abgesetzt ||| # abgesetzt
+abhängen ||| # abhängen
+abhöraktion ||| # abhör aktion
+abhörsichere ||| # abhör sichere
+abkommen ||| # abkommen
+absage ||| # absage
+abschaffung ||| # abschaffung
+affronts ||| # affronts
+agenten ||| # agenten
+aktion ||| # aktion
+aktivisten ||| # aktivisten
+aktivisten ||| # aktivisten
+alexander ||| # alexander
+alledem ||| # alledem
+allgemeine ||| # allgemeine
+amerikaner ||| # amerikaner
+amtsübergabe ||| ((('#',0,1),),(('amts',0,1),('amt',0,1),),(('übergabe',0,1),),)
+analysiert ||| # analysiert
+anderen ||| # anderen
+anderen ||| # anderen
+anderer ||| # anderer
+anderes ||| # anderes
+andernfalls ||| # andernfalls
+anders ||| # anders
+anders ||| # anders
+anfangen ||| # anfangen
+anführer ||| # anführer
+anführer ||| # anführer
+angeblich ||| # angeblich
+angeblich ||| # angeblich
+angela ||| # angela
+anklopft ||| # anklopft
+anspruch ||| # anspruch
+anspruch ||| # anspruch
+antreten ||| # antreten
+antworten ||| # antworten
+arbeitet ||| # arbeitet
+argwöhnisch ||| # argwöhnisch
+atomvertrag ||| # atom vertrag
+aufbewahrt ||| # aufbewahrt
+aufgehen ||| # aufgehen
+aufgezeichnet ||| # aufgezeichnet
+aufhören ||| # aufhören
+aufklärung ||| # aufklärung
+aufklärung ||| # aufklärung
+aufklärungsarbeit ||| ((('#',0,1),),(('aufklärungs',0,1),('aufklärung',0,1),),(('arbeit',0,1),),)
+aufzeichnete ||| # aufzeichnete
+auseinandersetzung ||| # auseinandersetzung
+ausforschungsprogramm ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('programm',0,1),),)
+ausforschungstechniken ||| ((('#',0,1),),(('ausforschungs',0,1),('ausforschung',0,1),),(('techniken',0,1),),)
+ausgewählten ||| # ausgewählten
+auslöser ||| # auslöser
+auslöser ||| # auslöser
+ausmacht ||| # ausmacht
+ausmacht ||| # ausmacht
+ausmaß ||| # ausmaß
+ausprobieren ||| # ausprobieren
+ausprobiert ||| # ausprobiert
+ausrufezeichen ||| # ausrufezeichen
+autokrat ||| # autokrat
+autorität ||| # autorität
+außenminister ||| # außen minister
+außenministerium ||| # außen ministerium
+außenpolitischen ||| # außen politischen
+außenpolitischen ||| # außenpolitischen
+barack ||| # barack
+barmherzig ||| # barmherzig
+bedankte ||| # bedankte
+bedeutet ||| # bedeutet
+bedeutung ||| # bedeutung
+befürchtet ||| # befürchtet
+beginn ||| # beginn
+behauptet ||| # behauptet
+beiden ||| # beiden
+beides ||| # beides
+beiseiteschieben ||| # beiseite schieben
+beispielsweise ||| # beispielsweise
+bekanntwerden ||| # bekannt werden
+belauschen ||| # belauschen
+belauscht ||| # belauscht
+belege ||| # belege
+benötigt ||| # benötigt
+bereits ||| # bereits
+bericht ||| # bericht
+bericht ||| # bericht
+berichtet ||| # berichtet
+berlin ||| # berlin
+berliner ||| # berliner
+berufung ||| # berufung
+beschränkt ||| # beschränkt
+besetzen ||| # besetzen
+besetzt ||| # besetzt
+besonders ||| # besonders
+besorgt ||| # besorgt
+besser ||| # besser
+besser ||| # besser
+bestehen ||| # bestehen
+bestellt ||| # bestellt
+bestimmen ||| # bestimmen
+bestätigen ||| # bestätigen
+bestätigt ||| # bestätigt
+betrachtet ||| # betrachtet
+betritt ||| # betritt
+beunruhigend ||| # beunruhigend
+bewundern ||| # bewundern
+bewusstzuwerden ||| # bewusstzuwerden
+beziehungen ||| # beziehungen
+beäugen ||| # beäugen
+bieten ||| # bieten
+billigte ||| # billigte
+bisher ||| # bisher
+botschaft ||| # botschaft
+botschaft ||| # botschaft
+brandenburger ||| # brandenburger
+brandenburger ||| # brandenburger
+brauchen ||| # brauchen
+brauchen ||| # brauchen
+braucht ||| # braucht
+braucht ||| # braucht
+bundespräsident ||| # bundespräsident
+bundeswehr ||| # bundeswehr
+bändigen ||| # bändigen
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürger ||| # bürger
+bürgerkrieg ||| # bürger krieg
+bürgerlichen ||| # bürgerlichen
+bürgerrechte ||| # bürger rechte
+bürgerrechte ||| # bürger rechte
+bürgerrechten ||| # bürger rechten
+channel ||| # channel
+chefin ||| # chefin
+chinesen ||| # chinesen
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+chodorkowski ||| # chodorkowski
+dachte ||| # dachte
+damals ||| # damals
+damals ||| # damals
+damals ||| # damals
+danach ||| # danach
+danach ||| # danach
+darauf ||| # darauf
+darauf ||| # darauf
+darauf ||| # darauf
+dauern ||| # dauern
+definitionen ||| # definitionen
+demnach ||| # demnach
+demokratie ||| # demokratie
+demokratische ||| # demokratische
+demokratische ||| # demokratische
+demokratischen ||| # demokratischen
+denken ||| # denken
+derweil ||| # derweil
+derzeit ||| # derzeit
+deshalb ||| # deshalb
+dessen ||| # dessen
+dessen ||| # dessen
+deutsche ||| # deutsche
+deutschen ||| # deutschen
+deutscher ||| # deutscher
+dezentralisiert ||| # dezentralisiert
+diesem ||| # diesem
+diesem ||| # diesem
+diesem ||| # diesem
+diesem ||| # diesem
+diesen ||| # diesen
+diesen ||| # diesen
+dieser ||| # dieser
+dieser ||| # dieser
+dieser ||| # dieser
+dimension ||| # dimension
+direkt ||| # direkt
+direkt ||| # direkt
+dossier ||| # dossier
+dreckiges ||| # dreckiges
+dringlichkeit ||| # dringlichkeit
+drucken ||| # drucken
+drängen ||| # drängen
+durcheinander ||| # durcheinander
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+edward ||| # edward
+eigenes ||| # eigenes
+eindrückliche ||| # eindrückliche
+eindrücklichen ||| # eindrücklichen
+einfach ||| # einfach
+einfach ||| # einfach
+eingeräumt ||| # eingeräumt
+einmal ||| # einmal
+einschnitt ||| # einschnitt
+einsichten ||| # einsichten
+einzelnen ||| # einzelnen
+element ||| # element
+element ||| # element
+elemente ||| # elemente
+eltern ||| # eltern
+eltern ||| # eltern
+empfangen ||| # empfangen
+endgültig ||| # endgültig
+englischen ||| # englischen
+englischen ||| # englischen
+enthüllungen ||| # enthüllungen
+enthüllungen ||| # enthüllungen
+entlässt ||| # entlässt
+entmachtet ||| # entmachtet
+entscheiden ||| # entscheiden
+entscheidende ||| # entscheidende
+entscheidet ||| # entscheidet
+entscheidungen ||| # entscheidungen
+entstanden ||| # entstanden
+entstehen ||| # entstehen
+entwickeln ||| # entwickeln
+entwickeln ||| # entwickeln
+entwickeln ||| # entwickeln
+episode ||| # episode
+epochalen ||| # epochalen
+erfahren ||| # erfahren
+erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
+erfolgsgeschichten ||| ((('#',0,1),),(('erfolgs',0,1),('erfolg',0,1),),(('geschichten',0,1),),)
+ergebnissen ||| # ergebnissen
+erhalten ||| # erhalten
+erhielt ||| # erhielt
+erinnern ||| # erinnern
+erkenntnisse ||| # erkenntnisse
+erneut ||| # erneut
+ernstfall ||| # ernstfall
+erscheint ||| # erscheint
+ersetzt ||| # ersetzt
+erstickt ||| # erstickt
+erstmals ||| # erstmals
+erwachsen ||| # erwachsen
+erweitert ||| # erweitert
+europäer ||| # europäer
+ewigen ||| # ewigen
+existiert ||| # existiert
+februar ||| # februar
+februar ||| # februar
+fehler ||| # fehler
+felder ||| # felder
+fernsehen ||| # fernsehen
+festgehalten ||| # festgehalten
+festnetzanschluss ||| # festnetzanschluss
+festnetzanschluss ||| # festnetzanschluss
+finden ||| # finden
+finden ||| # finden
+fliehen ||| # fliehen
+forbes ||| # forbes
+frankfurter ||| # frankfurter
+freien ||| # freien
+freiheit ||| # freiheit
+freiheit ||| # freiheit
+freiheit ||| # freiheit
+freiheiten ||| # freiheiten
+freilassung ||| # freilassung
+freilassung ||| # freilassung
+freilich ||| # freilich
+freiräume ||| # freiräume
+freundschaftlichen ||| # freundschaftlichen
+funktionieren ||| # funktionieren
+fußball ||| # fußball
+führer ||| # führer
+führten ||| # führten
+gaucks ||| # gaucks
+geachtet ||| # geachtet
+gearbeitet ||| # gearbeitet
+geborenes ||| # geborenes
+gedanken ||| # gedanken
+geeint ||| # geeint
+gefahr ||| # gefahr
+gefangenen ||| # gefangenen
+gefragt ||| # gefragt
+gefragt ||| # gefragt
+gefängnisse ||| # gefängnisse
+geführt ||| # geführt
+gegeneinander ||| # gegeneinander
+gegenleistung ||| # gegenleistung
+gegenteil ||| # gegenteil
+gegenüber ||| # gegenüber
+gehalten ||| # gehalten
+dienstleistung ||| # dienstleistung
+dienstleistungen ||| # dienstleistungen
+geheimdienst ||| # geheim dienst
+geheimdienste ||| # geheim dienste
+geheimdienstes ||| # geheim dienstes
+geheimdienstkreise ||| # geheim dienst kreise
+geheimdiensttruppe ||| # geheim dienst truppe
+geheimdienstzentrale ||| # geheim dienst zentrale
+geheime ||| # geheime
+geheimoperation ||| # geheim operation
+gehört ||| # gehört
+geknackt ||| # geknackt
+geknackt ||| # geknackt
+gemacht ||| # gemacht
+genfer ||| # genfer
+genutzt ||| # genutzt
+geordnet ||| # geordnet
+george ||| # george
+gerhard ||| # gerhard
+gerichten ||| # gerichten
+gesammelt ||| # gesammelt
+geschäftsleute ||| # geschäft leute
+gesellschaft ||| # gesellschaft
+gesellschaft ||| # gesellschaft
+gesellschaft ||| # gesellschaft
+gesellschaftliche ||| # gesellschaftliche
+gesellschaftssystem ||| # gesellschaft system
+gesetze ||| # gesetze
+gesicherten ||| # gesicherten
+gespräch ||| # gespräch
+gestartet ||| # gestartet
+gestellt ||| # gestellt
+gestoppt ||| # gestoppt
+gestoppt ||| # gestoppt
+gewaltig ||| # gewaltig
+gewehrt ||| # gewehrt
+gewesen ||| # gewesen
+gewesen ||| # gewesen
+gewusst ||| # gewusst
+gewählt ||| # gewählt
+gewährte ||| # gewährte
+geändert ||| # geändert
+gingen ||| # gingen
+gingen ||| # gingen
+glauben ||| # glauben
+gleichziehen ||| # gleichziehen
+gnädig ||| # gnädig
+greenpeace ||| # greenpeace
+greenpeace ||| # greenpeace
+greift ||| # greift
+grimmig ||| # grimmig
+gründen ||| # gründen
+gründete ||| # gründete
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+gudkow ||| # gudkow
+halten ||| # halten
+halten ||| # halten
+helfen ||| # helfen
+herauszufinden ||| # herauszufinden
+hinaus ||| # hinaus
+hindurch ||| # hindurch
+hingewiesen ||| # hingewiesen
+hinschauen ||| # hinschauen
+hinzufügen ||| # hinzufügen
+hochrangiger ||| # hochrangiger
+hochrangiger ||| # hochrangiger
+hätten ||| # hätten
+images ||| # images
+indirekt ||| # indirekt
+informationen ||| # informationen
+informationen ||| # informationen
+informationen ||| # informationen
+informationen ||| # informationen
+informiert ||| # informiert
+inhalt ||| # inhalt
+innenpolitisch ||| # innen politisch
+insgesamt ||| # insgesamt
+institut ||| # institut
+instituts ||| # instituts
+interesse ||| # interesse
+internat ||| # internat
+intervention ||| # intervention
+irgendwohin ||| # irgendwohin
+jahren ||| # jahren
+jahrtausends ||| # jahrtausends
+jahrzehnte ||| # jahrzehnte
+januar ||| # januar
+jedenfalls ||| # jedenfalls
+jedenfalls ||| # jedenfalls
+jelzin ||| # jelzin
+jeweiligen ||| # jeweiligen
+joachim ||| # joachim
+jährlich ||| # jährlich
+jüngste ||| # jüngste
+kampfzone ||| # kampf zone
+kandidaten ||| # kandidaten
+kannten ||| # kannten
+kanzler ||| # kanzler
+kanzleramt ||| # kanzleramt
+kanzleramt ||| # kanzleramt
+kanzlerin ||| # kanzlerin
+kanzlerin ||| # kanzlerin
+kanzlerin ||| # kanzlerin
+kanzlers ||| # kanzlers
+kanzlers ||| # kanzlers
+katastrophal ||| # katastrophal
+keinen ||| # keinen
+kinder ||| # kinder
+kinder ||| # kinder
+kleine ||| # kleine
+knackten ||| # knackten
+knalliges ||| # knalliges
+kommen ||| # kommen
+kommen ||| # kommen
+kommen ||| # kommen
+konnte ||| # konnte
+konnte ||| # konnte
+konnten ||| # konnten
+konsultation ||| # konsultation
+kontrollieren ||| # kontrollieren
+kontrollorgane ||| # kontroll organe
+korruption ||| # korruption
+kremls ||| # kremls
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kritiker ||| # kritiker
+kunstgriffen ||| # kunst griffen
+kurzum ||| # kurzum
+kämpfer ||| # kämpfer
+können ||| # können
+können ||| # können
+können ||| # können
+können ||| # können
+können ||| # können
+könnte ||| # könnte
+könnten ||| # könnten
+könnten ||| # könnten
+kümmert ||| # kümmert
+kürzlich ||| # kürzlich
+landbevölkerung ||| # land bevölkerung
+landes ||| # landes
+lassen ||| # lassen
+lassen ||| # lassen
+laufen ||| # laufen
+lausch ||| # lausch
+lauschaktivitäten ||| # lausch aktivitäten
+lauschangriff ||| # lausch angriff
+lauschangriff ||| # lausch angriff
+lediglich ||| # lediglich
+leiter ||| # leiter
+letzteren ||| # letzteren
+lewada ||| # lewada
+lewada ||| # lewada
+lieber ||| # lieber
+machen ||| # machen
+machen ||| # machen
+machen ||| # machen
+mannes ||| # mannes
+markiert ||| # markiert
+marktwirtschaft ||| # markt wirtschaft
+massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
+massenüberwachung ||| ((('#',0,1),),(('massen',0,1),('masse',0,1),),(('überwachung',0,1),),)
+medien ||| # medien
+medien ||| # medien
+meinungsforscher ||| # meinung forscher
+meinungsforschungsinstitut ||| # meinung forschung institut
+meinungsforschungsinstituts ||| # meinung forschung instituts
+meiste ||| # meiste
+meisten ||| # meisten
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschen ||| # menschen
+menschlichkeit ||| # menschlichkeit
+menschsein ||| # menschsein
+menschsein ||| ((('#',0,1),),(('menschsein',0,2),('mensch',0,1),),(('sein',0,1),),)
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+merkel ||| # merkel
+michail ||| # michail
+militärintervention ||| # militär intervention
+milliardenkredit ||| # milliarden kredit
+mitarbeiter ||| # mitarbeiter
+mitarbeiter ||| # mitarbeiter
+mitarbeitern ||| # mitarbeitern
+mitarbeiters ||| # mitarbeiters
+mitglieder ||| # mitglieder
+mithalten ||| # mithalten
+mittags ||| # mittags
+mitteilen ||| # mitteilen
+mittwoch ||| # mittwoch
+modernster ||| # modernster
+moment ||| # moment
+moskau ||| # moskau
+musste ||| # musste
+mächtige ||| # mächtige
+mächtigste ||| # mächtigste
+mögliche ||| # mögliche
+möglicher ||| # möglicher
+müssen ||| # müssen
+müssen ||| # müssen
+nachdem ||| # nachdem
+nachrichten ||| # nachrichten
+nannte ||| # nannte
+natürlich ||| # natürlich
+nebenbei ||| # nebenbei
+nehmen ||| # nehmen
+neuesten ||| # neuesten
+neunzigern ||| # neunzigern
+neunzigern ||| # neunzigern
+nichts ||| # nichts
+nichts ||| # nichts
+nichts ||| # nichts
+nichts ||| # nichts
+nichtstaatliche ||| # nicht staatliche
+niemand ||| # niemand
+nominiert ||| # nominiert
+notlage ||| # notlage
+nutzen ||| # nutzen
+nötige ||| # nötige
+obamas ||| # obamas
+oligarchen ||| # oligarchen
+olympischen ||| # olympischen
+olympischen ||| # olympischen
+olympischen ||| # olympischen
+online ||| # online
+operation ||| # operation
+optimistisch ||| # optimistisch
+organisatoren ||| # organisatoren
+parlamentarismus ||| # parlamentarismus
+parlamenten ||| # parlamenten
+partei ||| # partei
+passiert ||| # passiert
+persönlich ||| # persönlich
+plötzlich ||| # plötzlich
+politik ||| # politik
+politiker ||| # politiker
+politisch ||| # politisch
+politische ||| # politische
+politischen ||| # politischen
+politischen ||| # politischen
+polizei ||| # polizei
+positionen ||| # positionen
+positives ||| # positives
+postsowjetischen ||| # post sowjetischen
+potenzielle ||| # potenzielle
+prekären ||| # prekären
+pressekonferenz ||| # presse konferenz
+prinzip ||| # prinzip
+privaten ||| # privaten
+privatheit ||| # privatheit
+privatheit ||| # privatheit
+privatleben ||| # privat leben
+privatleben ||| # privat leben
+problem ||| # problem
+profilseite ||| # profil seite
+prozent ||| # prozent
+prozent ||| # prozent
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsident ||| # präsident
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+präsidenten ||| # präsidenten
+pubertät ||| # pubertät
+punksängerinnen ||| # punk sängerinnen
+putins ||| # putins
+quellennennung ||| # quelle nennung
+radikal ||| # radikal
+reformen ||| # reformen
+regierung ||| # regierung
+regierung ||| # regierung
+regierung ||| # regierung
+regierungschefs ||| # regierung chefs
+regionen ||| # regionen
+reisepläne ||| # reisepläne
+rezitierte ||| # rezitierte
+richter ||| # richter
+riesigen ||| # riesigen
+russen ||| # russen
+russen ||| # russen
+russen ||| # russen
+russen ||| # russen
+russische ||| # russische
+russische ||| # russische
+russischen ||| # russischen
+russischen ||| # russischen
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russland ||| # russland
+russlands ||| # russlands
+russlands ||| # russlands
+schafft ||| # schafft
+schaut ||| # schaut
+schenkt ||| # schenkt
+schließen ||| # schließen
+schlimm ||| # schlimm
+schlüsselstellen ||| # schlüssel stellen
+schmiergelder ||| # schmier gelder
+schrecken ||| # schrecken
+schreibt ||| # schreibt
+schrie ||| # schrie
+schrieb ||| # schrieb
+schritt ||| # schritt
+schritte ||| # schritte
+schröder ||| # schröder
+schröder ||| # schröder
+schröder ||| # schröder
+schröders ||| # schröders
+schwarzen ||| # schwarzen
+schweigen ||| # schweigen
+schützen ||| # schützen
+seinen ||| # seinen
+seinen ||| # seinen
+seiner ||| # seiner
+seiner ||| # seiner
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbst ||| # selbst
+selbstbewusstseins ||| # selbstbewusstseins
+selten ||| # selten
+setzte ||| # setzte
+sicherheit ||| # sicherheit
+sicherung ||| # sicherung
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowden ||| # snowden
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+snowdens ||| # snowdens
+sofort ||| # sofort
+solche ||| # solche
+sommer ||| # sommer
+sommerurlaubsort ||| # sommer urlaub ort
+sondern ||| # sondern
+sondern ||| # sondern
+sondern ||| # sondern
+sonntag ||| # sonntag
+sonntag ||| # sonntag
+sonntagszeitung ||| # sonntag zeitung
+sotschi ||| # sotschi
+sotschi ||| # sotschi
+sotschi ||| # sotschi
+sowjetunion ||| # sowjet union
+spektakel ||| # spektakel
+sperre ||| # sperre
+spezialisten ||| # spezialisten
+spezialisten ||| # spezialisten
+spiegel ||| # spiegel
+spiele ||| # spiele
+spielen ||| # spielen
+spielen ||| # spielen
+spione ||| # spione
+sportereignisse ||| # sport ereignisse
+sportliche ||| # sportliche
+spreche ||| # spreche
+spricht ||| # spricht
+spräche ||| # spräche
+später ||| # später
+später ||| # später
+staaten ||| # staaten
+staatsaufträgen ||| # staat aufträgen
+staatsgewalt ||| ((('#',0,1),),(('staats',0,1),('staat',0,1),),(('gewalt',0,1),),)
+stabilisiert ||| # stabilisiert
+stagniert ||| # stagniert
+starken ||| # starken
+starken ||| # starken
+starker ||| # starker
+starker ||| # starker
+starker ||| # starker
+starten ||| # starten
+stationiert ||| # stationiert
+status ||| # status
+stehen ||| # stehen
+steinmeier ||| # steinmeier
+steinmeier ||| # steinmeier
+steinmeiers ||| # steinmeiers
+straflager ||| # straflager
+ständig ||| # ständig
+stärkt ||| # stärkt
+stärkung ||| # stärkung
+syrischen ||| # syrischen
+system ||| # system
+system ||| # system
+system ||| # system
+system ||| # system
+sämtliche ||| # sämtliche
+sängerinnen ||| # sängerinnen
+sängerinnen ||| # sängerinnen
+sätzen ||| # sätzen
+technik ||| # technik
+teilnahme ||| # teilnahme
+telefonat ||| # telefonat
+telefongespräche ||| # telefon gespräche
+themas ||| # themas
+tragen ||| # tragen
+transparenz ||| # transparenz
+trauen ||| # trauen
+traute ||| # traute
+ukraine ||| # ukraine
+ukraine ||| # ukraine
+umfassendes ||| # umfassendes
+umgang ||| # umgang
+umweltschützer ||| # umwelt schützer
+unabhängige ||| # unabhängige
+unabhängigen ||| # unabhängigen
+unbeobachteten ||| # unbeobachteten
+unmenschlicher ||| # unmenschlicher
+unseren ||| # unseren
+unserer ||| # unserer
+unserer ||| # unserer
+unserer ||| # unserer
+unserer ||| # unserer
+unternehmen ||| # unternehmen
+unterordnen ||| # unterordnen
+unterstützen ||| # unterstützen
+unterstützung ||| # unterstützung
+untersuchten ||| # untersuchten
+verbrachte ||| # verbrachte
+verfahren ||| # verfahren
+vergangenheit ||| # vergangenheit
+vergessene ||| # vergessene
+vergünstigungen ||| # vergünstigungen
+verhinderte ||| # verhinderte
+verhängnisvoller ||| # verhängnisvoller
+verkündet ||| # verkündet
+verlangen ||| # verlangen
+verlassen ||| # verlassen
+verloren ||| # verloren
+vernichtet ||| # vernichtet
+vernichtung ||| # vernichtung
+versichert ||| # versichert
+verspielen ||| # verspielen
+verspielen ||| # verspielen
+verstärkt ||| # verstärkt
+versuchen ||| # versuchen
+vertrauen ||| # vertrauen
+vertraut ||| # vertraut
+vertrauten ||| # vertrauten
+verträglichkeit ||| # verträglichkeit
+verwendet ||| # verwendet
+veränderungen ||| # veränderungen
+veränderungen ||| # veränderungen
+vielen ||| # vielen
+vierten ||| # vierten
+visier ||| # visier
+vollends ||| # vollends
+vorbeischauen ||| # vorbeischauen
+vorgänger ||| # vorgänger
+vorrangig ||| # vorrangig
+vorrecht ||| # vorrecht
+vorstellen ||| # vorstellen
+vorwerfen ||| # vorwerfen
+vorwürfe ||| # vorwürfe
+vorzeitig ||| # vorzeitig
+wahlerfolg ||| # wahlerfolg
+wahljahr ||| # wahljahr
+walter ||| # walter
+washington ||| # washington
+weihnachten ||| # weihnachten
+weihnachtsansprache ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('ansprache',0,1),),)
+weihnachtsbotschaft ||| ((('#',0,1),),(('weihnachts',0,1),('weihnacht',0,1),),(('botschaft',0,1),),)
+weiter ||| # weiter
+weiter ||| # weiter
+weiter ||| # weiter
+weiter ||| # weiter
+weiterarbeiten ||| # weiterarbeiten
+weitere ||| # weitere
+weißen ||| # weißen
+weltöffentlichkeit ||| # welt öffentlichkeit
+wenige ||| # wenige
+wenigen ||| # wenigen
+weniger ||| # weniger
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+werden ||| # werden
+wesentliches ||| # wesentliches
+wesentliches ||| # wesentliches
+westerwelle ||| # westerwelle
+whistleblower ||| ((('#',0,1),),(('whistleblower',0,2),('whistle',0,1),),(('blower',0,1),),)
+wichtig ||| # wichtig
+wichtige ||| # wichtige
+wichtigsten ||| # wichtigsten
+widmann ||| # widmann
+wieder ||| # wieder
+wieder ||| # wieder
+wieder ||| # wieder
+wieder ||| # wieder
+winterspiele ||| # winter spiele
+wirken ||| # wirken
+wirtschaftlich ||| # wirtschaftlich
+wissen ||| # wissen
+wissen ||| # wissen
+wissen ||| # wissen
+wissen ||| # wissen
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wladimir ||| # wladimir
+wohlstand ||| # wohlstand
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollen ||| # wollen
+wollte ||| # wollte
+wollten ||| # wollten
+worden ||| # worden
+worden ||| # worden
+worden ||| # worden
+wurden ||| # wurden
+wurden ||| # wurden
+wusste ||| # wusste
+wussten ||| # wussten
+wählen ||| # wählen
+während ||| # während
+würden ||| # würden
+wüssten ||| # wüssten
+zeitung ||| # zeitung
+zerfall ||| # zerfall
+zimmer ||| # zimmer
+zimmer ||| # zimmer
+zitiert ||| # zitiert
+zitierte ||| # zitierte
+zivilgesellschaft ||| # zivil gesellschaft
+zuflucht ||| # zuflucht
+zufolge ||| # zufolge
+zufolge ||| # zufolge
+zunächst ||| # zunächst
+zustand ||| # zustand
+zweiminütigen ||| ((('#',0,1),),(('zweiminütigen',0,2),('zwei',0,1),),(('minütigen',0,1),),)
+zweiten ||| # zweiten
+zwischen ||| # zwischen
+ähnlich ||| # ähnlich
+ändern ||| # ändern
+änderte ||| # änderte
+ökonomische ||| # ökonomische
+überhaupt ||| # überhaupt
+überstehen ||| # überstehen
+überwachung ||| # überwachung
+überwachungstechniken ||| ((('#',0,1),),(('überwachungs',0,1),('überwachung',0,1),),(('techniken',0,1),),)
+üblich ||| # üblich
+cyberbullying ||| ((('#',0,1),),(('cyberbullying',0,2),('cyber',0,1),),(('bullying',0,1),),)
+erklärt ||| # erklärt
+chinesischen ||| # chinesischen
+behörden ||| # behörden
+keiner ||| # keiner
+schuld ||| # schuld
+bewusst ||| # bewusst
+verbietet ||| # verbietet
+anderer ||| # anderer
+propheten ||| # propheten
+mohammed ||| # mohammed
+gesandten ||| # gesandten
+beleidigen ||| # beleidigen
+verleumden ||| # verleumden
+tatsächlich ||| # tatsächlich
+gewinnt ||| # gewinnt
+westjordanland ||| # west jordanland
+rivalisierenden ||| # rivalisierenden
+gemäßigten ||| # gemäßigten
+palästinensergruppe ||| # palästinens ergruppe
+kontrolliert ||| # kontrolliert
+meinen ||| # meinen
+wallten ||| # wallten
+tränen ||| # tränen
+machen ||| # machen
+ancelotti ||| # ancelotti
+eingeführte ||| # eingeführte
+konkurrenz ||| # konkurrenz
+zunutze ||| # zunutze
+sieben ||| # sieben
+jahren ||| # jahren
+kämpft ||| # kämpft
+konzern ||| # konzern
+chinesischen ||| # chinesischen
+plagiator ||| # plagiator
+derzeit ||| # derzeit
+mindestlohn ||| # mindestlohn
+föderaler ||| # föderaler
+yorker ||| # yorker
+gesetzgebung ||| # gesetzgebung
+dollar ||| # dollar
+stunde ||| # stunde
+imbongi ||| # imbongi
+bedeutet ||| # bedeutet
+geschichtenerzähler ||| # geschichte erzähler
+lobpreiser ||| # lob preiser
+polizei ||| # polizei
+weiterhin ||| # weiterhin
+städtische ||| # städtische
+vorgaben ||| # vorgaben
+regulierung ||| # regulierung
+anbauern ||| # anbauern
+medizinischem ||| # medizinischem
+marihuana ||| # marihuana
+durchsetzen ||| # durchsetzen
+drogenhändler ||| # drogen händler
+weiterhin ||| # weiterhin
+verfolgt ||| # verfolgt
+würden ||| # würden
+beleidigung ||| # beleidigung
+geahndet ||| # geahndet
+werden ||| # werden
+bleibt ||| # bleibt
+unklar ||| # unklar
+ungebildet ||| # ungebildet
+schließlich ||| # schließlich
+eintritt ||| # eintritt
+kostet ||| # kostet
+kinder ||| # kinder
+jahren ||| # jahren
+kostenlos ||| # kostenlos
+karten ||| # karten
+vorverkauf ||| # vorverkauf
+bohemiaticket ||| # bohemia ticket
+erhältlich ||| # erhältlich
+berufungsgericht ||| # berufung gericht
+berücksichtigt ||| # berücksichtigt
+schnee ||| # schnee
+spektakuläre ||| # spektakuläre
+landschaften ||| # landschaften
+diesen ||| # diesen
+hartnäckigen ||| # hartnäckigen
+geruch ||| # geruch
+einfach ||| # einfach
+verschwinden ||| # verschwinden
+walmart ||| # walmart
+verkauft ||| # verkauft
+produkte ||| # produkte
+windeln ||| # windeln
+jagdgewehre ||| # jagdgewehre
+autobatterien ||| # auto batterien
+staubsaugern ||| # staub saugern
+einige ||| # einige
+personen ||| # personen
+langweilen ||| # langweilen
+leichter ||| # leichter
+andere ||| # andere
+pragmatische ||| # pragmatische
+präsident ||| # präsident
+barack ||| # barack
+zusammentat ||| # zusammentat
+waffenstillstand ||| # waffen stillstand
+erreichen ||| # erreichen
+könnte ||| # könnte
+verheißungsvolles ||| # verheißungs volles
+zeichen ||| # zeichen
+vielleicht ||| # vielleicht
+beginn ||| # beginn
+symbolisieren ||| # symbolisieren
+staatsanwaltschaft ||| # staat anwaltschaft
+freitag ||| # freitag
+versucht ||| # versucht
+festzustellen ||| # festzustellen
+armeegefreite ||| # armee gefreite
+bradley ||| # bradley
+manning ||| # manning
+angeklagt ||| # angeklagt
+größte ||| # größte
+enthüllung ||| # enthüllung
+vertraulicher ||| # vertraulicher
+informationen ||| # informationen
+amerikanischen ||| # amerikanischen
+geschichte ||| # geschichte
+mehrere ||| # mehrere
+gelegenheiten ||| # gelegenheiten
+versäumte ||| # versäumte
+angeblich ||| # angeblich
+erlittene ||| # erlittene
+misshandlung ||| # misshandlung
+militärhaft ||| # militärhaft
+beschweren ||| # beschweren
+glaube ||| # glaube
+dieses ||| # dieses
+richtige ||| # richtige
+ebenfalls ||| # ebenfalls
+diesem ||| # diesem
+gesetz ||| # gesetz
+ausgenommen ||| # ausgenommen
+personen ||| # personen
+ausbildungszeugnisse ||| # ausbildung zeugnisse
+diplome ||| # diplome
+zerfall ||| # zerfall
+erhalten ||| # erhalten
+wütend ||| # wütend
+diesen ||| # diesen
+forcierten ||| # forcierten
+verfassungsprozess ||| # verfassung prozess
+eigentlich ||| # eigentlich
+februar ||| # februar
+gesellschaftlichen ||| # gesellschaftlichen
+kräfte ||| # kräfte
+einbinden ||| # einbinden
+sollen ||| # sollen
+verruf ||| # verruf
+gebracht ||| # gebracht
+meisten ||| # meisten
+selbst ||| # selbst
+kämpfen ||| # kämpfen
+beteiligt ||| # beteiligt
+meinem ||| # meinem
+erzählte ||| # erzählte
+oxford ||| # oxford
+hasste ||| # hasste
+zufrieden ||| # zufrieden
+russischen ||| # russischen
+behörden ||| # behörden
+probleme ||| # probleme
+anziehung ||| # anziehung
+schrauben ||| # schrauben
+bekämpfen ||| # bekämpfen
+wollen ||| # wollen
+danach ||| # danach
+sendete ||| # sendete
+präsidentenamt ||| # präsidenten amt
+medien ||| # medien
+abschlusserklärung ||| # abschluss erklärung
+gipfeltreffens ||| # gipfel treffens
+erklärung ||| # erklärung
+humala ||| # humala
+handelte ||| # handelte
+offizielle ||| # offizielle
+dokument ||| # dokument
+abschluss ||| # abschluss
+gipfeltreffens ||| # gipfel treffens
+doppelt ||| # doppelt
+kosten ||| # kosten
+offiziellen ||| # offiziellen
+dieser ||| # dieser
+kostet ||| # kostet
+arbeitsmigranten ||| # arbeit migranten
+dreitausend ||| # dreitausend
+selbst ||| # selbst
+kommunistischen ||| # kommunistischen
+freunde ||| # freunde
+legten ||| # legten
+einwandfreie ||| # einwandfreie
+manieren ||| # manieren
+polizei ||| # polizei
+tragen ||| # tragen
+tödlicher ||| # tödlicher
+waffen ||| # waffen
+öffentlichkeit ||| # öffentlichkeit
+verbieten ||| # verbieten
+besitz ||| # besitz
+schusswaffen ||| # schuss waffen
+heraufsetzen ||| # heraufsetzen
+nukleares ||| # nukleares
+material ||| # material
+terroristen ||| # terroristen
+gelangt ||| # gelangt
+könnte ||| # könnte
+beispielsweise ||| # beispielsweise
+ausbrechen ||| # ausbrechen
+zweiten ||| # zweiten
+kommen ||| # kommen
+illegale ||| # illegale
+waffen ||| # waffen
+ordnungshütern ||| # ordnung hütern
+kriminellen ||| # kriminellen
+gestohlen ||| # gestohlen
+werden ||| # werden
+dieser ||| # dieser
+kundinnen ||| # kundinnen
+valentino ||| # valentino
+unvergesslich ||| # unvergesslich
+schützen ||| # schützen
+innerhalb ||| # innerhalb
+mannschaft ||| # mannschaft
+respektieren ||| # respektieren
+sowohl ||| # sowohl
+spieler ||| # spieler
+person ||| # person
+tatbestand ||| # tat bestand
+blasphemie ||| # blasphemie
+aufrechterhalten ||| # aufrecht erhalten
+beleidigungen ||| # beleidigungen
+verboten ||| # verboten
+schwerwiegende ||| # schwerwiegende
+folgen ||| # folgen
+meinungsäußerung ||| # meinung äußerung
+könnte ||| # könnte
+insbesondere ||| # insbesondere
+presse ||| # presse
+kirill ||| # kirill
+miller ||| # miller
+typischen ||| # typischen
+petersburger ||| # petersburger
+sozial ||| # sozial
+philosophischen ||| # philosophischen
+künstler ||| # künstler
+mythen ||| # mythen
+erschaffen ||| # erschaffen
+frauen ||| # frauen
+fliegen ||| # fliegen
+bereits ||| # bereits
+jahren ||| # jahren
+änderung ||| # änderung
+verbesserung ||| # verbesserung
+ernähre ||| # ernähre
+treibe ||| # treibe
+medikamente ||| # medikamente
+gefährliche ||| # gefährliche
+smogglocke ||| # smog glocke
+peking ||| # peking
+stadtregierung ||| # stadt regierung
+verschmutzung ||| # verschmutzung
+begrenzen ||| # begrenzen
+vorerst ||| # vorerst
+husten ||| # husten
+weiter ||| # weiter
+repräsentantenhaus ||| # repräsentanten haus
+großes ||| # großes
+gerangel ||| # gerangel
+haushaltsgesetz ||| # haushalt gesetz
+verabschiedet ||| # verabschiedet
+untergrenze ||| ((('#',0,1),),(('untergrenze',0,2),('unter',0,1),),(('grenze',0,1),),)
+preissturz ||| # preis sturz
+verschmutzungsrechte ||| # verschmutzung rechte
+verhindern ||| # verhindern
+informationen ||| # informationen
+frankfurter ||| # frankfurter
+allgemeinen ||| # allgemeinen
+zeitung ||| # zeitung
+sollen ||| # sollen
+zeiten ||| # zeiten
+zusätzliche ||| # zusätzliche
+emissionszertifikate ||| # emission zertifikate
+kommen ||| # kommen
+hannover ||| # hannover
+beginnt ||| # beginnt
+landstraßenmord ||| # landstraße mord
+kaarst ||| # kaarst
+sportlehrer ||| # sport lehrer
+festgenommen ||| # festgenommen
+rätselhaft ||| # rätselhaft
+prozess ||| # prozess
+christian ||| # christian
+einigen ||| # einigen
+vetomächte ||| # veto mächte
+atomüberwachungsprogramm ||| # atom überwachung programm
+thailändische ||| # thailändische
+demonstranten ||| # demonstranten
+stürmen ||| # stürmen
+regierungsgebäude ||| # regierung gebäude
+jahresrückblick ||| # jahr rückblick
+alljährliche ||| # alljährliche
+drohkulisse ||| # droh kulisse
+nordafrika ||| # nord afrika
+südkorea ||| # süd korea
+nordkorea ||| # nord korea
+gewarnt ||| # gewarnt
+traditionelles ||| # traditionelles
+militärmanöver ||| # militär manöver
+abzuhalten ||| # abzuhalten
+serotoninwiederaufnahmehemmer ||| # serotonin wiederaufnahme hemmer
+gedankenaustausch ||| # gedanke austausch
+nachbarschaftspolitik ||| # nachbarschaft politik
+frauenquote ||| # frauen quote
+aufsichtsräte ||| # aufsicht räte
+mindestens ||| # mindestens
+prozent ||| # prozent
+rechtsanspruch ||| # recht anspruch
+familienpflegezeit ||| # familie pflege zeit
+geeinigt ||| # geeinigt
+teilzeitarbeit ||| # teil zeit arbeit
+erleichtert ||| # erleichtert
+werden ||| # werden
+amtsperiode ||| # amtsperiode
+hälfte ||| # hälfte
+schwarzmeerregion ||| # schwarz meer region
+zentralasien ||| # zentral asien
+regierung ||| # regierung
+merkel ||| # merkel
+titelt ||| # titelt
+ugandisches ||| # ugandisches
+wochenmagazin ||| # woche magazin
+vergangenen ||| # vergangenen
+jahres ||| # jahres
+garantieerklärung ||| # garantie erklärung
+atomprogramms ||| # atom programms
+weltgemeinschaft ||| # welt gemeinschaft
+irakkrieg ||| # irak krieg
+strafsteuer ||| # straf steuer
+regierungsmethode ||| # regierung methode
+rechtsschutzversicherungsgesellschaften ||| # recht schutz versicherung gesellschaften
+umstand ||| # umstand
+auffassungen ||| # auffassungen
+wirklichkeiten ||| # wirklichkeiten
+subkultur ||| # subkultur
+akzeptieren ||| # akzeptieren
+ausdruck ||| # ausdruck
+bürgerlichen ||| # bürgerlichen
+ordnungspolitik ||| # ordnung politik
+verpflichteten ||| # verpflichteten
+gesellschaftsverständnisses ||| # gesellschaft verständnisses
+ultras ||| # ultras
+dschungelcamp ||| # dschungel camp
+verfolgen ||| # verfolgen
+millionen ||| # millionen
+zuschauer ||| # zuschauer
+winfried ||| # winfried
+glatzeder ||| # glatzeder
+schauspieler ||| # schauspieler
+offenbar ||| # offenbar
+aufmerksamkeit ||| # aufmerksamkeit
+wiedergutmachungskurs ||| # wiedergutmachung kurs
+südsudanesische ||| # süd sudanesische
+schlüsselstadt ||| # schlüssel stadt
+rebellen ||| # rebellen
+zurückerobert ||| # zurück erobert
+zehntausende ||| # zehn tausende
+demonstrieren ||| # demonstrieren
+dänemark ||| # dänemark
+gewinnt ||| # gewinnt
+spitzenspiel ||| # spitzenspiel
+spanien ||| # spanien
+agrarindustrie ||| # agrar industrie
+minoische ||| # minoische
+computertechniker ||| # computer techniker
+geheime ||| # geheime
+gesundheitsministerium ||| # gesundheit ministerium
+geschmuggelt ||| # geschmuggelt
+apotheker ||| # apotheker
+lobbyisten ||| # lobbyisten
+thomas ||| # thomas
+bellartz ||| # bellartz
+verkauft ||| # verkauft
+eruption ||| # eruption
+santorin ||| # santorin
+spätbronzezeitliche ||| # spät bronze zeitliche
+ausbruch ||| # ausbruch
+ägäischen ||| # ägäischen
+vulkaninsel ||| # vulkan insel
+santorin ||| # santorin
+bezeichnet ||| # bezeichnet
+jahrhundert ||| # jahrhundert
+minoischen ||| # minoischen
+kultur ||| # kultur
+verbundene ||| # verbundene
+siedlung ||| # siedlung
+akrotiri ||| # akrotiri
+moderner ||| # moderner
+begrub ||| # begrub
+molekulare ||| # molekulare
+lenkraketen ||| # lenk raketen
+schlafende ||| # schlafende
+erreger ||| # erreger
+forscher ||| # forscher
+tierversuch ||| # tier versuch
+gefunden ||| # gefunden
+schlafenden ||| # schlafenden
+anzugreifen ||| # anzugreifen
+hubschrauber ||| # hubschrauber
+aufwachen ||| # aufwachen
+sonnenaufgang ||| ((('#',0,1),),(('sonnenaufgang',0,2),('sonne',0,1),),(('aufgang',0,1),),)
+atlantik ||| # atlantik
+zähneputzen ||| # zähne putzen
+freiheitsstatue ||| # freiheit statue
+dinner ||| # dinner
+central ||| # central
+abendsonne ||| # abend sonne
+derselben ||| # derselben
+wohnung ||| # wohnung
+besser ||| # besser
+jeffrey ||| # jeffrey
+dvorett ||| # dvorett
+immobilienmanager ||| # immobilien manager
+lieblingsprojekts ||| # liebling projekts
+seiner ||| # seiner
+entwicklungsfirma ||| # entwicklung firma
+lächelt ||| # lächelt
+veleba ||| # veleba
+diente ||| # diente
+grundlage ||| # grundlage
+entschädigungsverhandlungen ||| # entschädigung verhandlungen
+gutachten ||| # gutachten
+universitätskrankenhaus ||| # universität krankenhaus
+erarbeitet ||| # erarbeitet
+hauptplattform ||| # haupt plattform
+hollywoodfilme ||| # hollywood filme
+montreal ||| # montreal
+bekommen ||| # bekommen
+geringerer ||| # geringerer
+terminator ||| # terminator
+united ||| # united
+internet ||| # internet
+anteil ||| # anteil
+prozent ||| # prozent
+telekommunikationsunternehmen ||| # telekommunikation unternehmen
+versatel ||| # versatel
+gesichert ||| # gesichert
+durchschnittspreis ||| # durchschnitt preis
+beträgt ||| # beträgt
+unternehmen ||| # unternehmen
+mittwochabend ||| # mittwoch abend
+mitteilte ||| # mitteilte
+nationale ||| # nationale
+sicherheitsberater ||| # sicherheit berater
+norberto ||| # norberto
+gonzales ||| # gonzales
+verurteilte ||| # verurteilte
+vorgehen ||| # vorgehen
+soldaten ||| # soldaten
+militärtransportflugzeug ||| # militär transport flugzeug
+zufrieden ||| # zufrieden
+aktiengesellschaft ||| # aktie gesellschaft
+wiederaufnahme ||| # wiederaufnahme
+tonbandaufnahme ||| # tonband aufnahme
+staatskrise ||| # staat krise
+madagaskars ||| # madagaskars
+präsident ||| # präsident
+bittet ||| # bittet
+schlagworte ||| # schlagworte
+demonstration ||| # demonstration
+putsch ||| # putsch
+machtkampf ||| # macht kampf
+zwischen ||| # zwischen
+opposition ||| # opposition
+regierungspartei ||| # regierung partei
+spitzt ||| # spitzt
+afrikanischen ||| # afrikanischen
+botschaft ||| # botschaft
+befürchtet ||| # befürchtet
+mitglieder ||| # mitglieder
+oppositionspartei ||| # opposition partei
+demonstrieren ||| # demonstrieren
+putsch ||| # putsch
+madagaskars ||| # madagaskars
+präsidenten ||| # präsidenten
+ravalomanana ||| # ravalomanana
+mitglieder ||| # mitglieder
+oppositionspartei ||| # opposition partei
+demonstrieren ||| # demonstrieren
+putsch ||| # putsch
+madagaskars ||| # madagaskars
+präsidenten ||| # präsidenten
+ravalomanana ||| # ravalomanana
+bedrängte ||| # bedrängte
+präsident ||| # präsident
+wandte ||| # wandte
+öffentlichen ||| # öffentlichen
+hilferuf ||| # hilfe ruf
+anhänger ||| # anhänger
+forderte ||| # forderte
+regierungssitz ||| # regierung sitz
+schützen ||| # schützen
+mitglieder ||| # mitglieder
+präsidentengarde ||| # präsidenten garde
+unbestätigten ||| # unbestätigten
+medienberichten ||| # medien berichten
+begonnen ||| # begonnen
+posten ||| # posten
+verlassen ||| # verlassen
+augenzeugen ||| # auge zeugen
+berichteten ||| # berichteten
+gepanzerte ||| # gepanzerte
+fahrzeuge ||| # fahrzeuge
+außenbezirken ||| # außen bezirken
+hauptstadt ||| # hauptstadt
+antananarivo ||| # antananarivo
+botschafter ||| # botschafter
+marquardt ||| # marquardt
+nationalen ||| # nationalen
+fernsehen ||| # fernsehen
+erklärt ||| # erklärt
+steuere ||| # steuere
+bürgerkrieg ||| ((('#',0,1),),(('bürger',0,1),('bürgerkrieg',0,2),),(('krieg',0,1),),)
+botschaft ||| # botschaft
+familien ||| # familien
+mitarbeiter ||| # mitarbeiter
+unbedingt ||| # unbedingt
+benötigt ||| # benötigt
+werden ||| # werden
+bürger ||| # bürger
+verlassen ||| # verlassen
+landes ||| # landes
+aufgefordert ||| # aufgefordert
+deutsche ||| # deutsche
+botschaft ||| # botschaft
+dagegen ||| # dagegen
+wollte ||| # wollte
+absprache ||| # absprache
+anderen ||| # anderen
+europäischen ||| # europäischen
+vertretungen ||| # vertretungen
+zunächst ||| # zunächst
+ausreise ||| # ausreise
+empfehlung ||| # empfehlung
+regierung ||| # regierung
+angeschlagenen ||| # angeschlagenen
+staatspräsidenten ||| # staat präsidenten
+ravalomanana ||| # ravalomanana
+demokratiebewegung ||| # demokratie bewegung
+selbst ||| # selbst
+ernannten ||| # ernannten
+präsidenten ||| # präsidenten
+übergangsregierung ||| # übergang regierung
+rajoelina ||| # rajoelina
+gegenüber ||| # gegenüber
+wochen ||| # wochen
+andauernde ||| # andauernde
+erbitterte ||| # erbitterte
+machtkampf ||| # macht kampf
+menschen ||| # menschen
+gekostet ||| # gekostet
+hunderte ||| # hunderte
+wurden ||| # wurden
+verletzt ||| # verletzt
+modernisierung ||| # modernisierung
+atomwaffen ||| # atom waffen
+umbauten ||| # umbauten
+marine ||| # marine
+russlands ||| # russlands
+präsident ||| # präsident
+medwedew ||| # medwedew
+aufrüstung ||| # aufrüstung
+begründung ||| # begründung
+versuche ||| # versuche
+präsenz ||| # präsenz
+grenzen ||| # grenzen
+landes ||| # landes
+verstärken ||| # verstärken
+anzeige ||| # anzeige
+moskau ||| # moskau
+dmitrij ||| # dmitrij
+medwedew ||| # medwedew
+begründet ||| # begründet
+bebaren ||| # bebaren
+russischen ||| # russischen
+streitkräfte ||| # streit kräfte
+sollten ||| # sollten
+massiv ||| # massiv
+gestärkt ||| # gestärkt
+atomwaffenarsenal ||| ((('#',0,1),),(('atom',0,1),('atomwaffen',0,2),),(('waffen',0,1),),)
+modernisiert ||| # modernisiert
+werden ||| # werden
+westliche ||| # westliche
+militärbündnis ||| # militär bündnis
+versuche ||| # versuche
+präsenz ||| # präsenz
+grenzen ||| # grenzen
+auszubauen ||| # auszubauen
+präsident ||| # präsident
+deshalb ||| # deshalb
+aufrüstung ||| # aufrüstung
+marine ||| # marine
+umfang ||| # umfang
+beginne ||| # beginne
+umfassende ||| # umfassende
+umrüstung ||| # umrüstung
+heeres ||| # heeres
+flotte ||| # flotte
+ernstes ||| # ernstes
+konfliktpotential ||| # konflikt potential
+infrastruktur ||| # infrastruktur
+kampfkraft ||| # kampf kraft
+streitkräfte ||| # streit kräfte
+strategischen ||| # strategischen
+atomwaffen ||| # atom waffen
+internationalen ||| # internationalen
+terrorismus ||| # terrorismus
+gefechtsbereitschaft ||| # gefecht bereitschaft
+strategischen ||| # strategischen
+atomwaffen ||| # atomwaffen
+militärs ||| # militärs
+aktuellen ||| # aktuellen
+haushaltsprobleme ||| # haushalt probleme
+auswirkungen ||| # auswirkungen
+regierung ||| # regierung
+streitkräfteetat ||| # streit kräfte etat
+infolge ||| # infolge
+finanzkrise ||| # finanz krise
+zusammengestrichen ||| # zusammen gestrichen
+weitere ||| # weitere
+kürzungen ||| # kürzungen
+ausgeschlossen ||| # ausgeschlossen
+medwedews ||| # medwedews
+vorgänger ||| # vorgänger
+wladimir ||| # wladimir
+wiederholt ||| # wiederholt
+modernisierung ||| # modernisierung
+waffenarsenals ||| # waffen arsenals
+verkündet ||| # verkündet
+umsetzung ||| # umsetzung
+ankündigungen ||| # ankündigungen
+großteil ||| # groß teil
+atomwaffen ||| # atom waffen
+sowjetzeiten ||| # sowjet zeiten
+stimmung ||| # stimmung
+streitkräften ||| # streit kräften
+rahmen ||| # rahmen
+reform ||| # reform
+offizierkorps ||| # offizier korps
+verkleinert ||| # verkleinert
+werden ||| # werden
+trifolium ||| # trifolium
+umfassende ||| # umfassende
+pflanzengattung ||| # pflanze gattung
+unterfamilie ||| # unterfamilie
+schmetterlingsblütler ||| # schmetterling blütler
+faboideae ||| # faboideae
+pflanzenfamilie ||| # pflanze familie
+hülsenfrüchtler ||| # hülse früchtler
+fabaceae ||| # fabaceae
+gezählt ||| # gezählt
+sprachgebrauch ||| # sprach gebrauch
+allerdings ||| # allerdings
+häufig ||| # häufig
+gattung ||| # gattung
+bezeichnet ||| # bezeichnet
+sondern ||| # sondern
+nahverwandten ||| # nah verwandten
+gattungen ||| # gattungen
+schneckenklee ||| # schnecke klee
+medicago ||| # medicago
+steinklee ||| # stein klee
+melilotus ||| # melilotus
+taxonomisch ||| # taxonomisch
+entfernten ||| # entfernten
+gattung ||| # gattung
+sauerklee ||| # sauer klee
+oxalis ||| # oxalis
+charakteristische ||| # charakteristische
+merkmale ||| # merkmale
+gattung ||| # gattung
+dreifiedrige ||| # drei fiedrige
+blätter ||| # blätter
+vielblütige ||| # viel blütige
+kopfige ||| # kopfige
+blütenstände ||| ((('#',0,1),),(('blüten',0,1),('blüte',0,1),),(('stände',0,1),),)
+kontinenten ||| # kontinenten
+ausnahme ||| # ausnahme
+australiens ||| # australiens
+antarktikas ||| # antarktikas
+natürlich ||| # natürlich
+verbreitet ||| # verbreitet
+australien ||| # australien
+wurden ||| # wurden
+verschiedene ||| # verschiedene
+kleearten ||| # klee arten
+menschen ||| # menschen
+eingeführt ||| # eingeführt
+landwirtschaft ||| # landwirtschaft
+werden ||| # werden
+verschiedene ||| # verschiedene
+kleearten ||| # klee arten
+futterpflanzen ||| # futter pflanzen
+verwendet ||| # verwendet
+kleeanbau ||| # klee anbau
+europa ||| # europa
+nordamerika ||| # nord amerika
+ökonomischer ||| # ökonomischer
+bedeutung ||| # bedeutung
+europa ||| # europa
+jahrhundert ||| # jahrhundert
+christus ||| # christus
+angebaut ||| # angebaut
+fähigkeit ||| # fähigkeit
+symbiose ||| # symbiose
+knöllchenbakterien ||| # knöllchen bakterien
+rhizobiaceae ||| # rhizobiaceae
+wurzeln ||| # wurzeln
+stickstoff ||| # stickstoff
+verbesserung ||| # verbesserung
+bodenfruchtbarkeit ||| # boden fruchtbarkeit
+bedeutend ||| # bedeutend
+kleeblatt ||| # klee blatt
+symbolik ||| # symbolik
+vieler ||| # vieler
+kulturen ||| # kulturen
+eingang ||| # eingang
+repräsentiert ||| # repräsentiert
+dreiheit ||| # dreiheit
+beispiel ||| # beispiel
+christentum ||| # christentum
+dreifaltigkeit ||| # dreifaltigkeit
+weiterhin ||| # weiterhin
+sommer ||| # sommer
+symbolisiert ||| # symbolisiert
+vierblättrige ||| # vier blättrige
+kleeblatt ||| # klee blatt
+abschnittsweise ||| # abschnittsweise
+glücksbringer ||| # glücks bringer
diff --git a/compound-split/de/weights.trained b/compound-split/de/weights.trained
index 313d6ba9..ba6d0a87 100644
--- a/compound-split/de/weights.trained
+++ b/compound-split/de/weights.trained
@@ -1,20 +1,41 @@
-# Objective = 164.304  (eval count=118)
-WordCount 0.10973670965860199
-LettersSq -0.040894083779153829
-LettersSqrt 0.33757888570124861
-InDict 0.049573722026753933
-InDictSubWord 0.69975734577036308
-Short 0.33555471096277373
-Long -0.41832772458034762
-OOV 0.060162987632197122
-OOVSubWord 0.068471660184093452
-ShortRange -0.95127190946200446
-HighFreq -2.4179829648207223
-MedFreq -0.21881857269052826
-Freq -0.32292456278379877
-FreqLen1 -0.34734160349477439
-FreqLen2 -0.1574854779610021
-Bad -1.7868318814690027
-RevCharLM 0.52613329631178929
-FugS 0.028876419364008043
-FugN -0.086060954349416352
+# Objective = 373.014  (eval count=107)
+WordCount -1.8869327566343108
+LettersSq -0.022219159772322049
+LettersLog 1.5465219157578709
+LettersSqrt -0.6495272263749684
+InDict -2.332375087319726
+InDictSubWord 0.26452819026499702
+Short 0.13144850920386639
+Long -0.52710619358235422
+OOV 0.44544233068531919
+OOVSubWord 0.75125506082273197
+ShortRange -0.78230895533247025
+HighFreq -3.0655897924811724
+MedFreq -0.14369078175639161
+LogFreq -0.81311437004671527
+LogLogFreq 2.6206266390841026
+InDictFullWord -0.30581273013741311
+FreqLen1 -0.10873902414630844
+FreqLen2 -0.26027758996716255
+CS:deutschland 1.5696188595965801
+CS:gesamt 0.028560662880942392
+CS:haupt 0.1618063663954605
+CS:heraus -0.69628340540889733
+CS:leistung -2.1294187611277859
+CS:leistungen -2.4560473865535157
+CS:mittel -0.80510419589789817
+CS:nord 2.8271111296136722
+CS:steuer 0.9875598817062996
+CS:süd 2.3186645768514627
+CS:teil 2.1697059289701635
+CS:ver -2.558598750514931
+CS:weise -3.1535788459718188
+CS:wieder -1.5735927337584283
+RevCharLM 1.1301086841248393
+FugS 0.91824843000525525
+FugN 0.54856707576078012
+LenBias_3 -0.49935662411257448
+LenBias_4 -0.41252603120380671
+LenBias_5 -0.7385165671809879
+LenBias_6 -0.7920324526310959
+LenBias_7 0.55549891849415567
diff --git a/compound-split/de/wordlist.de b/compound-split/de/wordlist.de
index 676a1e3c..3609b10b 100644
--- a/compound-split/de/wordlist.de
+++ b/compound-split/de/wordlist.de
@@ -1,8 +1,18 @@
-steuer
-teil
+deutschland
+gesamt
+haupt
+heraus
+herausforderung
+herausforderungen
+leistung
+leistungen
 mittel
 mitteln
-süd
 nord
-gesamt
+selbstmord
+steuer
+süd
+teil
+ver
+weise
 wieder
diff --git a/decoder/ff_csplit.cc b/decoder/ff_csplit.cc
index 33b6cea8..a0e538d3 100644
--- a/decoder/ff_csplit.cc
+++ b/decoder/ff_csplit.cc
@@ -37,7 +37,8 @@ struct BasicCSplitFeaturesImpl {
       short_range_(FD::Convert("ShortRange")),
       high_freq_(FD::Convert("HighFreq")),
       med_freq_(FD::Convert("MedFreq")),
-      freq_(FD::Convert("Freq")),
+      logfreq_(FD::Convert("LogFreq")),
+      loglogfreq_(FD::Convert("LogLogFreq")),
       in_dict_full_word_(FD::Convert("InDictFullWord")),
       fl1_(FD::Convert("FreqLen1")),
       fl2_(FD::Convert("FreqLen2")),
@@ -86,7 +87,8 @@ struct BasicCSplitFeaturesImpl {
   const int short_range_;
   const int high_freq_;
   const int med_freq_;
-  const int freq_;
+  const int logfreq_;
+  const int loglogfreq_;
   const int in_dict_full_word_;
   const int fl1_;
   const int fl2_;
@@ -139,7 +141,8 @@ void BasicCSplitFeaturesImpl::TraversalFeaturesImpl(
 
   float freq = freq_dict_.LookUp(word);
   if (freq) {
-    features->set_value(freq_, freq);
+    features->set_value(logfreq_, freq);
+    features->set_value(loglogfreq_, log(freq) / log(1.69));
     features->set_value(in_dict_, 1.0);
     if (subword) features->set_value(in_dict_sub_word_, 1.0);
   } else {
-- 
cgit v1.2.3


From af66abe5f410c935443c458691c0c1e13ec0bd51 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Sat, 18 Jan 2014 22:56:16 -0500
Subject: heads up

---
 README.md | 18 +++++++++++-------
 1 file changed, 11 insertions(+), 7 deletions(-)

diff --git a/README.md b/README.md
index 42d9953c..659639e9 100644
--- a/README.md
+++ b/README.md
@@ -1,5 +1,16 @@
 `cdec` is a research platform for machine translation and similar structured prediction problems.
 
+## System requirements 
+
+- A Linux or Mac OS X system
+- A C++ compiler implementing the [C++-11 standard](http://www.stroustrup.com/C++11FAQ.html) <font color="red"><b>(NEW)</b></font>
+    - Unfortunately, many systems have compilers that predate C++-11 support.
+    - You may need to build your own C++ compiler or upgrade your operating system.
+- [Boost C++ libraries (version 1.44 or later)](http://www.boost.org/)
+    - If you build your own boost, you _must install it_ using `bjam install`.
+    - Older versions of Boost _may_ work, but problems have been reported with command line option parsing on some platforms with older versions.
+- [GNU Flex](http://flex.sourceforge.net/)
+
 ## Building from a downloaded archive
 
 Instructions:
@@ -8,13 +19,6 @@ Instructions:
 	make
 	./tests/run-system-tests.pl
 
-You will need the following software:
-
-- [Boost C++ libraries (version 1.44 or later)](http://www.boost.org/)
-    - If you build your own boost, you _must install it_ using `bjam install`.
-    - Older versions of Boost _may_ work, but problems have been reported with command line option parsing on some platforms with older versions.
-- [GNU Flex](http://flex.sourceforge.net/)
-
 ## Building from a git clone
 
 In addition to the standard `cdec` third party requirements, you will additionally need the following software:
-- 
cgit v1.2.3


From d46e68650457b3b127ad7078ad739326b9cdad44 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Sat, 18 Jan 2014 22:59:22 -0500
Subject: update readme

---
 README.md | 6 ++++++
 1 file changed, 6 insertions(+)

diff --git a/README.md b/README.md
index 659639e9..2b5e81ec 100644
--- a/README.md
+++ b/README.md
@@ -37,3 +37,9 @@ Instructions:
 
 [For more information, refer to the `cdec` documentation](http://www.cdec-decoder.org)
 
+## Citation
+
+If you make use of cdec, please cite:
+
+C. Dyer, A. Lopez, J. Ganitkevitch, J. Weese, F. Ture, P. Blunsom, H. Setiawan, V. Eidelman, and P. Resnik. cdec: A Decoder, Alignment, and Learning Framework for Finite-State and Context-Free Translation Models. In **Proceedings of ACL**, July, 2010. [[bibtex](http://www.cdec-decoder.org/cdec.bibtex.txt)]
+
-- 
cgit v1.2.3


From 54449ce0eb266ac8e1617f6db7f5390b0a3e26ce Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Sat, 18 Jan 2014 23:00:44 -0500
Subject: new readme

---
 README.md | 3 +--
 1 file changed, 1 insertion(+), 2 deletions(-)

diff --git a/README.md b/README.md
index 2b5e81ec..8f335adb 100644
--- a/README.md
+++ b/README.md
@@ -41,5 +41,4 @@ Instructions:
 
 If you make use of cdec, please cite:
 
-C. Dyer, A. Lopez, J. Ganitkevitch, J. Weese, F. Ture, P. Blunsom, H. Setiawan, V. Eidelman, and P. Resnik. cdec: A Decoder, Alignment, and Learning Framework for Finite-State and Context-Free Translation Models. In **Proceedings of ACL**, July, 2010. [[bibtex](http://www.cdec-decoder.org/cdec.bibtex.txt)]
-
+C. Dyer, A. Lopez, J. Ganitkevitch, J. Weese, F. Ture, P. Blunsom, H. Setiawan, V. Eidelman, and P. Resnik. cdec: A Decoder, Alignment, and Learning Framework for Finite-State and Context-Free Translation Models. In *Proceedings of ACL*, July, 2010. [[bibtex](http://www.cdec-decoder.org/cdec.bibtex.txt)] [[pdf](http://www.aclweb.org/anthology/P/P10/P10-4002.pdf)]
-- 
cgit v1.2.3


From 02a764cc553f238cdd0be4c6dee4ea144cda84ba Mon Sep 17 00:00:00 2001
From: Chris Dyer <cdyer@allegro.clab.cs.cmu.edu>
Date: Mon, 20 Jan 2014 00:11:27 -0500
Subject: hindi edits

---
 corpus/support/fix-eos.pl   | 10 +++++++++
 corpus/support/token_list   | 51 +++++++++++++++++++++++++++++++++++++++++++++
 corpus/support/tokenizer.pl |  1 +
 corpus/tokenize-anything.sh |  1 +
 4 files changed, 63 insertions(+)
 create mode 100755 corpus/support/fix-eos.pl

diff --git a/corpus/support/fix-eos.pl b/corpus/support/fix-eos.pl
new file mode 100755
index 00000000..584f8b46
--- /dev/null
+++ b/corpus/support/fix-eos.pl
@@ -0,0 +1,10 @@
+#!/usr/bin/perl -w
+use strict;
+use utf8;
+
+binmode(STDIN, ":utf8");
+binmode(STDOUT, ":utf8");
+while(<STDIN>) {
+  s/(\p{Devanagari}{2}[A-Za-z0-9! ,.\@\p{Devanagari}]+?)\s+(\.)(\s*$|\s+\|\|\|)/$1 \x{0964}$3/s;
+  print;
+}
diff --git a/corpus/support/token_list b/corpus/support/token_list
index 43dd80d9..0de72821 100644
--- a/corpus/support/token_list
+++ b/corpus/support/token_list
@@ -1,6 +1,57 @@
 ##################### hyphenated words added by Fei since 3/7/05
 ##X-ray
 
+# hindi abbreviation patterns
+डी.एल.
+डी.टी.ओ.
+डी.ए.
+ए.एस.आई.
+डी.टी.ओ.
+एम.एस.आर.टी.सी.
+बी.बी.एम.बी.
+डी.एस.पी.
+सी.आर.पी.
+एस.डी.एम.
+सी.डी.पी.ओ.
+बी.डी.ओ.
+एस.डी.ओ.
+एम.पी.पी.
+पी.एच.ई.
+एस.एच.ओ.
+ए.सी.पी.
+यू.पी.
+पी.एम.
+आर.बी.डी.
+वी.पी.
+सी.ए.डी.पी.
+ए.
+बी.
+सी.
+डी.
+ई.
+एफ.
+जी.
+एच.
+आई.
+जे.
+के.
+एल.
+एम.
+एन.
+ओ.
+पी.
+क़यू.
+आर.
+एस.
+टी.
+यू.
+वी.
+डबल्यू.
+एक्स.
+वाई.
+ज़ेड.
+ज़ी.
+
 ##################### words made of punct only
 :-
 :-)
diff --git a/corpus/support/tokenizer.pl b/corpus/support/tokenizer.pl
index 079f45b6..475b9a1c 100755
--- a/corpus/support/tokenizer.pl
+++ b/corpus/support/tokenizer.pl
@@ -112,6 +112,7 @@ my $new_token_total = 0;
 
 while(<STDIN>){
     chomp();
+    s/\x{0970}/./g;  # dev abbreviation character
     if(/^(\[b\s+|\]b|\]f|\[f\s+)/ || (/^\[[bf]$/) || (/^\s*$/) || /^<DOC/ || /^<\/DOC/) {
 	## markup
 	print STDOUT "$_\n";
diff --git a/corpus/tokenize-anything.sh b/corpus/tokenize-anything.sh
index 5b7933d8..bca954d1 100755
--- a/corpus/tokenize-anything.sh
+++ b/corpus/tokenize-anything.sh
@@ -14,6 +14,7 @@ fi
 $SUPPORT/utf8-normalize.sh $NORMARGS |
   $SUPPORT/quote-norm.pl |
   $SUPPORT/tokenizer.pl |
+  $SUPPORT/fix-eos.pl |
   sed $SEDFLAGS -e 's/ al - / al-/g' |
   $SUPPORT/fix-contract.pl |
   sed $SEDFLAGS -e 's/^ //' | sed $SEDFLAGS -e 's/ $//' |
-- 
cgit v1.2.3


From 44a54840b888a9cdd6444472da88f480ceafced2 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Mon, 20 Jan 2014 20:00:16 -0500
Subject: fix for build

---
 Makefile.am                |   3 +-
 configure.ac               |   5 +-
 extractor/Makefile.am      |  11 +--
 extractor/compile.cc       | 194 ---------------------------------------------
 extractor/extract.cc       |   6 +-
 extractor/run_extractor.cc |   4 +
 extractor/sacompile.cc     | 194 +++++++++++++++++++++++++++++++++++++++++++++
 m4/boost.m4                | 100 ++++++++++++++---------
 8 files changed, 274 insertions(+), 243 deletions(-)
 delete mode 100644 extractor/compile.cc
 create mode 100644 extractor/sacompile.cc

diff --git a/Makefile.am b/Makefile.am
index 008dc704..598293d1 100644
--- a/Makefile.am
+++ b/Makefile.am
@@ -12,11 +12,10 @@ SUBDIRS = \
   klm/search \
   decoder \
   training \
-  training/liblbfgs \
   word-aligner \
+  extractor \
   example_extff
 
-#  extractor
 
 EXTRA_DIST = corpus tests python/cdec python/tests python/examples compound-split environment
 AUTOMAKE_OPTIONS = foreign
diff --git a/configure.ac b/configure.ac
index 8136a7c7..d5261b8e 100644
--- a/configure.ac
+++ b/configure.ac
@@ -1,4 +1,5 @@
-AC_INIT([cdec],[2013-11-10])
+AC_CONFIG_MACRO_DIR([m4])
+AC_INIT([cdec],[2014-01-19])
 AC_CONFIG_SRCDIR([decoder/cdec.cc])
 AM_INIT_AUTOMAKE
 AC_CONFIG_HEADERS(config.h)
@@ -9,7 +10,7 @@ case $LEX in
 esac 
 AC_PROG_CC
 AC_PROG_CXX
-AX_CXX_COMPILE_STDCXX_11
+AX_CXX_COMPILE_STDCXX_11([],[mandatory])
 AC_LANG_CPLUSPLUS
 AC_OPENMP
 BOOST_REQUIRE([1.44])
diff --git a/extractor/Makefile.am b/extractor/Makefile.am
index e5b439f9..40112e5e 100644
--- a/extractor/Makefile.am
+++ b/extractor/Makefile.am
@@ -1,7 +1,5 @@
 
-bin_PROGRAMS = compile run_extractor extract
-
-if HAVE_CXX11
+bin_PROGRAMS = sacompile run_extractor extract
 
 EXTRA_PROGRAMS = alignment_test \
     data_array_test \
@@ -114,8 +112,8 @@ vocabulary_test_LDADD = $(GTEST_LDFLAGS) $(GTEST_LIBS) libextractor.a
 
 noinst_LIBRARIES = libextractor.a
 
-compile_SOURCES = compile.cc
-compile_LDADD = libextractor.a
+sacompile_SOURCES = sacompile.cc
+sacompile_LDADD = libextractor.a
 run_extractor_SOURCES = run_extractor.cc
 run_extractor_LDADD = libextractor.a
 extract_SOURCES = extract.cc
@@ -156,6 +154,5 @@ libextractor_a_SOURCES = \
   translation_table.cc \
   vocabulary.cc
 
-AM_CPPFLAGS = -W -Wall -Wno-sign-compare $(CXX11_SWITCH) -fopenmp $(GTEST_CPPFLAGS) $(GMOCK_CPPFLAGS)
+AM_CPPFLAGS = -W -Wall -Wno-sign-compare -fopenmp $(GTEST_CPPFLAGS) $(GMOCK_CPPFLAGS)
 AM_LDFLAGS = -fopenmp
-endif
diff --git a/extractor/compile.cc b/extractor/compile.cc
deleted file mode 100644
index 3ee668ce..00000000
--- a/extractor/compile.cc
+++ /dev/null
@@ -1,194 +0,0 @@
-#include <fstream>
-#include <iostream>
-#include <string>
-
-#include <boost/archive/binary_oarchive.hpp>
-#include <boost/filesystem.hpp>
-#include <boost/program_options.hpp>
-#include <boost/program_options/variables_map.hpp>
-
-#include "alignment.h"
-#include "data_array.h"
-#include "precomputation.h"
-#include "suffix_array.h"
-#include "time_util.h"
-#include "translation_table.h"
-#include "vocabulary.h"
-
-namespace ar = boost::archive;
-namespace fs = boost::filesystem;
-namespace po = boost::program_options;
-using namespace std;
-using namespace extractor;
-
-int main(int argc, char** argv) {
-  po::options_description desc("Command line options");
-  desc.add_options()
-    ("help,h", "Show available options")
-    ("source,f", po::value<string>(), "Source language corpus")
-    ("target,e", po::value<string>(), "Target language corpus")
-    ("bitext,b", po::value<string>(), "Parallel text (source ||| target)")
-    ("alignment,a", po::value<string>()->required(), "Bitext word alignment")
-    ("output,o", po::value<string>()->required(), "Output path")
-    ("config,c", po::value<string>()->required(),
-        "Path where the config file will be generated")
-    ("frequent", po::value<int>()->default_value(100),
-        "Number of precomputed frequent patterns")
-    ("super_frequent", po::value<int>()->default_value(10),
-        "Number of precomputed super frequent patterns")
-    ("max_rule_span,s", po::value<int>()->default_value(15),
-        "Maximum rule span")
-    ("max_rule_symbols,l", po::value<int>()->default_value(5),
-        "Maximum number of symbols (terminals + nontermals) in a rule")
-    ("min_gap_size,g", po::value<int>()->default_value(1), "Minimum gap size")
-    ("max_phrase_len,p", po::value<int>()->default_value(4),
-        "Maximum frequent phrase length")
-    ("min_frequency", po::value<int>()->default_value(1000),
-        "Minimum number of occurrences for a pharse to be considered frequent");
-
-  po::variables_map vm;
-  po::store(po::parse_command_line(argc, argv, desc), vm);
-
-  // Check for help argument before notify, so we don't need to pass in the
-  // required parameters.
-  if (vm.count("help")) {
-    cout << desc << endl;
-    return 0;
-  }
-
-  po::notify(vm);
-
-  if (!((vm.count("source") && vm.count("target")) || vm.count("bitext"))) {
-    cerr << "A paralel corpus is required. "
-         << "Use -f (source) with -e (target) or -b (bitext)."
-         << endl;
-    return 1;
-  }
-
-  fs::path output_dir(vm["output"].as<string>());
-  if (!fs::exists(output_dir)) {
-    fs::create_directory(output_dir);
-  }
-
-  // Reading source and target data.
-  Clock::time_point start_time = Clock::now();
-  cerr << "Reading source and target data..." << endl;
-  shared_ptr<DataArray> source_data_array, target_data_array;
-  if (vm.count("bitext")) {
-    source_data_array = make_shared<DataArray>(
-        vm["bitext"].as<string>(), SOURCE);
-    target_data_array = make_shared<DataArray>(
-        vm["bitext"].as<string>(), TARGET);
-  } else {
-    source_data_array = make_shared<DataArray>(vm["source"].as<string>());
-    target_data_array = make_shared<DataArray>(vm["target"].as<string>());
-  }
-
-  ofstream config_stream(vm["config"].as<string>());
-
-  Clock::time_point start_write = Clock::now();
-  string target_path = (output_dir / fs::path("target.bin")).string();
-  config_stream << "target = " << target_path << endl;
-  ofstream target_fstream(target_path);
-  ar::binary_oarchive target_stream(target_fstream);
-  target_stream << *target_data_array;
-  Clock::time_point stop_write = Clock::now();
-  double write_duration = GetDuration(start_write, stop_write);
-
-  Clock::time_point stop_time = Clock::now();
-  cerr << "Reading data took " << GetDuration(start_time, stop_time)
-       << " seconds" << endl;
-
-  // Constructing and compiling the suffix array.
-  start_time = Clock::now();
-  cerr << "Constructing source suffix array..." << endl;
-  shared_ptr<SuffixArray> source_suffix_array =
-      make_shared<SuffixArray>(source_data_array);
-
-  start_write = Clock::now();
-  string source_path = (output_dir / fs::path("source.bin")).string();
-  config_stream << "source = " << source_path << endl;
-  ofstream source_fstream(source_path);
-  ar::binary_oarchive output_stream(source_fstream);
-  output_stream << *source_suffix_array;
-  stop_write = Clock::now();
-  write_duration += GetDuration(start_write, stop_write);
-
-  cerr << "Constructing suffix array took "
-       << GetDuration(start_time, stop_time) << " seconds" << endl;
-
-  // Reading alignment.
-  start_time = Clock::now();
-  cerr << "Reading alignment..." << endl;
-  shared_ptr<Alignment> alignment =
-      make_shared<Alignment>(vm["alignment"].as<string>());
-
-  start_write = Clock::now();
-  string alignment_path = (output_dir / fs::path("alignment.bin")).string();
-  config_stream << "alignment = " << alignment_path << endl;
-  ofstream alignment_fstream(alignment_path);
-  ar::binary_oarchive alignment_stream(alignment_fstream);
-  alignment_stream << *alignment;
-  stop_write = Clock::now();
-  write_duration += GetDuration(start_write, stop_write);
-
-  stop_time = Clock::now();
-  cerr << "Reading alignment took "
-       << GetDuration(start_time, stop_time) << " seconds" << endl;
-
-  shared_ptr<Vocabulary> vocabulary = make_shared<Vocabulary>();
-
-  start_time = Clock::now();
-  cerr << "Precomputing collocations..." << endl;
-  Precomputation precomputation(
-      vocabulary,
-      source_suffix_array,
-      vm["frequent"].as<int>(),
-      vm["super_frequent"].as<int>(),
-      vm["max_rule_span"].as<int>(),
-      vm["max_rule_symbols"].as<int>(),
-      vm["min_gap_size"].as<int>(),
-      vm["max_phrase_len"].as<int>(),
-      vm["min_frequency"].as<int>());
-
-  start_write = Clock::now();
-  string precomputation_path = (output_dir / fs::path("precomp.bin")).string();
-  config_stream << "precomputation = " << precomputation_path << endl;
-  ofstream precomp_fstream(precomputation_path);
-  ar::binary_oarchive precomp_stream(precomp_fstream);
-  precomp_stream << precomputation;
-
-  string vocabulary_path = (output_dir / fs::path("vocab.bin")).string();
-  config_stream << "vocabulary = " << vocabulary_path << endl;
-  ofstream vocab_fstream(vocabulary_path);
-  ar::binary_oarchive vocab_stream(vocab_fstream);
-  vocab_stream << *vocabulary;
-  stop_write = Clock::now();
-  write_duration += GetDuration(start_write, stop_write);
-
-  stop_time = Clock::now();
-  cerr << "Precomputing collocations took "
-       << GetDuration(start_time, stop_time) << " seconds" << endl;
-
-  start_time = Clock::now();
-  cerr << "Precomputing conditional probabilities..." << endl;
-  TranslationTable table(source_data_array, target_data_array, alignment);
-
-  start_write = Clock::now();
-  string table_path = (output_dir / fs::path("bilex.bin")).string();
-  config_stream << "ttable = " << table_path << endl;
-  ofstream table_fstream(table_path);
-  ar::binary_oarchive table_stream(table_fstream);
-  table_stream << table;
-  stop_write = Clock::now();
-  write_duration += GetDuration(start_write, stop_write);
-
-  stop_time = Clock::now();
-  cerr << "Precomputing conditional probabilities took "
-       << GetDuration(start_time, stop_time) << " seconds" << endl;
-
-  cerr << "Total time spent writing: " << write_duration
-       << " seconds" << endl;
-
-  return 0;
-}
diff --git a/extractor/extract.cc b/extractor/extract.cc
index 387cbe9b..e5b6f6ff 100644
--- a/extractor/extract.cc
+++ b/extractor/extract.cc
@@ -8,7 +8,11 @@
 #include <boost/filesystem.hpp>
 #include <boost/program_options.hpp>
 #include <boost/program_options/variables_map.hpp>
-#include <omp.h>
+#if HAVE_OPEN_MP
+ #include <omp.h>
+#else
+  const unsigned omp_get_num_threads() { return 1; }
+#endif
 
 #include "alignment.h"
 #include "data_array.h"
diff --git a/extractor/run_extractor.cc b/extractor/run_extractor.cc
index f1aa5e35..00564a36 100644
--- a/extractor/run_extractor.cc
+++ b/extractor/run_extractor.cc
@@ -8,7 +8,11 @@
 #include <boost/filesystem.hpp>
 #include <boost/program_options.hpp>
 #include <boost/program_options/variables_map.hpp>
+#if HAVE_OPEN_MP
 #include <omp.h>
+#else
+  const unsigned omp_get_num_threads() { return 1; }
+#endif
 
 #include "alignment.h"
 #include "data_array.h"
diff --git a/extractor/sacompile.cc b/extractor/sacompile.cc
new file mode 100644
index 00000000..3ee668ce
--- /dev/null
+++ b/extractor/sacompile.cc
@@ -0,0 +1,194 @@
+#include <fstream>
+#include <iostream>
+#include <string>
+
+#include <boost/archive/binary_oarchive.hpp>
+#include <boost/filesystem.hpp>
+#include <boost/program_options.hpp>
+#include <boost/program_options/variables_map.hpp>
+
+#include "alignment.h"
+#include "data_array.h"
+#include "precomputation.h"
+#include "suffix_array.h"
+#include "time_util.h"
+#include "translation_table.h"
+#include "vocabulary.h"
+
+namespace ar = boost::archive;
+namespace fs = boost::filesystem;
+namespace po = boost::program_options;
+using namespace std;
+using namespace extractor;
+
+int main(int argc, char** argv) {
+  po::options_description desc("Command line options");
+  desc.add_options()
+    ("help,h", "Show available options")
+    ("source,f", po::value<string>(), "Source language corpus")
+    ("target,e", po::value<string>(), "Target language corpus")
+    ("bitext,b", po::value<string>(), "Parallel text (source ||| target)")
+    ("alignment,a", po::value<string>()->required(), "Bitext word alignment")
+    ("output,o", po::value<string>()->required(), "Output path")
+    ("config,c", po::value<string>()->required(),
+        "Path where the config file will be generated")
+    ("frequent", po::value<int>()->default_value(100),
+        "Number of precomputed frequent patterns")
+    ("super_frequent", po::value<int>()->default_value(10),
+        "Number of precomputed super frequent patterns")
+    ("max_rule_span,s", po::value<int>()->default_value(15),
+        "Maximum rule span")
+    ("max_rule_symbols,l", po::value<int>()->default_value(5),
+        "Maximum number of symbols (terminals + nontermals) in a rule")
+    ("min_gap_size,g", po::value<int>()->default_value(1), "Minimum gap size")
+    ("max_phrase_len,p", po::value<int>()->default_value(4),
+        "Maximum frequent phrase length")
+    ("min_frequency", po::value<int>()->default_value(1000),
+        "Minimum number of occurrences for a pharse to be considered frequent");
+
+  po::variables_map vm;
+  po::store(po::parse_command_line(argc, argv, desc), vm);
+
+  // Check for help argument before notify, so we don't need to pass in the
+  // required parameters.
+  if (vm.count("help")) {
+    cout << desc << endl;
+    return 0;
+  }
+
+  po::notify(vm);
+
+  if (!((vm.count("source") && vm.count("target")) || vm.count("bitext"))) {
+    cerr << "A paralel corpus is required. "
+         << "Use -f (source) with -e (target) or -b (bitext)."
+         << endl;
+    return 1;
+  }
+
+  fs::path output_dir(vm["output"].as<string>());
+  if (!fs::exists(output_dir)) {
+    fs::create_directory(output_dir);
+  }
+
+  // Reading source and target data.
+  Clock::time_point start_time = Clock::now();
+  cerr << "Reading source and target data..." << endl;
+  shared_ptr<DataArray> source_data_array, target_data_array;
+  if (vm.count("bitext")) {
+    source_data_array = make_shared<DataArray>(
+        vm["bitext"].as<string>(), SOURCE);
+    target_data_array = make_shared<DataArray>(
+        vm["bitext"].as<string>(), TARGET);
+  } else {
+    source_data_array = make_shared<DataArray>(vm["source"].as<string>());
+    target_data_array = make_shared<DataArray>(vm["target"].as<string>());
+  }
+
+  ofstream config_stream(vm["config"].as<string>());
+
+  Clock::time_point start_write = Clock::now();
+  string target_path = (output_dir / fs::path("target.bin")).string();
+  config_stream << "target = " << target_path << endl;
+  ofstream target_fstream(target_path);
+  ar::binary_oarchive target_stream(target_fstream);
+  target_stream << *target_data_array;
+  Clock::time_point stop_write = Clock::now();
+  double write_duration = GetDuration(start_write, stop_write);
+
+  Clock::time_point stop_time = Clock::now();
+  cerr << "Reading data took " << GetDuration(start_time, stop_time)
+       << " seconds" << endl;
+
+  // Constructing and compiling the suffix array.
+  start_time = Clock::now();
+  cerr << "Constructing source suffix array..." << endl;
+  shared_ptr<SuffixArray> source_suffix_array =
+      make_shared<SuffixArray>(source_data_array);
+
+  start_write = Clock::now();
+  string source_path = (output_dir / fs::path("source.bin")).string();
+  config_stream << "source = " << source_path << endl;
+  ofstream source_fstream(source_path);
+  ar::binary_oarchive output_stream(source_fstream);
+  output_stream << *source_suffix_array;
+  stop_write = Clock::now();
+  write_duration += GetDuration(start_write, stop_write);
+
+  cerr << "Constructing suffix array took "
+       << GetDuration(start_time, stop_time) << " seconds" << endl;
+
+  // Reading alignment.
+  start_time = Clock::now();
+  cerr << "Reading alignment..." << endl;
+  shared_ptr<Alignment> alignment =
+      make_shared<Alignment>(vm["alignment"].as<string>());
+
+  start_write = Clock::now();
+  string alignment_path = (output_dir / fs::path("alignment.bin")).string();
+  config_stream << "alignment = " << alignment_path << endl;
+  ofstream alignment_fstream(alignment_path);
+  ar::binary_oarchive alignment_stream(alignment_fstream);
+  alignment_stream << *alignment;
+  stop_write = Clock::now();
+  write_duration += GetDuration(start_write, stop_write);
+
+  stop_time = Clock::now();
+  cerr << "Reading alignment took "
+       << GetDuration(start_time, stop_time) << " seconds" << endl;
+
+  shared_ptr<Vocabulary> vocabulary = make_shared<Vocabulary>();
+
+  start_time = Clock::now();
+  cerr << "Precomputing collocations..." << endl;
+  Precomputation precomputation(
+      vocabulary,
+      source_suffix_array,
+      vm["frequent"].as<int>(),
+      vm["super_frequent"].as<int>(),
+      vm["max_rule_span"].as<int>(),
+      vm["max_rule_symbols"].as<int>(),
+      vm["min_gap_size"].as<int>(),
+      vm["max_phrase_len"].as<int>(),
+      vm["min_frequency"].as<int>());
+
+  start_write = Clock::now();
+  string precomputation_path = (output_dir / fs::path("precomp.bin")).string();
+  config_stream << "precomputation = " << precomputation_path << endl;
+  ofstream precomp_fstream(precomputation_path);
+  ar::binary_oarchive precomp_stream(precomp_fstream);
+  precomp_stream << precomputation;
+
+  string vocabulary_path = (output_dir / fs::path("vocab.bin")).string();
+  config_stream << "vocabulary = " << vocabulary_path << endl;
+  ofstream vocab_fstream(vocabulary_path);
+  ar::binary_oarchive vocab_stream(vocab_fstream);
+  vocab_stream << *vocabulary;
+  stop_write = Clock::now();
+  write_duration += GetDuration(start_write, stop_write);
+
+  stop_time = Clock::now();
+  cerr << "Precomputing collocations took "
+       << GetDuration(start_time, stop_time) << " seconds" << endl;
+
+  start_time = Clock::now();
+  cerr << "Precomputing conditional probabilities..." << endl;
+  TranslationTable table(source_data_array, target_data_array, alignment);
+
+  start_write = Clock::now();
+  string table_path = (output_dir / fs::path("bilex.bin")).string();
+  config_stream << "ttable = " << table_path << endl;
+  ofstream table_fstream(table_path);
+  ar::binary_oarchive table_stream(table_fstream);
+  table_stream << table;
+  stop_write = Clock::now();
+  write_duration += GetDuration(start_write, stop_write);
+
+  stop_time = Clock::now();
+  cerr << "Precomputing conditional probabilities took "
+       << GetDuration(start_time, stop_time) << " seconds" << endl;
+
+  cerr << "Total time spent writing: " << write_duration
+       << " seconds" << endl;
+
+  return 0;
+}
diff --git a/m4/boost.m4 b/m4/boost.m4
index 027e039b..c8eb65ae 100644
--- a/m4/boost.m4
+++ b/m4/boost.m4
@@ -22,7 +22,7 @@
 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
 m4_define([_BOOST_SERIAL], [m4_translit([
-# serial 16
+# serial 18
 ], [#
 ], [])])
 
@@ -403,15 +403,25 @@ dnl generated only once above (before we start the for loops).
       LDFLAGS=$boost_save_LDFLAGS
       LIBS=$boost_save_LIBS
       if test x"$Boost_lib" = xyes; then
-        # Because Boost is often installed in non-standard locations we want to
-        # hardcode the path to the library (with rpath).  Here we assume that
-        # Libtool's macro was already invoked so we can steal its variable
-        # hardcode_libdir_flag_spec in order to get the right flags for ld.
-        boost_save_libdir=$libdir
-        libdir=$boost_ldpath
-        eval boost_rpath=\"$hardcode_libdir_flag_spec\"
-        libdir=$boost_save_libdir
-        Boost_lib_LDFLAGS="-L$boost_ldpath $boost_rpath"
+        # Check or used cached result of whether or not using -R or -rpath makes sense.
+        # Some implementations of ld, such as for Mac OSX, require -rpath but
+        # -R is the flag known to work on other systems.
+        # https://github.com/tsuna/boost.m4/issues/19
+        AC_CACHE_VAL([boost_cv_rpath_link_ldflag],
+          [for boost_cv_rpath_link_ldflag in -Wl,-R, -Wl,-rpath,; do
+            LDFLAGS="$boost_save_LDFLAGS -L$boost_ldpath $boost_cv_rpath_link_ldflag$boost_ldpath"
+            LIBS="$boost_save_LIBS $Boost_lib_LIBS"
+            _BOOST_AC_LINK_IFELSE([],
+              [boost_rpath_link_ldflag_found=yes
+              break],
+              [boost_rpath_link_ldflag_found=no])
+          done
+          AS_IF([test "x$boost_rpath_link_ldflag_found" != "xyes"],
+            [AC_MSG_ERROR([Unable to determine whether to use -R or -rpath])])
+          LDFLAGS=$boost_save_LDFLAGS
+          LIBS=$boost_save_LIBS
+          ])
+        Boost_lib_LDFLAGS="-L$boost_ldpath $boost_cv_rpath_link_ldflag$boost_ldpath"
         Boost_lib_LDPATH="$boost_ldpath"
         break 6
       else
@@ -496,21 +506,21 @@ BOOST_DEFUN([Chrono],
 # added as of 1.35.0.  If we have a version <1.35, we must not attempt to
 # find Boost.System as it didn't exist by then.
 if test $boost_major_version -ge 135; then
-  BOOST_SYSTEM([$1])
+BOOST_SYSTEM([$1])
 fi # end of the Boost.System check.
-boost_system_save_LIBS=$LIBS
-boost_system_save_LDFLAGS=$LDFLAGS
+boost_filesystem_save_LIBS=$LIBS
+boost_filesystem_save_LDFLAGS=$LDFLAGS
 m4_pattern_allow([^BOOST_SYSTEM_(LIBS|LDFLAGS)$])dnl
 LIBS="$LIBS $BOOST_SYSTEM_LIBS"
 LDFLAGS="$LDFLAGS $BOOST_SYSTEM_LDFLAGS"
 BOOST_FIND_LIB([chrono], [$1],
-               [boost/chrono.hpp],
-               [boost::chrono::system_clock::time_point d = boost::chrono::system_clock::now();])
+                [boost/chrono.hpp],
+                [boost::chrono::thread_clock d;])
 if test $enable_static_boost = yes && test $boost_major_version -ge 135; then
-    AC_SUBST([BOOST_SYSTEM_LIBS], ["$BOOST_SYSTEM_LIBS $BOOST_SYSTEM_LIBS"])
+    AC_SUBST([BOOST_FILESYSTEM_LIBS], ["$BOOST_FILESYSTEM_LIBS $BOOST_SYSTEM_LIBS"])
 fi
-LIBS=$boost_system_save_LIBS
-LDFLAGS=$boost_system_save_LDFLAGS
+LIBS=$boost_filesystem_save_LIBS
+LDFLAGS=$boost_filesystem_save_LDFLAGS
 
 ])# BOOST_CHRONO
 
@@ -524,6 +534,14 @@ BOOST_FIND_HEADER([boost/lexical_cast.hpp])
 ])# BOOST_CONVERSION
 
 
+# BOOST_CRC()
+# -----------
+# Look for Boost.CRC
+BOOST_DEFUN([CRC],
+[BOOST_FIND_HEADER([boost/crc.hpp])
+])# BOOST_CRC
+
+
 # BOOST_DATE_TIME([PREFERRED-RT-OPT])
 # -----------------------------------
 # Look for Boost.Date_Time.  For the documentation of PREFERRED-RT-OPT, see the
@@ -534,25 +552,6 @@ BOOST_DEFUN([Date_Time],
                 [boost::posix_time::ptime t;])
 ])# BOOST_DATE_TIME
 
-# BOOST_TIMER([PREFERRED-RT-OPT])
-# -----------------------------------
-# Look for Boost.Timer.  For the documentation of PREFERRED-RT-OPT, see the
-# documentation of BOOST_FIND_LIB above.
-BOOST_DEFUN([Timer],
-[#check for Boost.System
-BOOST_SYSTEM([$1])
-boost_system_save_LIBS=$LIBS
-boost_system_save_LDFLAGS=$LDFLAGS
-m4_pattern_allow([^BOOST_SYSTEM_(LIBS|LDFLAGS)$])dnl
-LIBS="$LIBS $BOOST_SYSTEM_LIBS"
-LDFLAGS="$LDFLAGS $BOOST_SYSTEM_LDFLAGS"
-BOOST_FIND_LIB([timer], [$1],
-                [boost/timer/timer.hpp],
-                [boost::timer::auto_cpu_timer t;])
-AC_SUBST([BOOST_SYSTEM_LIBS], ["$BOOST_SYSTEM_LIBS $BOOST_SYSTEM_LIBS"])
-LIBS=$boost_system_save_LIBS
-LDFLAGS=$boost_system_save_LDFLAGS
-])# BOOST_TIMER
 
 # BOOST_FILESYSTEM([PREFERRED-RT-OPT])
 # ------------------------------------
@@ -607,6 +606,14 @@ BOOST_DEFUN([Function],
 [BOOST_FIND_HEADER([boost/function.hpp])])
 
 
+# BOOST_GEOMETRY()
+# ----------------
+# Look for Boost.Geometry (new since 1.47.0).
+BOOST_DEFUN([Geometry],
+[BOOST_FIND_HEADER([boost/geometry.hpp])
+])# BOOST_GEOMETRY
+
+
 # BOOST_GRAPH([PREFERRED-RT-OPT])
 # -------------------------------
 # Look for Boost.Graphs.  For the documentation of PREFERRED-RT-OPT, see the
@@ -802,6 +809,14 @@ BOOST_DEFUN([Signals],
 ])# BOOST_SIGNALS
 
 
+# BOOST_SIGNALS2()
+# ----------------
+# Look for Boost.Signals2 (new since 1.39.0).
+BOOST_DEFUN([Signals2],
+[BOOST_FIND_HEADER([boost/signals2.hpp])
+])# BOOST_SIGNALS2
+
+
 # BOOST_SMART_PTR()
 # -----------------
 # Look for Boost.SmartPtr
@@ -949,6 +964,17 @@ BOOST_DEFUN([Variant],
 [BOOST_FIND_HEADER([boost/variant/variant_fwd.hpp])
 BOOST_FIND_HEADER([boost/variant.hpp])])
 
+# BOOST_POINTERCONTAINER()
+# ------------------------
+# Look for Boost.PointerContainer
+BOOST_DEFUN([Pointer_Container],
+[BOOST_FIND_HEADER([boost/ptr_container/ptr_deque.hpp])
+BOOST_FIND_HEADER([boost/ptr_container/ptr_list.hpp])
+BOOST_FIND_HEADER([boost/ptr_container/ptr_vector.hpp])
+BOOST_FIND_HEADER([boost/ptr_container/ptr_array.hpp])
+BOOST_FIND_HEADER([boost/ptr_container/ptr_set.hpp])
+BOOST_FIND_HEADER([boost/ptr_container/ptr_map.hpp])
+])# BOOST_POINTERCONTAINER
 
 # BOOST_WAVE([PREFERRED-RT-OPT])
 # ------------------------------
-- 
cgit v1.2.3


From ff248364f8385ec2b60a7e7bfbab260c2695116d Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Mon, 20 Jan 2014 20:25:00 -0500
Subject: update date, copyright

---
 configure.ac                  |  2 +-
 decoder/decoder.cc            |  2 +-
 extractor/Makefile.am         | 36 +++++++++++++++++++++++++++++++++++-
 training/liblbfgs/Makefile.am |  7 +++----
 4 files changed, 40 insertions(+), 7 deletions(-)

diff --git a/configure.ac b/configure.ac
index d5261b8e..e5d2dadb 100644
--- a/configure.ac
+++ b/configure.ac
@@ -1,5 +1,5 @@
 AC_CONFIG_MACRO_DIR([m4])
-AC_INIT([cdec],[2014-01-19])
+AC_INIT([cdec],[2014-01-20])
 AC_CONFIG_SRCDIR([decoder/cdec.cc])
 AM_INIT_AUTOMAKE
 AC_CONFIG_HEADERS(config.h)
diff --git a/decoder/decoder.cc b/decoder/decoder.cc
index 5bb62710..e02c7730 100644
--- a/decoder/decoder.cc
+++ b/decoder/decoder.cc
@@ -86,7 +86,7 @@ struct ELengthWeightFunction {
   }
 };
 inline void ShowBanner() {
-  cerr << "cdec (c) 2009--2013 by Chris Dyer\n";
+  cerr << "cdec (c) 2009--2014 by Chris Dyer\n";
 }
 
 inline string str(char const* name,po::variables_map const& conf) {
diff --git a/extractor/Makefile.am b/extractor/Makefile.am
index 40112e5e..a4ffac11 100644
--- a/extractor/Makefile.am
+++ b/extractor/Makefile.am
@@ -132,6 +132,14 @@ libextractor_a_SOURCES = \
   features/max_lex_target_given_source.cc \
   features/sample_source_count.cc \
   features/target_given_source_coherent.cc \
+  features/count_source_target.h \
+  features/feature.h \
+  features/is_source_singleton.h \
+  features/is_source_target_singleton.h \
+  features/max_lex_source_given_target.h \
+  features/max_lex_target_given_source.h \
+  features/sample_source_count.h \
+  features/target_given_source_coherent.h \
   grammar.cc \
   grammar_extractor.cc \
   matchings_finder.cc \
@@ -152,7 +160,33 @@ libextractor_a_SOURCES = \
   target_phrase_extractor.cc \
   time_util.cc \
   translation_table.cc \
-  vocabulary.cc
+  vocabulary.cc \
+  alignment.h \
+  backoff_sampler.h \
+  data_array.h \
+  fast_intersector.h \
+  grammar.h \
+  grammar_extractor.h \
+  matchings_finder.h \
+  matchings_sampler.h \
+  matchings_trie.h \
+  phrase.h \
+  phrase_builder.h \
+  phrase_location.h \
+  phrase_location_sampler.h \
+  precomputation.h \
+  rule.h \
+  rule_extractor.h \
+  rule_extractor_helper.h \
+  rule_factory.h \
+  sampler.h \
+  scorer.h \
+  suffix_array.h \
+  suffix_array_sampler.h \
+  target_phrase_extractor.h \
+  time_util.h \
+  translation_table.h \
+  vocabulary.h
 
 AM_CPPFLAGS = -W -Wall -Wno-sign-compare -fopenmp $(GTEST_CPPFLAGS) $(GMOCK_CPPFLAGS)
 AM_LDFLAGS = -fopenmp
diff --git a/training/liblbfgs/Makefile.am b/training/liblbfgs/Makefile.am
index 272d6f56..aa3af377 100644
--- a/training/liblbfgs/Makefile.am
+++ b/training/liblbfgs/Makefile.am
@@ -1,10 +1,9 @@
-TESTS = ll_test
-noinst_PROGRAMS = ll_test
+noinst_LIBRARIES = liblbfgs.a
 
+noinst_PROGRAMS = ll_test
 ll_test_SOURCES = ll_test.cc
 ll_test_LDADD = liblbfgs.a -lz
-
-noinst_LIBRARIES = liblbfgs.a
+TESTS = ll_test
 
 liblbfgs_a_SOURCES = \
   lbfgs.c \
-- 
cgit v1.2.3


From 8d9cbc6605685401e14f9ed94c5be19c3c73a497 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Mon, 20 Jan 2014 20:35:10 -0500
Subject: fix openmp flag usage

---
 extractor/Makefile.am | 4 ++--
 1 file changed, 2 insertions(+), 2 deletions(-)

diff --git a/extractor/Makefile.am b/extractor/Makefile.am
index a4ffac11..a406d9dc 100644
--- a/extractor/Makefile.am
+++ b/extractor/Makefile.am
@@ -188,5 +188,5 @@ libextractor_a_SOURCES = \
   translation_table.h \
   vocabulary.h
 
-AM_CPPFLAGS = -W -Wall -Wno-sign-compare -fopenmp $(GTEST_CPPFLAGS) $(GMOCK_CPPFLAGS)
-AM_LDFLAGS = -fopenmp
+AM_CPPFLAGS = -W -Wall -Wno-sign-compare $(OPENMP_CXXFLAGS) $(GTEST_CPPFLAGS) $(GMOCK_CPPFLAGS)
+AM_LDFLAGS = $(OPENMP_CXXFLAGS)
-- 
cgit v1.2.3


From 6f696e8d123a7007cb8f7725b5dbf4ffefa76890 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Mon, 20 Jan 2014 21:12:57 -0500
Subject: fix link error

---
 python/setup.py.in | 2 --
 1 file changed, 2 deletions(-)

diff --git a/python/setup.py.in b/python/setup.py.in
index a2aa28f6..3da405a1 100644
--- a/python/setup.py.in
+++ b/python/setup.py.in
@@ -9,8 +9,6 @@ LIB = ['../decoder', '../utils', '../mteval', '../training/utils', '../klm/lm',
 LIBS = re.findall('-l([^\s]+)', '@LIBS@')
 CPPFLAGS = re.findall('-[^\s]+', '@CPPFLAGS@ @CXXFLAGS@')
 LDFLAGS = re.findall('-[^\s]+', '@LDFLAGS@')
-# Make sure linker flags go only to the linker
-LDFLAGS = [opt.replace('-R', '-Wl,-rpath,') for opt in LDFLAGS]
 
 ext_modules = [
     Extension(name='cdec._cdec',
-- 
cgit v1.2.3


From 902fca2bac80177c19e858993a4b2cc35cc69da0 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Mon, 20 Jan 2014 22:19:15 -0500
Subject: deal with acronyms in hindi

---
 corpus/support/tokenizer.pl | 13 +++----------
 1 file changed, 3 insertions(+), 10 deletions(-)

diff --git a/corpus/support/tokenizer.pl b/corpus/support/tokenizer.pl
index 475b9a1c..7771201f 100755
--- a/corpus/support/tokenizer.pl
+++ b/corpus/support/tokenizer.pl
@@ -666,10 +666,10 @@ sub deep_proc_token {
 	    return $line;
 	}
 
-	if($line =~ /^(([a-z]\.)+)(\.*)$/i){
+        if ($line =~ /^(([a-z]|ए|बी|सी|डी|ई|एफ|जी|एच|आई|जे|के|एल|एम|एन|ओ|पी|क़यू|आर|एस|टी|यू|वी|डबल्यू|एक्स|वाई|ज़ेड|ज़ी)(\.([a-z]|ए|बी|सी|डी|ई|एफ|जी|एच|आई|जे|के|एल|एम|एन|ओ|पी|क़यू|आर|एस|टी|यू|वी|डबल्यू|एक्स|वाई|ज़ेड|ज़ी))+)(\.?)(\.*)$/i){
 	    ## I.B.M.
-	    my $t1 = $1;
-	    my $t3 = $3;
+	    my $t1 = $1 . $5;
+	    my $t3 = $6;
 	    return $t1 . " ". proc_token($t3);
 	}
 
@@ -703,10 +703,3 @@ sub deep_proc_token {
     return $line;
 }
 
-
-
-
-
-
-		   
-
-- 
cgit v1.2.3


From f01ada8522ac797aa8bcd3a67b319c4585fa9892 Mon Sep 17 00:00:00 2001
From: Chris Dyer <redpony@gmail.com>
Date: Mon, 20 Jan 2014 22:32:02 -0500
Subject: hindi months

---
 corpus/support/token_list | 8 ++++++++
 1 file changed, 8 insertions(+)

diff --git a/corpus/support/token_list b/corpus/support/token_list
index 0de72821..228663f6 100644
--- a/corpus/support/token_list
+++ b/corpus/support/token_list
@@ -2,6 +2,14 @@
 ##X-ray
 
 # hindi abbreviation patterns
+जन.
+फर.
+अग.
+सित.
+अक्टू.
+अक्तू.
+नव.
+दिस.
 डी.एल.
 डी.टी.ओ.
 डी.ए.
-- 
cgit v1.2.3


From bd4cbb0082cb1f07ba0767be63dd98b382ae30e7 Mon Sep 17 00:00:00 2001
From: Chris Dyer <cdyer@allegro.clab.cs.cmu.edu>
Date: Wed, 22 Jan 2014 23:39:46 -0500
Subject: utf8 got bigger

---
 utils/stringlib.h | 2 ++
 1 file changed, 2 insertions(+)

diff --git a/utils/stringlib.h b/utils/stringlib.h
index 1bb533d8..f60b7867 100644
--- a/utils/stringlib.h
+++ b/utils/stringlib.h
@@ -265,6 +265,8 @@ inline unsigned int UTF8Len(unsigned char x) {
   else if ((x >> 5) == 0x06) return 2;
   else if ((x >> 4) == 0x0e) return 3;
   else if ((x >> 3) == 0x1e) return 4;
+  else if ((x >> 2) == 0x3e) return 5;
+  else if ((x >> 1) == 0x7e) return 6;
   else return 0;
 }
 
-- 
cgit v1.2.3


From 45cfb892abccf0874e8023564568a999f3fef356 Mon Sep 17 00:00:00 2001
From: armatthews <armatthe@cmu.edu>
Date: Thu, 23 Jan 2014 00:20:37 -0500
Subject: Merged quote-norm with Greg's WMT normalization script

---
 corpus/support/quote-norm.pl | 143 ++++++++++++++++++++++++++++++++-----------
 1 file changed, 108 insertions(+), 35 deletions(-)

diff --git a/corpus/support/quote-norm.pl b/corpus/support/quote-norm.pl
index 7fe33db4..c99c2355 100755
--- a/corpus/support/quote-norm.pl
+++ b/corpus/support/quote-norm.pl
@@ -7,31 +7,94 @@ binmode(STDOUT,"utf8");
 while(<STDIN>) {
   chomp;
   $_ = " $_ ";
-  s/&\s*lt\s*;/</gi;
-  s/&\s*gt\s*;/>/gi;
-  s/&\s*squot\s*;/'/gi;
-  s/&\s*quot\s*;/"/gi;
-  s/&\s*amp\s*;/&/gi;
-  s/&\s*nbsp\s*;/&/gi;
-  s/&\s*#\s*160\s*;/ /gi;
+
+  # Regularlize spaces:
+  s/\x{a0}/ /g;       # non-breaking space
+  s/\x{2009}/ /g;     # thin space
+  s/\x{2028}/ /g;     # "line separator"
+  s/\x{2029}/ /g;     # "paragraph separator"
+  s/\x{202a}/ /g;     # "left-to-right embedding"
+  s/\x{202b}/ /g;     # "right-to-left embedding"
+  s/\x{202c}/ /g;     # "pop directional formatting"
+  s/\x{202d}/ /g;     # "left-to-right override"
+  s/\x{202e}/ /g;     # "right-to-left override"
+  s/\x{85}/ /g;       # "next line"
+  s/\x{fffd}/ /g;     # "replacement character"
+  s/\x{feff}/ /g;     # byte-order mark
+  s/\x{fdd3}/ /g;     # "unicode non-character"
+
+  # Regularize named HTML/XML escapes:
+  s/&\s*lt\s*;/</gi;    # HTML opening angle bracket
+  s/&\s*gt\s*;/>/gi;    # HTML closing angle bracket
+  s/&\s*squot\s*;/'/gi; # HTML single quote
+  s/&\s*quot\s*;/"/gi;  # HTML double quote
+  s/&\s*nbsp\s*;/ /gi;  # HTML non-breaking space
+  s/&apos;/\'/g;        # HTML apostrophe
+  s/&\s*amp\s*;/&/gi;   # HTML ampersand (last)
+
+  # Regularize known HTML numeric codes:
+  s/&\s*#\s*160\s*;/ /gi;           # no-break space
+  s/&\s*#45\s*;\s*&\s*#45\s*;/--/g; # hyphen-minus hyphen-minus
+  s/&\s*#45\s*;/--/g;               # hyphen-minus
+
+  # Convert other Windows 1252 characters to UTF-8 
+  s/\x{80}/\x{20ac}/g;    # euro sign
+  s/\x{95}/\x{2022}/g;    # bullet
+  s/\x{99}/\x{2122}/g;    # trademark sign
+
+  # Currency and measure conversions:
   s/ (\d\d): (\d\d)/ $1:$2/g;
   s/[\x{20a0}]\x{20ac}]/ EUR /g;
   s/[\x{00A3}]/ GBP /g;
   s/(\W)([A-Z]+\$?)(\d*\.\d+|\d+)/$1$2 $3/g;
   s/(\W)(euro?)(\d*\.\d+|\d+)/$1EUR $3/gi;
-  s/&\s*#45\s*;\s*&\s*#45\s*;/--/g;
-  s/&\s*#45\s*;/--/g;
-  s/�c/--/g;
-  s/ ,,/ "/g;
-  s/„/"/g;
-  s/``/"/g;
-  s/''/"/g;
-  s/[「」]/"/g;
-  s/〃/"/g;
-  s/¨/"/g;
+
+  # Ridiculous double conversions(?) (news commentary and Giga-FrEn):
+  s/�c/--/g;                        # long dash
+  s/\x{e2}\x{20ac}oe/\"/g;            # opening double quote
+  s/\x{e2}\x{20ac}\x{9c}/\"/g;        # opening double quote
+  s/\x{e2}\x{20ac}\x{9d}/\"/g;        # closing double quote
+  s/\x{e2}\x{20ac}\x{2122}/\'/g;      # apostrophe
+  s/\x{e2}\x{20ac}\x{201c}/ -- /g;    # en dash?
+  s/\x{e2}\x{20ac}\x{201d}/ -- /g;    # em dash? 
+  s/â(\x{80}\x{99}|\x{80}\x{98})/'/g; # single quote?
+  s/â(\x{80}\x{9c}|\x{80}\x{9d})/"/g; # double quote?
+
+  # Regularize quotes:
+  s/ˇ/'/g;            # caron
+  s/´/'/g;            # acute accent
+  s/`/'/g;            # grave accent
+  s/ˉ/'/g;            # modified letter macron
+  s/ ,,/ "/g;         # ghetto low-99 quote
+  s/``/"/g;           # latex-style left quote
+  s/''/"/g;           # latex-style right quote
+  s/\x{300c}/"/g;     # left corner bracket
+  s/\x{300d}/"/g;     # right corner bracket
+  s/\x{3003}/"/g;     # ditto mark
+  s/\x{00a8}/"/g;     # diaeresis
+  s/\x{92}/\'/g;      # curly apostrophe
+  s/\x{2019}/\'/g;    # curly apostrophe
+  s/\x{f03d}/\'/g;    # curly apostrophe
+  s/\x{b4}/\'/g;      # curly apostrophe
+  s/\x{2018}/\'/g;    # curly single open quote
+  s/\x{201a}/\'/g;    # low-9 quote
+  s/\x{93}/\"/g;      # curly left quote
+  s/\x{201c}/\"/g;    # curly left quote
+  s/\x{94}/\"/g;      # curly right quote
+  s/\x{201d}/\"/g;    # curly right quote
+  s/\x{2033}/\"/g;    # curly right quote
+  s/\x{201e}/\"/g;    # low-99 quote
+  s/\x{84}/\"/g;      # low-99 quote (bad enc)
+  s/\x{201f}/\"/g;    # high-rev-99 quote
+  s/\x{ab}/\"/g;      # opening guillemet
+  s/\x{bb}/\"/g;      # closing guillemet
+  s/\x{0301}/'/g;     # combining acute accent
+
+  # Space inverted punctuation:
   s/¡/ ¡ /g;
   s/¿/ ¿ /g;
 
+  # Russian abbreviations:
   s/ п. п. / п.п. /g;
   s/ ст. л. / ст.л. /g;
   s/ т. е. / т.е. /g;
@@ -45,29 +108,19 @@ while(<STDIN>) {
   s/ т. н. / т.н. /g;
   s/ т. ч. / т.ч. /g;
   s/ н. э. / н.э. /g;
-  # â<U+0080><U+0099>
-  s/â(\x{80}\x{99}|\x{80}\x{98})/'/g;
-  s/â(\x{80}\x{9c}|\x{80}\x{9d})/"/g;
-  s/ˇ/'/g;
-  s/´/'/g;
-  s/`/'/g;
-  s/’/'/g;
-  s/ ́/'/g;
-  s/‘/'/g;
-  s/ˉ/'/g;
-  s/β/ß/g; # WMT 2010 error
-  s/“/"/g;
-  s/”/"/g;
-  s/«/"/g;
-  s/»/"/g;
-  tr/！-～/!-~/;
+
+  # Convert foreign numerals into Arabic numerals
   tr/०-९/0-9/; # devangari
   tr/౦-౯/0-9/; # telugu
   tr/೦-೯/0-9/; # kannada
   tr/೦-௯/0-9/; # tamil
   tr/൦-൯/0-9/; # malayalam
+
+  # Random punctuation:
+  tr/！-～/!-~/;
   s/、/,/g;
   # s/。/./g;
+  s/\x{85}/.../g;
   s/…/.../g;
   s/―/--/g;
   s/–/--/g;
@@ -82,11 +135,31 @@ while(<STDIN>) {
   s/’/'/g;
   s/â€"/"/g;
   s/؛/;/g;
-		    
+
+  # Regularize ligatures:
+  s/\x{9c}/oe/g;      # "oe" ligature 
+  s/\x{0153}/oe/g;    # "oe" ligature 
+  s/\x{8c}/Oe/g;      # "OE" ligature
+  s/\x{0152}/Oe/g;    # "OE" ligature
+  s/\x{fb00}/ff/g;    # "ff" ligature
+  s/\x{fb01}/fi/g;    # "fi" ligature
+  s/\x{fb02}/fl/g;    # "fl" ligature
+  s/\x{fb03}/ffi/g;   # "ffi" ligature
+  s/\x{fb04}/ffi/g;   # "ffl" ligature
+
+  # Convert arbitrary hex or decimal HTML entities to actual characters:
+  s/&\#x([0-9A-Fa-f]+);/pack("U", hex($1))/ge;
+  s/&\#([0-9]+);/pack("U", $1)/ge;
+
+  s/β/ß/g; # WMT 2010 error
+
+  # Strip extra spaces: 
   s/\s+/ /g;
   s/^\s+//;
   s/\s+$//;
-  s/[\x{00}-\x{1f}]//g;
+
+  # Delete control characters:
+  s/[\x{00}-\x{1f}]//g; 
   print "$_\n";
 }
 
-- 
cgit v1.2.3


From a6786e51676f53fd4a729a9a072902ea8cd3d404 Mon Sep 17 00:00:00 2001
From: armatthews <armatthe@cmu.edu>
Date: Thu, 23 Jan 2014 00:22:52 -0500
Subject: Reordered HTML entity blocks

---
 corpus/support/quote-norm.pl | 8 ++++----
 1 file changed, 4 insertions(+), 4 deletions(-)

diff --git a/corpus/support/quote-norm.pl b/corpus/support/quote-norm.pl
index c99c2355..f677df66 100755
--- a/corpus/support/quote-norm.pl
+++ b/corpus/support/quote-norm.pl
@@ -37,6 +37,10 @@ while(<STDIN>) {
   s/&\s*#45\s*;\s*&\s*#45\s*;/--/g; # hyphen-minus hyphen-minus
   s/&\s*#45\s*;/--/g;               # hyphen-minus
 
+  # Convert arbitrary hex or decimal HTML entities to actual characters:
+  s/&\#x([0-9A-Fa-f]+);/pack("U", hex($1))/ge;
+  s/&\#([0-9]+);/pack("U", $1)/ge;
+
   # Convert other Windows 1252 characters to UTF-8 
   s/\x{80}/\x{20ac}/g;    # euro sign
   s/\x{95}/\x{2022}/g;    # bullet
@@ -147,10 +151,6 @@ while(<STDIN>) {
   s/\x{fb03}/ffi/g;   # "ffi" ligature
   s/\x{fb04}/ffi/g;   # "ffl" ligature
 
-  # Convert arbitrary hex or decimal HTML entities to actual characters:
-  s/&\#x([0-9A-Fa-f]+);/pack("U", hex($1))/ge;
-  s/&\#([0-9]+);/pack("U", $1)/ge;
-
   s/β/ß/g; # WMT 2010 error
 
   # Strip extra spaces: 
-- 
cgit v1.2.3