diff options
Diffstat (limited to 'training/dtrain')
| -rw-r--r-- | training/dtrain/dtrain.cc | 32 | ||||
| -rw-r--r-- | training/dtrain/dtrain.h | 2 | ||||
| -rw-r--r-- | training/dtrain/examples/standard/cdec.ini | 1 | ||||
| -rw-r--r-- | training/dtrain/examples/standard/dtrain.ini | 2 | ||||
| -rw-r--r-- | training/dtrain/examples/standard/expected-output | 2279 | ||||
| -rw-r--r-- | training/dtrain/pairsampling.h | 1 | ||||
| -rw-r--r-- | training/dtrain/score.cc | 18 | ||||
| -rw-r--r-- | training/dtrain/score.h | 18 |
8 files changed, 2265 insertions, 88 deletions
diff --git a/training/dtrain/dtrain.cc b/training/dtrain/dtrain.cc index 0a27a068..b01cf421 100644 --- a/training/dtrain/dtrain.cc +++ b/training/dtrain/dtrain.cc @@ -44,7 +44,7 @@ dtrain_init(int argc, char** argv, po::variables_map* cfg) ("pclr", po::value<string>()->default_value("no"), "use a (simple|adagrad) per-coordinate learning rate") ("batch", po::value<bool>()->zero_tokens(), "do batch optimization") ("repeat", po::value<unsigned>()->default_value(1), "repeat optimization over kbest list this number of times") - //("test-k-best", po::value<bool>()->zero_tokens(), "check if optimization works (use repeat >= 2)") + ("check", po::value<bool>()->zero_tokens(), "produce list of loss differentials") ("noup", po::value<bool>()->zero_tokens(), "do not update weights"); po::options_description cl("Command Line Options"); cl.add_options() @@ -130,8 +130,8 @@ main(int argc, char** argv) const score_t approx_bleu_d = cfg["approx_bleu_d"].as<score_t>(); const unsigned max_pairs = cfg["max_pairs"].as<unsigned>(); int repeat = cfg["repeat"].as<unsigned>(); - //bool test_k_best = false; - //if (cfg.count("test-k-best")) test_k_best = true; + bool check = false; + if (cfg.count("check")) check = true; weight_t loss_margin = cfg["loss_margin"].as<weight_t>(); bool batch = false; if (cfg.count("batch")) batch = true; @@ -412,27 +412,38 @@ main(int argc, char** argv) int cur_npairs = pairs.size(); npairs += cur_npairs; - score_t kbest_loss_first, kbest_loss_last = 0.0; + score_t kbest_loss_first = 0.0, kbest_loss_last = 0.0; + + if (check) repeat = 2; + vector<float> losses; // for check for (vector<pair<ScoredHyp,ScoredHyp> >::iterator it = pairs.begin(); it != pairs.end(); it++) { score_t model_diff = it->first.model - it->second.model; - kbest_loss_first += max(0.0, -1.0 * model_diff); + score_t loss = max(0.0, -1.0 * model_diff); + losses.push_back(loss); + kbest_loss_first += loss; } + score_t kbest_loss = 0.0; for (int ki=0; ki < repeat; ki++) { - score_t kbest_loss = 0.0; // test-k-best SparseVector<weight_t> lambdas_copy; // for l1 regularization SparseVector<weight_t> sum_up; // for pclr if (l1naive||l1clip||l1cumul) lambdas_copy = lambdas; + unsigned pair_idx = 0; // for check for (vector<pair<ScoredHyp,ScoredHyp> >::iterator it = pairs.begin(); it != pairs.end(); it++) { score_t model_diff = it->first.model - it->second.model; + score_t loss = max(0.0, -1.0 * model_diff); + + if (check && ki == 1) cout << losses[pair_idx] - loss << endl; + pair_idx++; + if (repeat > 1) { model_diff = lambdas.dot(it->first.f) - lambdas.dot(it->second.f); - kbest_loss += max(0.0, -1.0 * model_diff); + kbest_loss += loss; } bool rank_error = false; score_t margin; @@ -449,7 +460,7 @@ main(int argc, char** argv) if (rank_error || margin < loss_margin) { SparseVector<weight_t> diff_vec = it->first.f - it->second.f; if (batch) { - batch_loss += max(0., -1.0*model_diff); + batch_loss += max(0., -1.0 * model_diff); batch_updates += diff_vec; continue; } @@ -529,9 +540,8 @@ main(int argc, char** argv) if (ki==repeat-1) { // done kbest_loss_last = kbest_loss; if (repeat > 1) { - score_t best_score = -1.; score_t best_model = -std::numeric_limits<score_t>::max(); - unsigned best_idx; + unsigned best_idx = 0; for (unsigned i=0; i < samples->size(); i++) { score_t s = lambdas.dot((*samples)[i].f); if (s > best_model) { @@ -634,6 +644,8 @@ main(int argc, char** argv) Weights::WriteToFile(w_fn, decoder_weights, true); } + if (check) cout << "---" << endl; + } // outer loop if (average) w_average /= (weight_t)T; diff --git a/training/dtrain/dtrain.h b/training/dtrain/dtrain.h index ccb5ad4d..eb23b813 100644 --- a/training/dtrain/dtrain.h +++ b/training/dtrain/dtrain.h @@ -64,7 +64,7 @@ struct LocalScorer vector<score_t> w_; virtual score_t - Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned rank, const unsigned src_len)=0; + Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned rank, const unsigned src_len)=0; virtual void Reset() {} // only for ApproxBleuScorer, LinearBleuScorer diff --git a/training/dtrain/examples/standard/cdec.ini b/training/dtrain/examples/standard/cdec.ini index e1edc68d..6cba9e1e 100644 --- a/training/dtrain/examples/standard/cdec.ini +++ b/training/dtrain/examples/standard/cdec.ini @@ -21,6 +21,7 @@ feature_function=RuleIdentityFeatures feature_function=RuleSourceBigramFeatures feature_function=RuleTargetBigramFeatures feature_function=RuleShape +feature_function=RuleWordAlignmentFeatures #feature_function=SourceSpanSizeFeatures #feature_function=SourceWordPenalty #feature_function=SpanFeatures diff --git a/training/dtrain/examples/standard/dtrain.ini b/training/dtrain/examples/standard/dtrain.ini index fc83f08e..a515db02 100644 --- a/training/dtrain/examples/standard/dtrain.ini +++ b/training/dtrain/examples/standard/dtrain.ini @@ -2,7 +2,7 @@ #refs=./nc-wmt11.en.gz bitext=./nc-wmt11.gz output=- # a weights file (add .gz for gzip compression) or STDOUT '-' -select_weights=VOID # output average (over epochs) weight vector +select_weights=avg # output average (over epochs) weight vector decoder_config=./cdec.ini # config for cdec # weights for these features will be printed on each iteration print_weights=Glue WordPenalty LanguageModel LanguageModel_OOV PhraseModel_0 PhraseModel_1 PhraseModel_2 PhraseModel_3 PhraseModel_4 PhraseModel_5 PhraseModel_6 PassThrough diff --git a/training/dtrain/examples/standard/expected-output b/training/dtrain/examples/standard/expected-output index 75f47337..414f8b47 100644 --- a/training/dtrain/examples/standard/expected-output +++ b/training/dtrain/examples/standard/expected-output @@ -4,7 +4,7 @@ Reading ./nc-wmt11.en.srilm.gz ----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100 **************************************************************************************************** Example feature: Shape_S00000_T00000 -Seeding random number sequence to 3751911392 +Seeding random number sequence to 1285555295 dtrain Parameters: @@ -22,7 +22,7 @@ Parameters: pairs 'XYX' hi lo 0.1 pair threshold 0 - select weights 'VOID' + select weights 'avg' l1 reg 0 'none' pclr no max pairs 4294967295 @@ -36,87 +36,2250 @@ Iteration #1 of 3. . 10 Stopping after 10 input sentences. WEIGHTS - Glue = -110 - WordPenalty = -8.2082 - LanguageModel = -319.91 - LanguageModel_OOV = -19.2 - PhraseModel_0 = +312.82 - PhraseModel_1 = -161.02 - PhraseModel_2 = -433.65 - PhraseModel_3 = +291.03 - PhraseModel_4 = +252.32 - PhraseModel_5 = +50.6 - PhraseModel_6 = +146.7 - PassThrough = -38.7 + Glue = -80.3 + WordPenalty = -51.247 + LanguageModel = +282.46 + LanguageModel_OOV = -85.8 + PhraseModel_0 = -100.06 + PhraseModel_1 = -98.692 + PhraseModel_2 = -9.4958 + PhraseModel_3 = +18.535 + PhraseModel_4 = +62.35 + PhraseModel_5 = +7 + PhraseModel_6 = +31.4 + PassThrough = -126.5 --- - 1best avg score: 0.16966 (+0.16966) - 1best avg model score: 29874 (+29874) - avg # pairs: 906.3 + 1best avg score: 0.25631 (+0.25631) + 1best avg model score: -4843.6 (-4843.6) + avg # pairs: 744.4 avg # rank err: 0 (meaningless) avg # margin viol: 0 k-best loss imp: 100% - non0 feature count: 832 + non0 feature count: 1274 avg list sz: 91.3 - avg f count: 139.77 -(time 0.35 min, 2.1 s/S) + avg f count: 143.72 +(time 0.43 min, 2.6 s/S) Iteration #2 of 3. . 10 WEIGHTS - Glue = -122.1 - WordPenalty = +83.689 - LanguageModel = +233.23 - LanguageModel_OOV = -145.1 - PhraseModel_0 = +150.72 - PhraseModel_1 = -272.84 - PhraseModel_2 = -418.36 - PhraseModel_3 = +181.63 - PhraseModel_4 = -289.47 - PhraseModel_5 = +140.3 - PhraseModel_6 = +3.5 - PassThrough = -109.7 + Glue = -117.4 + WordPenalty = -99.584 + LanguageModel = +395.05 + LanguageModel_OOV = -136.8 + PhraseModel_0 = +40.614 + PhraseModel_1 = -123.29 + PhraseModel_2 = -152 + PhraseModel_3 = -161.13 + PhraseModel_4 = -76.379 + PhraseModel_5 = +39.1 + PhraseModel_6 = +137.7 + PassThrough = -162.1 --- - 1best avg score: 0.17399 (+0.004325) - 1best avg model score: 4936.9 (-24937) - avg # pairs: 662.4 + 1best avg score: 0.26751 (+0.011198) + 1best avg model score: -10061 (-5216.9) + avg # pairs: 639.1 avg # rank err: 0 (meaningless) avg # margin viol: 0 k-best loss imp: 100% - non0 feature count: 1240 + non0 feature count: 1845 avg list sz: 91.3 - avg f count: 125.11 -(time 0.27 min, 1.6 s/S) + avg f count: 139.88 +(time 0.38 min, 2.3 s/S) Iteration #3 of 3. . 10 WEIGHTS - Glue = -157.4 - WordPenalty = -1.7372 - LanguageModel = +686.18 - LanguageModel_OOV = -399.7 - PhraseModel_0 = -39.876 - PhraseModel_1 = -341.96 - PhraseModel_2 = -318.67 - PhraseModel_3 = +105.08 - PhraseModel_4 = -290.27 - PhraseModel_5 = -48.6 - PhraseModel_6 = -43.6 - PassThrough = -298.5 + Glue = -101.1 + WordPenalty = -139.97 + LanguageModel = +327.98 + LanguageModel_OOV = -234.7 + PhraseModel_0 = -144.49 + PhraseModel_1 = -263.88 + PhraseModel_2 = -149.25 + PhraseModel_3 = -38.805 + PhraseModel_4 = +50.575 + PhraseModel_5 = -52.4 + PhraseModel_6 = +41.6 + PassThrough = -230.2 --- - 1best avg score: 0.30742 (+0.13343) - 1best avg model score: -15393 (-20329) - avg # pairs: 623.8 + 1best avg score: 0.36222 (+0.094717) + 1best avg model score: -17416 (-7355.5) + avg # pairs: 661.2 avg # rank err: 0 (meaningless) avg # margin viol: 0 k-best loss imp: 100% - non0 feature count: 1776 + non0 feature count: 2163 avg list sz: 91.3 - avg f count: 118.58 -(time 0.28 min, 1.7 s/S) + avg f count: 132.53 +(time 0.37 min, 2.2 s/S) Writing weights file to '-' ... +R:X:NX_musharraf_NX_.:N1_musharraf_N2_. -11.366666666666738 +R:X:,_hat:, -11.600000000000074 +R:X:in_NX_der_NX:in_N1_N2 -4.9999999999999876 +R:X:NX_den_NX:'s_N1_N2 0.86666666666666703 +WA:dem:its -0.7333333333333335 +R:X:NX_dem_NX:N1_its_N2 -0.7333333333333335 +R:X:NX_dem_NX_,:N1_the_N2_, -3.36666666666666 +R:X:dem_NX:N1_'s -0.76666666666666694 +WA:dem:'s -0.76666666666666694 +R:X:NX_an_der:N1_of -0.76666666666666694 +WA:an:ofWA:der:of 4.1999999999999904 +R:X:NX_an_der:N1_in -1.3666666666666671 +WA:an:inWA:der:in 1.3333333333333339 +R:X:macht_NX:N1_makes -1.0666666666666671 +R:X:NX_macht_NX:N1_powers_N2 -0.83333333333333359 +RBT:X1_powers -0.83333333333333359 +WA:macht:powers -0.83333333333333359 +RBT:makes_X2 -0.83333333333333359 +R:X:NX_macht_NX:N1_makes_N2 -0.83333333333333359 +RBT:X1_within -0.53333333333333344 +R:X:an_der:in -0.16666666666666666 +R:X:NX_,_NX_musharraf:N1_N2_musharraf -0.16666666666666666 +R:X:NX_medien_NX_.:N2_N1_media_. 2.899999999999995 +WA:medien:mediaWA:.:. 2.899999999999995 +RBT:media_. 2.899999999999995 +WA:zu:toWA:.:. 1.4666666666666668 +R:X:NX_die:N1_a -33.433333333332861 +R:X:die:, -7.5000000000000169 +R:X:und_NX:N1_and -7.5000000000000169 +WA:und:andWA:und:, -28.366666666666479 +R:X:und:,_and -28.366666666666479 +R:X:NX_die:the_N1 1.1000000000000005 +WA:,:,WA:aber:but 1.4666666666666668 +RBT:,_but 0.46666666666666684 +RBT:but_X2 0.46666666666666684 +WA:zu:withWA:und:andWA:den:the -0.36666666666666664 +R:X:NX_zu_NX_und_den:N1_with_N2_and_the -0.36666666666666664 +R:X:NX_,_aber_NX_hat:N1_,_but_N2_has -1.0000000000000004 +R:X:terror_NX_zu_NX_.:terror_N2_N1_. -3.199999999999994 +WA:terror:terrorWA:.:. -3.199999999999994 +RBS:terror_X -3.199999999999994 +RBT:terror_X2 -3.199999999999994 +RBS:versucht_, 1.9999999999999982 +RBT:tried_to 1.9999999999999982 +R:X:,_NX_und_den:,_N1_and_the -0.033333333333333333 +R:X:für:für -0.033333333333333333 +WA:,:,WA:und:andWA:den:the -0.033333333333333333 +RBT:<r>_decision 1.9999999999999982 +RBT:<r>_für -0.033333333333333333 +RBT:für_</r> -0.033333333333333333 +R:X:ist:ist -0.96666666666666712 +RBT:<r>_ist -0.96666666666666712 +RBT:X1_transition 1.1666666666666672 +RBT:transition_. 1.1666666666666672 +R:X:NX_.:._N1_transition_. 1.1666666666666672 +WA:.:.WA:.:. 1.1666666666666672 +RBT:of_doing 1.0000000000000004 +R:X:NX_.:N1_of_doing_. 1.0000000000000004 +RBT:doing_. 1.0000000000000004 +RBT:it_has 2.7999999999999954 +R:X:NX_ist_NX:N1_,_it_has_N2 2.7999999999999954 +WA:ein:anyWA:ist:isWA:,:, -1.5333333333333332 +R:X:NX_zu_geben:provide_N1_to -2.7666666666666622 +WA:jener:the 1.6666666666666661 +R:X:NX_ein_NX_ist_,:N1_is_any_N2_, -1.5333333333333332 +RBT:give_X1 -0.29999999999999999 +WA:,:toWA:das:theWA:zu:to 1.9999999999999982 +RBS:entscheidung_X 1.9999999999999982 +R:X:,_das_NX_zu_NX:to_N2_the_N1 1.9999999999999982 +RBS:ist_, -1.5333333333333332 +RBS:<r>_jener 1.9999999999999982 +R:X:jener_NX:the_N1 1.6666666666666661 +R:X:NX_musharrafs_NX:his_N2_N1 1.9999999999999982 +R:X:könnte:könnte 1.9999999999999982 +RBS:so_X 1.5333333333333332 +R:X:NX_zu_NX_,:to_N2_N1_that 1.5999999999999996 +WA:ein:anyWA:ist:is 1.5333333333333332 +R:X:NX_so:N1_as -1.0333333333333339 +WA:könnte:könnte 1.9999999999999982 +RBT:könnte_</r> 1.9999999999999982 +R:X:,_so_NX:,_N1 1.5333333333333332 +R:X:NX_zum_NX:N1_to_N2 -4.7333333333333218 +R:X:könnte_NX_,_das_NX:N1_N2_may -1.9999999999999982 +RBT:<r>_könnte 1.9999999999999982 +RBT:'s_history 0.33333333333333331 +R:X:NX_geschichte:N1_'s_history 0.33333333333333331 +R:X:NX_pakistans:N1_pakistan 0.33333333333333331 +RBT:X2_may -1.9999999999999982 +RBS:,_so 1.5333333333333332 +RBS:könnte_X -1.9999999999999982 +Shape_S01111_T11111 -0.86666666666666703 +R:X:NX_zu_NX_,:,_N1_N2 -5.6333333333333231 +R:X:NX_zum_NX:N1_for_N2 2.2666666666666639 +WA:zum:for 2.2666666666666639 +R:X:NX_zu_NX_,:N1_N2_that -0.63333333333333353 +R:X:jener_NX:of_N1 0.33333333333333331 +R:X:NX_so:N1_for -0.39999999999999997 +WA:so:for -0.39999999999999997 +R:X:NX_zu_NX_,:N1_N2_to -0.36666666666666664 +R:X:NX_zum_NX:N1_the_N2 0.90000000000000036 +WA:zum:the 0.90000000000000036 +R:X:NX_zu_NX_,:to_N2_N1_, 3.9666666666666579 +R:X:NX_so:N1_so -0.066666666666666666 +R:X:NX_zu_NX_,:N2_N1_who -0.066666666666666666 +R:X:NX_geschichte:N1_history -0.33333333333333331 +R:X:NX_pakistans:pakistan_N1 -0.13333333333333333 +R:X:falls_NX:if_N1 -0.19999999999999998 +R:X:pakistans:pakistans -0.19999999999999998 +RBT:<r>_pakistans -0.19999999999999998 +WA:pakistans:pakistans -0.19999999999999998 +RBS:falls_X -0.19999999999999998 +RBS:<r>_pakistans -0.19999999999999998 +RBT:pakistans_</r> -0.19999999999999998 +R:X:NX_so:N1_that -0.033333333333333333 +RBT:<r>_- 1.4666666666666668 +R:X:NX_-:-_N1 1.4666666666666668 +R:X:NX_und_ein_NX:N1_and_a_N2 14.53333333333345 +RBT:general_X1 -4.2666666666666577 +RBT:X1_arena -7.6333333333333533 +RBS:X_bühne -7.6333333333333533 +WA:und:andWA:ein:a 14.53333333333345 +RBT:-_X1 1.4666666666666668 +R:X:general_NX:general_N1 3.4666666666666597 +R:X:NX_bühne:N1_arena -7.6333333333333533 +RBS:general_X -4.2666666666666577 +RBT:the_national -8.4333333333333638 +R:X:die_nationale:the_national -8.4333333333333638 +WA:die:theWA:nationale:national -8.4333333333333638 +RBS:die_nationale -8.4333333333333638 +R:X:NX_-:'s_N1 -1.2666666666666673 +RBT:X1_12% -8.9000000000000359 +R:X:musharraf_NX_am:musharraf_N1_of -8.6000000000000316 +R:X:NX_12:N1_12% -8.9000000000000359 +WA:12:12% -8.9000000000000359 +RBS:X_12 -8.9000000000000359 +WA:die:theWA:und:and -0.56666666666666676 +RBT:national_X1 -0.56666666666666676 +R:X:nationale_NX:national_N1 -0.56666666666666676 +RBT:<r>_national -0.56666666666666676 +WA:am:at -0.36666666666666664 +R:X:NX_am:N1_at -0.29999999999999999 +R:X:NX_am_NX:N1_at_N2 -0.066666666666666666 +R:X:NX_halten:maintain_the_N1 -1.5666666666666664 +RBT:<r>_maintain -1.5666666666666664 +WA:halten:maintain -1.5666666666666664 +R:X:NX_versprechen:N1_commitment 3.0333333333333279 +R:X:am_11_._september_2001:the_september_11_,_2001 4.6333333333333222 +RBT:the_september 4.6333333333333222 +WA:am:theWA:11:11WA:september:septemberWA:2001:2001 4.6333333333333222 +RBS:sich_</r> 1.4000000000000006 +RBS:zu_geben -2.7666666666666622 +RBT:provide_X1 -2.7666666666666622 +WA:zu:toWA:geben:provide -2.7666666666666622 +RBT:<r>_provide -2.7666666666666622 +RBT:and_X1 -4.7333333333333218 +RBT:<r>_and -4.7333333333333218 +RBT:prove_X1 -1.3333333333333339 +WA:geben:prove -1.3333333333333339 +RBT:<r>_prove -1.3333333333333339 +R:X:NX_geben:prove_N1 -1.3333333333333339 +R:X:als_er:as_he 3.5999999999999925 +RBT:X2_over -0.33333333333333331 +R:X:den_NX_zu_NX:N2_over_the_N1 -0.33333333333333331 +RBT:X1_wealth -0.26666666666666666 +RBT:wealth_and -0.26666666666666666 +R:X:NX_und_den_NX_.:N1_wealth_and_N2_. -0.26666666666666666 +WA:am:ofWA:11:11WA:september:septemberWA:2001:2001 -4.6333333333333222 +RBT:of_september -4.6333333333333222 +R:X:am_11_._september_2001:of_september_11_,_2001 -4.6333333333333222 +R:X:NX_geben:give_N1 -0.29999999999999999 +WA:geben:give -0.29999999999999999 +RBT:<r>_give -0.29999999999999999 +R:X:NX_den_notstand_NX:N1_N2_a_state_of_emergency -10.766666666666735 +R:X:in_dem_NX:in_the_N1 -11.333333333333314 +RBT:of_emergency 0.79999999999999993 +RBT:X1_pakistan 5.6666666666666572 +R:X:NX_der_pakistanischen:N1_pakistan 5.4666666666666579 +R:X:NX_der_macht_NX:N1_hold_N2_power 1.1333333333333335 +R:X:NX_dem_NX_den:N1_N2_the 0.99999999999999967 +RBS:der_macht 1.0000000000000002 +RBT:his_X2 -0.16666666666666644 +WA:,:toWA:an:to 1.1333333333333335 +R:X:,_an:to 1.1333333333333335 +R:X:NX_von:N1_by -0.33333333333333331 +RBT:hold_X2 1.1333333333333335 +R:X:notstand_NX:N1_a_state_of_emergency 10.833333333333394 +RBS:notstand_X 0.79999999999999993 +R:X:NX_sie:N1_she 8.6666666666666465 +WA:in:inWA:dem:the -11.56666666666665 +WA:pervez:pervezWA:musharraf:musharraf -26.600000000000197 +RBS:pervez_musharraf -26.600000000000197 +R:X:pervez_musharraf:pervez_musharraf -2.7333333333333343 +WA:dies:thisWA:ist:is -3.0333333333333283 +R:X:musharraf_NX_,_als_er:musharraf_N1_as_he 4.3333333333333233 +R:X:in:to 2.3333333333333348 +WA:den:to -3.0666666666666664 +RBS:X_rahmen -3.93333333333333 +WA:in:for -4.9999999999999929 +RBS:rahmen_der -3.93333333333333 +Shape_S01111_T11011 3.3666666666666551 +RBS:justiz_und 64.99999999999865 +R:X:den:to -3.0666666666666664 +R:X:NX_rahmen_der:N1_the -3.93333333333333 +RBT:X2_pervez 12.66666666666667 +R:X:NX_pakistanischen_NX_.:pakistan_N1_N2_. -3.93333333333333 +WA:pakistanischen:pakistanWA:.:. -3.93333333333333 +R:X:NX_dem_NX_pervez_musharraf:N1_N2_pervez_musharraf -4.1333333333333293 +RBS:geben_</r> -5.1999999999999877 +R:X:NX_den_NX_.:N1_the_N2_. -1.6666666666666672 +RBT:the_pakistan -1.4000000000000004 +R:X:NX_der_pakistanischen:N1_the_pakistan -1.4000000000000004 +R:X:NX_pervez_musharraf:N1_pervez_musharraf -3 +WA:für:forWA:.:. 4.9666666666666544 +RBT:<r>_verfassung -1.0000000000000002 +R:X:verfassung:verfassung -1.0000000000000002 +RBT:verfassung_</r> -1.0000000000000002 +WA:verfassung:verfassung -1.0000000000000002 +R:X:den:for -0.73333333333333328 +WA:den:for -0.73333333333333328 +R:X:macht_NX:N1_power 15.433333333333465 +RBS:an_der 3.866666666666656 +RBT:rule_X1 -0.79999999999999993 +R:X:NX_ausgerufen:declared_a_state_of_N1 -0.79999999999999993 +R:X:NX_den_notstand:emergency_rule_N1 -0.79999999999999993 +RBT:emergency_rule -0.79999999999999993 +WA:dem:theWA:den:the -0.46666666666666662 +RBT:does_</r> -3.4999999999999942 +WA:macht:does -3.4999999999999942 +R:X:NX_an_der:N1_the -10.166666666666716 +RBT:X2_does -0.59999999999999998 +RBT:throughout_</r> 3.0666666666666664 +WA:in:throughout 3.0666666666666664 +RBT:<r>_throughout 3.0666666666666664 +R:X:in:throughout 3.0666666666666664 +R:X:musharraf_NX_,_als_NX:musharraf_N1_N2 -5.8666666666666565 +WA:,:,WA:hat:, -0.26666666666666666 +R:X:NX_,_hat:N1_, 11.333333333333407 +RBS:,_hat -0.26666666666666666 +WA:in:at 3.466666666666665 +RBT:at_</r> 3.1666666666666661 +R:X:in:within 3.5999999999999979 +WA:in:within 3.0666666666666664 +RBT:<r>_over 3.7999999999999972 +RBT:over_</r> 3.7999999999999972 +R:X:in:over 3.7999999999999972 +WA:in:over 3.7999999999999972 +R:X:in:have 3.1333333333333329 +RBT:have_</r> 3.1333333333333329 +RBT:<r>_it -0.39999999999999997 +RBS:<r>_1999 -0.26666666666666666 +WA:in:'s 3.2333333333333321 +R:X:in:'s 3.93333333333333 +WA:den:theWA:den:the -0.33333333333333331 +R:X:notstand_NX_.:N1_a_state_of_emergency_. 0.73333333333333373 +RBT:emergency_. 0.73333333333333373 +R:X:den_NX_den_NX:the_N1_N2 -0.33333333333333331 +WA:notstand:emergencyWA:.:. 0.73333333333333373 +R:X:NX_pakistanischen:N1_pakistan -0.13333333333333333 +R:X:NX_der:N1_in -0.13333333333333333 +RBT:<r>_viele 10.999999999999979 +R:X:den:with -0.13333333333333333 +WA:den:with -0.13333333333333333 +WA:den:'s 0.73333333333333373 +WA:in:inWA:musharraf:musharraf -0.66666666666666685 +R:X:in_NX_musharraf:in_N1_musharraf -0.66666666666666685 +R:X:NX_ein_NX:N1_put_forward_a_N2 10.933333333333309 +RBT:out_</r> -0.36666666666666664 +RBT:of_power -0.13333333333333333 +WA:,:out -0.36666666666666664 +RBT:<r>_out -0.13333333333333333 +R:X:,:out -0.13333333333333333 +WA:an:ofWA:der:ofWA:macht:power -0.13333333333333333 +WA:von:on 2.0666666666666673 +R:X:NX_versucht_,:N1_tried_to 1.9999999999999982 +R:X:NX_an_der_macht_NX:N1_of_power_N2 -0.13333333333333333 +R:X:NX_hat:have_N1 4.399999999999995 +R:X:in_NX_hat_NX:in_N1_N2 -0.066666666666666666 +WA:die:an 0.93333333333333346 +R:X:NX_unabhängige:N1_independent 0.66666666666666663 +RBT:judiciary_and 64.99999999999865 +RBT:X1_independent 0.66666666666666663 +RBS:X_unabhängige 0.66666666666666663 +RBT:<r>_an 0.93333333333333346 +R:X:NX_justiz_und:N1_judiciary_and 64.99999999999865 +WA:justiz:judiciaryWA:und:and 64.99999999999865 +R:X:die:an 0.93333333333333346 +R:X:NX_und:N1_,_and -3.7999999999999972 +RBT:--_and -2.0666666666666678 +R:X:NX_und:N1_capabilities_,_and -3 +RBT:X1_capabilities -3 +RBT:capabilities_, -3 +R:X:NX_und:N1_reform_,_and -6.5333333333333208 +RBT:<r>_stability 8.8666666666666583 +WA:bühne:arena -7.6333333333333533 +R:X:NX_zu_NX:N1_with_N2 4.4666666666666615 +RBT:with_X2 4.0999999999999961 +WA:zu:on -6.6000000000000005 +RBS:am_</r> -8.9000000000000359 +RBT:media_X2 -9.4333333333333744 +RBT:<r>_elected 5.6999999999999922 +R:X:zu_NX:N1_on -6.6000000000000005 +R:X:NX_zu_NX:in_N2_N1 -0.33333333333333331 +R:X:NX_zu_NX:N1_to_be_N2 2.8000000000000003 +RBT:to_be 2.8000000000000003 +WA:zu:toWA:zu:be 2.8000000000000003 +RBT:be_X2 2.8000000000000003 +RBT:arena_</r> -7.6333333333333533 +R:X:NX_zu_NX:N1_to_N2 1.9666666666666659 +R:X:NX_und:N1_construction_and -0.39999999999999997 +RBT:X1_construction -0.39999999999999997 +RBT:construction_and -0.39999999999999997 +RBS:amerika_X -0.066666666666666666 +R:X:NX_und:N1_market_and -0.26666666666666666 +R:X:stabilität:stability 8.8666666666666583 +RBT:X1_forward -0.066666666666666666 +R:X:NX_und:N1_forward_and -0.066666666666666666 +RBT:too_X2 -0.066666666666666666 +WA:zu:too -0.066666666666666666 +RBT:<r>_by -0.13333333333333333 +WA:,:,WA:als:when 4.5333333333333279 +R:X:die:by -0.13333333333333333 +WA:die:by -0.13333333333333333 +R:X:die:with -0.46666666666666662 +WA:die:with -0.46666666666666662 +R:X:die:who -0.066666666666666666 +R:X:NX_,_aber_NX_,:N1_,_N2_to -14.433333333333366 +RBT:its_X2 -10.766666666666657 +WA:hat:hasWA:versucht:tried -30.666666666666924 +R:X:NX_,_aber_NX:N1_,_N2 14.766666666666696 +RBT:war_on 3.7333333333333307 +R:X:NX_seine_NX_zu:N1_its_N2_to -10.033333333333312 +RBS:,_aber 0.79999999999999993 +WA:als:thanWA:das:the 4.2333333333333254 +RBT:X1_its -11.699999999999996 +WA:sie:her -0.46666666666666662 +RBS:versucht_X 13.233333333333341 +RBS:,_seine 13.233333333333341 +RBS:X_politischen -11.599999999999985 +RBS:seine_X -1.4999999999999993 +RBT:and_the 1.1333333333333331 +R:X:,_seine_NX_zu_NX:to_N2_its_N1 13.233333333333341 +R:X:NX_und_den:N1_and_the 2.6000000000000001 +RBS:und_den 2.6666666666666576 +WA:,:toWA:seine:itsWA:zu:to 13.233333333333341 +R:X:NX_als_das:N1_than_the -1.9666666666666657 +R:X:viele:viele 10.999999999999979 +WA:und:andWA:den:the 1.5333333333333334 +WA:seine:itsWA:zu:to -10.033333333333312 +WA:hat:hasWA:hat:,WA:er:he 31.666666666666938 +RBS:als_das 4.2333333333333254 +R:X:er:he -4.6666666666666607 +RBT:,_he 25.733333333333519 +RBT:X2_its 13.233333333333341 +WA:das:theWA:zu:to -1.7666666666666628 +R:X:NX_das_NX_zu:N1_the_N2_to -1.7666666666666628 +R:X:NX_das_NX:N1_the_N2 -1.4000000000000004 +RBT:<r>_action -1.466666666666667 +R:X:maßnahmen:action -1.466666666666667 +R:X:NX_und_den:N1_,_and_the -1.0666666666666669 +WA:maßnahmen:actions -2.2000000000000011 +R:X:NX_und_den:N1_with_the 6.9333333333333194 +WA:und:withWA:den:the 6.9333333333333194 +RBT:its_war -0.93333333333333346 +RBT:._X1 1.1666666666666672 +R:X:NX_den_krieg:N1_its_war -0.93333333333333346 +RBT:she_</r> 8.6666666666666465 +RBS:X_blieben -0.66666666666666663 +WA:den:itsWA:krieg:war -0.93333333333333346 +R:X:NX_als_das_NX:N1_than_the_N2 4.699999999999994 +WA:viele:viele 10.999999999999979 +R:X:NX_,_für:N1_for -1.0000000000000002 +WA:für:for -1.0000000000000002 +R:X:NX_seine_NX:'s_N1_N2 -0.46666666666666662 +R:X:seine_NX:its_N1 -0.39999999999999997 +RBT:of_their -2.8666666666666671 +RBT:<r>_seine 1.4999999999999993 +R:X:als_das_NX:than_the_N1 1.4999999999999993 +R:X:er:it -0.39999999999999997 +R:X:NX_zu_NX_und:N2_N1_,_and -0.39999999999999997 +R:X:NX_zu_NX_und:N1_N2_,_and -0.39999999999999997 +RBT:<r>_gestalten -8.9333333333333673 +RBT:gestalten_</r> -8.9333333333333673 +WA:dem:theWA:,:, -3.36666666666666 +R:X:gestalten:gestalten -8.9333333333333673 +WA:gestalten:gestalten -8.9333333333333673 +WA:krieg:warWA:gegen:against -0.39999999999999997 +RBT:war_against -0.39999999999999997 +WA:krieg:warWA:gegen:on -1.7333333333333301 +RBS:__X -0.8666666666666667 +R:X:ist_NX:N1_has -2.0333333333333337 +RBT:this_is -3.0333333333333283 +R:X:NX_.:N1_heading_. -0.26666666666666661 +RBT:X1_heading -0.26666666666666661 +RBT:heading_. -0.26666666666666661 +R:X:,:-- 4.399999999999995 +RBT:<r>_-- 4.399999999999995 +WA:so:this -1.3333333333333339 +RBT:this_possibility -1.3333333333333339 +R:X:NX_so:this_possibility_N1 -1.3333333333333339 +RBT:possibility_X1 -1.3333333333333339 +WA:,:_ 10.799999999999976 +R:X:,:_ -2.6666666666666679 +WA:so:thereby 1.3333333333333339 +R:X:NX_so:N1_,_thereby 1.3333333333333339 +RBT:,_thereby 1.3333333333333339 +RBT:thereby_</r> 1.3333333333333339 +R:X:,:on -1.7333333333333341 +R:X:das_NX_,:N1_'s_system_of_higher_education_, 10.933333333333309 +R:X:NX_,:that_it_would_N1_, -16.333333333333385 +R:X:NX_er_NX:N1_he_N2 -17.200000000000063 +WA:,:thatWA:,:, -16.333333333333385 +RBT:it_would -16.333333333333385 +WA:als:asWA:er:he -16.533333333333388 +RBT:as_he -12.200000000000012 +RBS:als_er -14.933333333333366 +RBS:gewählte_regierung -8.5666666666666771 +R:X:NX_gewählte_regierung_NX:N2_N1_elected_government 9.3666666666666814 +R:X:NX_die:,_N1 37.433333333332634 +RBT:national_X2 2.4000000000000008 +R:X:NX_nationale_NX:N1_national_N2 2.4000000000000008 +RBT:elected_government 9.3666666666666814 +RBS:nationale_X 1.8333333333333339 +RBS:eine_X 5.6999999999999922 +RBS:<r>_eine -13.033333333333381 +RBT:an_X1 5.6999999999999922 +RBT:when_he -2.7333333333333303 +WA:als:whenWA:er:he -2.7333333333333303 +R:X:,_NX:N1_, -0.53333333333333333 +R:X:NX_von:N1_about -0.46666666666666662 +R:X:als_er:when_he -2.7333333333333303 +R:X:NX_regierung_NX:N1_government_N2 -3.7999999999999972 +RBT:government_X2 -3.7999999999999972 +WA:er:heWA:regierung:government -3.7333333333333307 +R:X:er_NX_regierung_NX:he_N2_N1_government -3.7333333333333307 +R:X:eine:, -3.466666666666665 +WA:eine:, -3.466666666666665 +R:X:NX_,_als:N1_than 3.3333333333333308 +R:X:eine:eine -14.53333333333336 +RBT:<r>_eine -14.53333333333336 +RBT:eine_</r> -14.53333333333336 +WA:eine:eine -14.53333333333336 +R:X:NX_gewählte_regierung:N1_government -17.933333333333408 +Shape_S01111_T11010 -5.6333333333333231 +R:X:NX_,_als:N1_,_as -1.5666666666666662 +RBT:,_as 2.4333333333333305 +RBT:is_a -1.7333333333333341 +R:X:NX_eine:N1_is_a -1.7333333333333341 +WA:eine:a -1.7333333333333341 +R:X:NX_eine:N1_will -1.1333333333333335 +WA:eine:for -0.73333333333333328 +R:X:eine:for -0.73333333333333328 +RBT:as_X2 2.1333333333333342 +R:X:NX_musharraf_NX_die:N1_musharraf_N2_the 3.8666666666666583 +RBT:it_X2 -5.4666666666666579 +R:X:NX_eine:N1_any -0.066666666666666666 +RBT:X1_any -0.066666666666666666 +WA:eine:any -0.066666666666666666 +R:X:NX_,:N1__ 13.466666666666677 +RBS:viele_</r> -0.6000000000000002 +R:X:NX_ihres:N1_of_their -2.8666666666666671 +RBT:X1_she 5.9999999999999893 +WA:sie:she 5.9999999999999893 +R:X:NX_der_politischen_NX:N1_political_N2 11.599999999999985 +R:X:viele:of -11.599999999999985 +RBS:von_der -11.599999999999985 +R:X:NX_politischen_NX:N1_political_N2 -11.599999999999985 +RBT:thought_</r> -5.3999999999999915 +WA:dass:thought -5.3999999999999915 +RBT:they_</r> -7.3999999999999844 +RBT:<r>_terror -3.199999999999994 +R:X:NX_dass:N1_thought -5.3999999999999915 +RBS:<r>_sie -5.6666666666666572 +RBT:X1_thought -5.3999999999999915 +RBT:X1_all 2.8666666666666671 +R:X:NX_ihres:N1_all_their 2.8666666666666671 +RBT:all_their 2.8666666666666671 +R:X:NX_sie_NX:N1_she_N2 -2.6666666666666679 +RBT:she_X2 -2.6666666666666679 +R:X:NX_von:N1_on 2.0666666666666673 +R:X:er_NX:N1_,_he -5.9333333333333229 +WA:dass:see -3.6666666666666643 +RBT:see_</r> -3.6666666666666643 +RBT:X1_see -3.6666666666666643 +WA:,:who -1.2666666666666668 +RBT:__X2 -0.8666666666666667 +R:X:NX___NX:N1___N2 -0.8666666666666667 +RBS:<r>_dass -1.2000000000000004 +R:X:NX_,_aber_NX:N1_,_but_N2 1.4666666666666668 +RBT:keep_</r> -1.2000000000000004 +WA:dass:keep -1.2000000000000004 +R:X:NX_,_NX:N1_to_N2 -1.2000000000000004 +RBT:<r>_keep -1.2000000000000004 +WA:sie:theyWA:.:. 3.466666666666665 +RBT:X1_her -0.46666666666666662 +RBT:her_X2 -0.46666666666666662 +R:X:NX_sie_NX:N1_her_N2 -0.46666666666666662 +WA:musharraf:musharrafWA:am:of -8.6000000000000316 +RBT:X1_about -0.46666666666666662 +WA:von:about -0.46666666666666662 +WA:von:by -0.33333333333333331 +R:X:NX_,:N1_out -0.23333333333333331 +RBT:think_</r> -0.26666666666666666 +RBT:X1_out -0.23333333333333331 +WA:halten:think -0.26666666666666666 +R:X:NX_würde:N1_,_would 1.133333333333334 +RBT:,_would 1.133333333333334 +WA:dass:let -0.46666666666666662 +RBT:X1_let -0.46666666666666662 +R:X:die_NX:N1_'s 0.066666666666666666 +WA:so:so -0.066666666666666666 +RBT:brought_</r> 0.066666666666666666 +R:X:NX_den_taliban_NX:N1_taliban_N2 -8.2333333333333165 +WA:brachten:brought 0.066666666666666666 +R:X:NX_internationale:N1_the_international 22.700000000000141 +R:X:taliban:taliban 7.7666666666666488 +RBS:<r>_taliban 7.7666666666666488 +R:X:NX_erklärte_,_NX:N1_,_N2 10.766666666666666 +RBT:<r>_taliban 7.7666666666666488 +R:X:den_NX_den_NX:N2_the_N1 7.9666666666666499 +R:X:den_taliban:the_taliban 3 +RBT:the_taliban 3 +WA:den:theWA:taliban:taliban 3 +R:X:NX_unterstützen_.:support_N1_. 2.5333333333333274 +RBT:geben_</r> -0.80000000000000016 +RBT:<r>_geben -0.80000000000000016 +WA:geben:geben -0.80000000000000016 +R:X:NX_dem_NX_musharraf:N1_N2_musharraf 12.833333333333426 +RBS:<r>_geben -0.80000000000000016 +R:X:geben:geben -0.80000000000000016 +RBS:X_terroranschläge -0.066666666666666666 +R:X:NX_terroranschläge:N1_terrorist_attacks -0.066666666666666666 +RBT:X1_terrorist -0.066666666666666666 +R:X:NX_amerika_NX:N2_N1_america -0.066666666666666666 +R:X:NX_musharraf_NX:musharraf_N2_N1 -0.40000000000000008 +RBT:<r>_ready -0.59999999999999998 +RBT:ready_</r> 1.3333333333333328 +WA:bereit:ready 1.3333333333333328 +RBT:he_X1 -1.6000000000000005 +RBT:ist_</r> -0.96666666666666712 +R:X:er_sich_NX:he_N1 -0.59999999999999998 +RBT:<r>_he -9.9999999999999769 +R:X:NX_den_taliban_NX:N2_N1_taliban -2.2666666666666675 +RBS:taliban_X -13.900000000000007 +R:X:NX_taliban_NX:N1_taliban_N2 -3.4000000000000004 +RBT:taliban_X2 -11.633333333333317 +WA:er:him -0.89999999999999991 +R:X:NX_den_NX:the_N2_N1 -0.89999999999999991 +RBT:<r>_him -0.89999999999999991 +RBT:X1_against -8.1999999999999869 +WA:gegen:against -8.1999999999999869 +RBT:against_</r> -8.999999999999984 +R:X:ins_NX:into_the_N1 -1.0999999999999999 +WA:am:of -1.6000000000000003 +R:X:am_NX:of_N1 -1.6000000000000003 +R:X:NX_musharraf:musharraf_N1 -8.1333333333333275 +RBS:den_taliban -7.6666666666666528 +R:X:NX_den_taliban:N1_taliban -0.16666666666666607 +RBT:global_</r> -10.366666666666644 +RBT:X2_a -12.466666666666741 +WA:bereit:willing 4.4666666666666659 +R:X:bereit:willing 4.9999999999999982 +RBT:willing_</r> 4.4666666666666659 +RBT:<r>_willing 4.9999999999999982 +RBS:internationale_</r> -1.099999999999997 +RBT:international_</r> 9.2666666666666497 +WA:als:than 5.9333333333333265 +R:X:als:than 2.600000000000001 +RBT:than_</r> 1.8333333333333302 +RBT:<r>_than 4.099999999999997 +WA:ist:ist -0.96666666666666712 +RBS:er_sich 5.1333333333333293 +R:X:den:of -3.300000000000002 +RBT:X2_- -3.300000000000002 +WA:hat:hasWA:musharraf:musharraf 9.9999999999999751 +RBT:X1_international -16.800000000000093 +RBT:any_</r> -0.066666666666666666 +R:X:NX_internationale_NX:N1_international_N2 -3.3666666666666605 +R:X:am_NX:on_N1 -29.900000000000158 +RBT:<r>_on -37.000000000000256 +RBT:on_X1 -29.900000000000158 +R:X:NX_erklärte_,:N1_, -10.766666666666666 +WA:zu:toWA:,:, 3.9666666666666579 +WA:der:theWA:pakistanischen:pakistan -1.4000000000000004 +R:X:terroranschläge:terrorist_attacks 0.066666666666666666 +R:X:hat_NX_musharraf:N1_musharraf_has 4.9333333333333265 +RBT:international_X2 19.900000000000016 +R:X:NX_geben_und:N1_and 5.1999999999999877 +R:X:und_den_NX_.:and_N1_. -4.7333333333333218 +R:X:brachten:brachten -0.066666666666666666 +R:X:NX_pervez_musharraf:pervez_musharraf_N1 -16.733333333333391 +RBT:the_international 45.966666666666775 +R:X:NX_ein_NX_ist:N1_is_any_N2 1.5333333333333332 +R:X:NX_dem_NX_den:N1_the_N2_the -0.46666666666666662 +RBS:geben_und 5.1999999999999877 +RBT:bereit_</r> -5.7999999999999945 +RBS:<r>_bereit -1.4000000000000006 +Shape_S11100_T01100 19.900000000000087 +RBT:X1_makes -1.8999999999999986 +R:X:als:as 5.1333333333333284 +WA:sich:, -3.2999999999999994 +RBS:<r>_nationale -0.56666666666666676 +Shape_S11111_T11010 2.0333333333333292 +WA:taliban:taliban -3 +RBS:in_dem -11.56666666666665 +R:X:den_NX_zu:to_N1 -5.2666666666666577 +R:X:,_NX_den_NX_zu:to_N2_N1 2.0333333333333292 +R:X:von_NX_angeführten:N1_-_led 3.300000000000002 +RBS:ins_</r> 3.4000000000000017 +RBT:<r>_brachten -0.066666666666666666 +WA:könnte:may -1.9999999999999982 +RBT:<r>_bereit -5.7999999999999945 +RBS:<r>_den -2.3333333333333308 +RBS:<r>_entscheidung 1.9999999999999982 +RBS:unterstützen_. 8.2999999999999972 +RBT:musharraf_has 9.9999999999999751 +R:X:NX_internationale_NX:N1_the_international_N2 23.266666666666737 +WA:so:as -1.0333333333333339 +WA:,:,WA:,:to -14.433333333333366 +RBT:taliban_</r> 11.633333333333317 +RBT:on_terror 12.933333333333328 +RBS:der_pakistanischen 4.0666666666666629 +RBS:X_unterstützen 8.2999999999999972 +R:X:NX_unterstützen_.:N1_. 5.7666666666666613 +RBS:<r>_terroranschläge 0.066666666666666666 +WA:bereit:bereit -5.7999999999999945 +R:X:in_dem:in_the -0.23333333333333331 +WA:den:toWA:zu:to -5.2666666666666577 +RBT:forward_and -0.066666666666666666 +RBT:X1_taliban -10.766666666666666 +WA:für:für -0.033333333333333333 +R:X:NX_amerika:N1_america 0.066666666666666666 +R:X:NX_ins_NX:N1_into_the_N2 -2.3000000000000007 +WA:brachten:brachten -0.066666666666666666 +RBT:<r>_terrorist 0.066666666666666666 +RBS:X_internationale 3.4000000000000017 +RBS:taliban_</r> 13.900000000000007 +RBS:den_notstand -11.566666666666739 +R:X:NX_ins:N1_into 3.0333333333333337 +R:X:NX_und:N1_--_and -2.0666666666666678 +RBS:brachten_</r> -0.066666666666666666 +RBS:X_ins 0.73333333333333339 +RBS:X_geben 3.5666666666666598 +RBT:into_</r> 3.4000000000000017 +R:X:sie_NX:N1_they -5.6666666666666572 +RBS:gegen_den 6.4666666666666588 +R:X:entscheidung_NX_,_NX:decision_N1_N2 1.9999999999999982 +RBS:X_taliban -0.099999999999999714 +RBS:sich_X -1.4000000000000006 +R:X:NX_taliban:N1_taliban 3.300000000000002 +RBT:in_the -11.56666666666665 +R:X:als:when -6.9666666666666579 +RBT:of_</r> -61.466666666666619 +WA:eine:is -69.200000000000344 +R:X:NX_,:N1_in -8.1333333333333204 +RBT:X2_. 28.300000000000193 +WA:terror:terror -5.8666666666666627 +R:X:sein:sein 14.733333333333329 +WA:notstand:emergency -0.73333333333333373 +WA:zu:to 31.300000000000171 +RBT:a_top -33.600000000000207 +R:X:NX_das:N1_the 12.133333333333306 +R:X:dies:that -20.233333333333395 +R:X:NX_internationale:N1_global -10.366666666666644 +RBS:so_</r> -1.5333333333333332 +RBT:X2_effectively 30.800000000000168 +RBT:<r>_target -12.399999999999972 +R:X:NX_ausgerufen_NX:declared_a_state_of_N1_N2 7.6999999999999886 +R:X:NX_den_NX_gegen:N1_the_N2_against -0.39999999999999997 +RBT:X1_war 42.533333333333672 +RBT:<r>_being -26.933333333333451 +RBT:he_</r> 46.233333333333718 +R:X:NX_,:to_N1 1.7 +R:X:NX_bemühen:N1_effort 1.5666666666666664 +R:X:,_für_NX:,_N1 3.8333333333333246 +R:X:NX_dem_NX_,:N1_N2_, 0.033333333333333472 +RBS:den_terror 7.0666666666666558 +R:X:NX_und:N1_- 2.0333333333333345 +R:X:NX_hat:N1_, -10.866666666666651 +WA:von:to -0.46666666666666662 +RBT:X1_hold -3.0666666666666642 +RBT:to_X1 -2.8666666666666667 +RBT:X1_it -68.666666666667041 +WA:,:to 71.466666666666569 +WA:dies:so -34.966666666666896 +RBT:have_X1 4.399999999999995 +R:X:NX_dass:N1_that 17.466666666666736 +RBS:terror_</r> 3.199999999999994 +RBS:notstand_</r> -0.79999999999999993 +WA:sein:his 23.86666666666676 +R:X:NX_an_der_NX:N1_to_N2 5.5999999999999899 +RBT:well_X2 10.93333333333331 +RBT:X1_is -53.96666666666713 +RBS:gegen_</r> -6.4666666666666588 +RBT:able_to -18.666666666666689 +RBS:den_</r> 0.79999999999999982 +RBS:X_gewählte -5.6999999999999922 +R:X:NX_den_terror:N1_terror -5.8666666666666627 +RBT:X1_and 26.000000000000099 +RBT:X1_so -0.066666666666666666 +R:X:NX_von:N1_to -0.46666666666666662 +RBT:tried_</r> -14.633333333333368 +WA:-:-- -2.1666666666666665 +RBS:effektiver_zu 30.800000000000168 +R:X:sein:be 2.8666666666666623 +RBS:er_</r> -9.6333333333333133 +RBS:,_an -3.866666666666656 +RBS:versucht_</r> -15.23333333333337 +RBS:X_effektiver 29.300000000000143 +R:X:NX_sie:N1_they -1.7333333333333341 +RBT:a_state 7.6999999999999886 +Shape_S11110_T11110 14.666666666666694 +WA:ziel:aim -17.833333333333361 +R:X:NX_er:he_N1 -1.0000000000000004 +WA:würde:would -4.4333333333333291 +R:X:NX_das_NX_,:N1_N2_'s_system_of_higher_education_, -11.733333333333315 +RBS:,_für 2.8333333333333282 +RBT:independent_</r> 8.7999999999999847 +R:X:NX_,:N1_for 11.999999999999973 +RBS:X_ein -21.10000000000003 +R:X:NX_er:N1_it -69.866666666666973 +WA:er:it -75.733333333333306 +R:X:NX_die:N1_to_read_the 3.800000000000002 +WA:zu:toWA:,:that 1.5999999999999996 +R:X:NX_pakistanischen_NX:pakistan_N1_N2 10.69999999999998 +RBT:blieben_</r> -31.900000000000187 +R:X:,_als:,_as 3.9999999999999964 +RBT:agencies_, 5.0333333333333314 +R:X:NX_für:N1_that -1.4000000000000001 +RBS:eine_</r> -5.6999999999999922 +RBT:'s_security 5.0333333333333314 +R:X:in:in -11.533333333333337 +RBT:rahmen_</r> -2.0999999999999974 +RBT:security_agencies 5.0333333333333314 +R:X:bereit:ready -0.59999999999999998 +WA:rahmen:rahmen -2.0999999999999974 +R:X:NX_justiz_NX:N1_judiciary_N2 -32.36666666666612 +R:X:medien:medien -0.59999999999999998 +R:X:am:on -11.333333333333314 +WA:medien:medien -0.59999999999999998 +RBS:X_das -1.9666666666666661 +RBS:X_gegen -3.3333333333333321 +RBT:media_X1 -0.89999999999999991 +RBT:enjoying_X1 -0.20000000000000004 +R:X:zu_NX:of_enjoying_N1 -0.20000000000000004 +R:X:NX_vielleicht:N1_possibly -5.1666666666666643 +R:X:am:the 11.333333333333314 +R:X:medien_NX:media_N1 -0.89999999999999991 +RBS:freien_X -5.6999999999999957 +RBS:<r>_sorgen 3.9999999999999907 +RBS:<r>_medien -5.6999999999999957 +R:X:medien:media -4.2000000000000011 +RBS:dass_X -9.5333333333333155 +RBT:<r>_media -5.0999999999999979 +R:X:freien_NX:free_,_N1 -5.6999999999999957 +RBT:terror_</r> 7.0666666666666558 +RBT:emergency_</r> 0.066666666666666582 +RBS:X_von -3.300000000000002 +RBT:,_X1 70.333333333331936 +WA:ist:be 28.966666666666814 +RBT:higher_education -0.79999999999999993 +R:X:und_NX:as_a_N1 -4.6999999999999993 +RBT:to_ensure 0.59999999999999909 +WA:sie:they -12.599999999999982 +RBT:as_a -4.6999999999999993 +WA:zu:toWA:sorgen:ensure 0.59999999999999909 +Shape_S01111_T01110 1.5333333333333332 +RBS:<r>_justiz -8.7999999999999847 +RBT:judiciary_X1 -7.2999999999999901 +RBT:<r>_judiciary -8.7999999999999847 +RBT:<r>_S1 -99.599999999999284 +RBT:read_the 3.5000000000000018 +RBT:to_read 3.5000000000000018 +WA:blieben:blieben -31.900000000000187 +R:X:justiz_NX:judiciary_N1 -7.2999999999999901 +RBT:<r>_effort -1.6666666666666672 +RBT:<r>_? -18.733333333333345 +RBT:the_electricity -32.300000000000189 +R:X:NX_verfassung:N1_'s_constitution 32.966666666666868 +R:X:NX_zu_NX_und:N1_N2_and -6.9666666666666535 +RBT:X2_an 5.6999999999999922 +RBT:industry_X1 -32.300000000000189 +R:X:NX_verfassung_NX:N1_constitution_N2 -1.6000000000000003 +WA:eine:anWA:regierung:government 5.6999999999999922 +WA:die:,WA:die:the -32.300000000000189 +RBT:<r>_into -5.43333333333333 +R:X:,_als:,_when 4.5333333333333279 +R:X:unabhängige:independent 8.1333333333333204 +Shape_S01111_T01111 0.16666666666677799 +RBT:X2_behind -6.6999999999999931 +R:X:NX_die_NX_.:N1_have_been_drawing_N2_behind_bars_. -6.6999999999999931 +R:X:und:as -6.7999999999999927 +RBT:judiciary_X2 -32.36666666666612 +RBT:medien_</r> -0.59999999999999998 +RBS:<r>_und -44.399999999999046 +RBT:concerns_</r> -4.5999999999999996 +R:X:NX_,_als_NX:N1_as_N2 2.1333333333333342 +RBS:justiz_X -39.666666666665982 +RBT:drawing_X2 -2.3000000000000003 +RBT:musharraf_</r> 14.166666666666801 +R:X:freien:free -1.6000000000000005 +RBS:<r>_freien -7.2999999999999901 +RBT:on_</r> -9.5999999999999996 +RBT:X1_have -2.3000000000000003 +WA:für:in -3.2000000000000015 +R:X:NX_die_NX:N1_have_been_drawing_N2 4.4000000000000004 +RBT:<r>_free -7.2999999999999901 +R:X:verfassung:constitution -12.133333333333306 +RBT:-_</r> -2.8333333333333344 +R:X:zu_NX:as_much_as_N1 -8.8666666666666512 +RBT:much_as -8.8666666666666512 +RBT:<r>_stabilität 4.3666666666666565 +RBT:X1_religious -18.80000000000005 +WA:zu:muchWA:zu:asWA:zu:as -8.8666666666666512 +WA:am:the 44.433333333333699 +RBS:medien_X -20.366666666666706 +RBT:X1_behind -2.2000000000000011 +WA:und:as -11.499999999999977 +RBT:enjoying_X2 8.2333333333333609 +RBT:bars_. -8.8999999999999844 +RBS:X_die 21.533333333333502 +RBT:X1_constitution 0.96666666666666667 +RBT:<r>_as -11.766666666666644 +RBS:X_zu -10.433333333333314 +RBS:X_halten -5.7666666666666622 +WA:medien:media -2.2999999999999958 +RBT:media_</r> 8.0333333333333403 +RBS:dass_er -17.899999999999984 +RBS:<r>_gewählte 5.6999999999999922 +RBT:X1_media 5.6999999999999957 +R:X:und:, 3.9000000000000017 +WA:justiz:judiciary -64.99999999999865 +RBT:X2_</r> -56.36666666666698 +RBT:judiciary_</r> -25.333333333333531 +RBT:S1_X2 -99.599999999999284 +WA:-:, 17.466666666666711 +RBT:behind_bars -8.8999999999999844 +R:X:NX_dem_NX_pervez:N1_N2_pervez 16.800000000000061 +Shape_S11100_T11100 -16.266666666666779 +WA:macht:makes -1.8999999999999986 +RBS:X_bemühen 1.5666666666666664 +WA:die:who 8.033333333333319 +RBT:war_</r> -3.3333333333333321 +RBT:<r>_independent -0.66666666666666663 +R:X:NX_krieg:N1_war 10.799999999999978 +RBS:verfassung_</r> 22.400000000000048 +R:X:NX_dass_er:N1_he -17.899999999999984 +RBS:die_</r> 16.90000000000007 +WA:zu:of -9.0666666666666718 +RBT:perhaps_X2 5.7666666666666622 +WA:seine:seine 1.4999999999999993 +R:X:NX_justiz:N1_judiciary -23.833333333333517 +RBS:justiz_</r> -25.333333333333531 +RBS:S_X -99.599999999999284 +R:X:eine_NX_regierung_NX:N2_an_N1_government 5.6999999999999922 +RBT:electricity_industry -32.300000000000189 +RBT:'s_constitution 12.166666666666641 +R:X:1999:1999 -0.26666666666666666 +RBT:<r>_have -2.8666666666666614 +WA:rahmen:within 8.3333333333333162 +RBS:freien_</r> 5.6999999999999957 +R:X:NX_den_NX_.:N1_N2_. 9.7000000000000579 +R:X:macht_NX:N1_does -2.899999999999995 +RBS:<r>_als 15.800000000000011 +RBS:X_justiz 8.7999999999999847 +RBT:free_</r> 5.6999999999999957 +RBS:<r>_verfassung -13.133333333333304 +RBT:X1_does -2.899999999999995 +RBS:als_</r> 23.866666666666777 +Shape_S11111_T11011 -3.199999999999994 +RBT:,_when 4.5333333333333279 +RBS:<r>_unabhängige -0.66666666666666663 +RBS:<r>_die -21.533333333333502 +R:X:NX_zu_NX:of_enjoying_N2_N1 8.2333333333333609 +R:X:NX_die:N1_who 8.0999999999999872 +RBT:of_enjoying 8.0333333333333599 +RBT:and_X2 5.8999999999999924 +RBS:<r>_dem -6.9666666666666748 +RBT:X1_possibly -5.1666666666666643 +RBT:X1_judiciary 8.7999999999999847 +WA:die:a -5.7333333333332988 +WA:die:have -3.800000000000002 +RBT:-_range 8.8999999999999844 +RBT:effektiver_</r> -23.400000000000063 +RBT:faces_a 27.700000000000127 +R:X:NX_krieg_gegen_den_terror:N1_war_on_terror 11.400000000000006 +RBT:range_missiles 8.8999999999999844 +WA:effektiver:effektiver -23.400000000000063 +RBT:missiles_. 8.8999999999999844 +R:X:NX_die:N1_faces_a 27.700000000000127 +RBT:X1_faces 27.700000000000127 +RBS:zu_</r> -19.200000000000085 +RBS:sie_</r> 6.9333333333333194 +R:X:NX_.:N1_-_range_missiles_. 8.8999999999999844 +RBT:<r>_effektiver -23.400000000000063 +RBT:goal_X2 5.2999999999999972 +RBT:,_this 8.1666666666666536 +R:X:NX_ziel_NX:N1_goal_N2 5.2999999999999972 +RBS:<r>_S -99.599999999999284 +RBT:sein_</r> 14.733333333333329 +RBT:<r>_terrorism -3.8666666666666671 +R:X:NX_ziel:N1_target -7.3333333333333188 +Shape_S01100_T11100 -47.700000000000408 +RBT:on_X2 1.6999999999999906 +R:X:NX_als:N1_when 14.833333333333295 +R:X:NX_ziel:N1_targets -7.3666666666666529 +R:X:halten:halten 6.0333333333333279 +WA:sein:sein 14.733333333333329 +RBT:terrorism_</r> -3.8666666666666671 +RBT:<r>_X2 8.133333333333324 +RBT:,_is 29.066666666666809 +R:X:sein:his 13.166666666666671 +RBS:<r>_notstand 11.566666666666739 +R:X:NX_dass:N1_see -3.6666666666666643 +RBS:<r>_terror -7.0666666666666558 +R:X:NX_an_der_NX:N1_the_N2 3.0333333333333279 +RBT:tried_X2 13.233333333333341 +R:X:NX_ziel_NX:N2_N1_goal 7.2666666666666542 +R:X:NX_,:N1_who -1.2000000000000004 +RBT:despairing_X2 -0.53333333333333333 +RBT:more_</r> 36.53333333333358 +RBT:X1_aim -8.6666666666666501 +RBT:<r>_of -14.366666666666783 +WA:das:the 11.633333333333306 +R:X:NX_musharraf:N1_musharraf -7.4333333333333185 +RBT:X1_targets -9.3666666666666476 +RBT:<r>_halten 6.0333333333333279 +R:X:NX_ziel_NX:N1_targets_N2 -2.0000000000000004 +WA:,:toWA:zu:to 2.0333333333333292 +RBT:as_X1 -8.999999999999984 +R:X:NX_bereit:N1_ready 1.9333333333333318 +RBT:<r>_these -48.566666666667089 +RBT:target_X2 -2.0000000000000004 +R:X:NX_,:N1_to 15.266666666666742 +R:X:NX_würde:if_N1 -0.99999999999999989 +WA:effektiver:effectively 23.400000000000063 +R:X:NX_.:N1_power_. 28.866666666666806 +R:X:NX_ziel_NX:N1_target_N2 -2.0000000000000004 +RBS:gestalten_</r> 27.600000000000122 +R:X:NX_.:N1_established_. -9.8333333333333339 +RBT:be_X1 -5.4666666666666872 +RBT:<r>_be 5.0999999999999872 +RBS:X_gestalten -27.600000000000122 +RBT:being_</r> -8.2666666666666533 +R:X:NX_dass:N1_let -0.46666666666666662 +RBS:gestalten_. -27.600000000000122 +RBT:X2_against -0.39999999999999997 +RBT:war_. 22.066666666666709 +R:X:NX_an_der_NX:N1_in_N2 2.8666666666666618 +Shape_S01110_T01111 11.533333333333337 +R:X:sein:being -8.2666666666666533 +R:X:NX_.:N1_war_. 22.066666666666709 +RBT:X1_tried 31.266666666666925 +WA:in:, 5.7666666666666702 +RBT:X1_effort 1.5666666666666664 +WA:an:of 6.7999999999999936 +Shape_S11110_T01011 -1.9999999999999982 +R:X:NX_sein_NX_.:be_N1_N2_. 1.7333333333333325 +RBT:targets_</r> -11.366666666666665 +WA:,:of -22.30000000000005 +RBS:unabhängige_</r> 8.7999999999999847 +R:X:sein_NX:being_able_to_N1 -18.666666666666689 +RBT:being_able -18.666666666666689 +RBT:X1_terror -5.8666666666666627 +RBT:X1_be 38.133333333333603 +WA:sein:be 0.59999999999999964 +R:X:sein_NX:N1_be 25.600000000000108 +WA:den:the 13.866666666666669 +Shape_S11000_T01100 70.166666666667055 +R:X:ziel_NX:target_N1 -6.5999999999999917 +WA:,:for 11.999999999999973 +RBT:X1_history -0.33333333333333331 +RBT:has_X2 -18 +RBT:target_X1 -6.5999999999999917 +RBT:<r>_targets -10.599999999999978 +R:X:ziel_NX:targets_N1 -6.5999999999999917 +RBT:has_tried -30.666666666666924 +RBT:targets_X1 -6.5999999999999917 +WA:und:, -14.766666666666637 +RBT:<r>_aim -9.1666666666666501 +RBT:he_has 31.666666666666938 +WA:würde:will 5.4333333333333291 +R:X:ziel:aim -9.1666666666666501 +WA:terror:terrorism -3.8666666666666671 +RBT:<r>_. 8.8666666666666512 +R:X:sein_NX:its_N1 -11.599999999999975 +R:X:sein_NX:his_N1 13.099999999999987 +RBS:ziel_X 1.1666666666666641 +RBS:X_oktober -7.7333333333333529 +RBS:das_</r> 1.5666666666666664 +R:X:NX_sein_,_NX_.:N1_N2_. 0.86666666666666703 +R:X:ziel_NX:goal_N1 5.7999999999999945 +WA:und:- 2.0333333333333345 +Shape_S11110_T11010 -9.3999999999999932 +RBS:<r>_ziel -17.400000000000013 +R:X:.:. 7.6999999999999886 +WA:,:in -8.1333333333333204 +RBS:sein_X -12.600000000000016 +RBT:goal_X1 5.7999999999999945 +R:X:NX_hat_NX_versucht:N1_N2_has_tried -30.666666666666924 +RBS:<r>_halten 5.7666666666666622 +R:X:NX_und:N1_, -10.466666666666649 +RBS:ziel_</r> -1.1666666666666641 +RBS:<r>_. 7.6999999999999886 +R:X:NX_sein_,_NX_.:be_N1_,_N2_. -0.86666666666666703 +Shape_S11110_T01111 5.6999999999999922 +RBT:ziel_</r> -25.333333333333425 +R:X:ziel:ziel -25.333333333333425 +RBS:den_X 12.300000000000027 +WA:sein:beWA:,:,WA:.:. -0.86666666666666703 +WA:ziel:ziel -25.333333333333425 +RBT:its_X1 1.5000000000000009 +RBT:attempt_by -0.30000000000000004 +R:X:NX_und:N1_religious_law_and -18.80000000000005 +R:X:stabilität:stabilität 4.3666666666666565 +RBT:as_much -8.8666666666666512 +RBS:<r>_betrat 10.499999999999979 +RBT:within_</r> 11.399999999999972 +RBT:<r>_within 11.933333333333303 +R:X:NX_versucht:N1_tried 16.033333333333378 +WA:ihres:pakistan 0.79999999999999993 +WA:macht:power 6.3666666666666627 +R:X:ziel:targets -3.9999999999999969 +RBT:law_and -18.80000000000005 +WA:stabilität:stabilität 4.3666666666666565 +RBT:entered_</r> -10.499999999999979 +WA:die:'sWA:und:and 5.0333333333333314 +RBT:<r>_sorgen 3.9999999999999907 +R:X:die_NX_.:have_been_drawing_N1_behind_bars_. -2.2000000000000011 +RBS:pakistanischen_</r> 13.133333333333304 +RBT:<r>_betrat 10.499999999999979 +RBT:state_of 7.6999999999999886 +R:X:ziel:goal 34.300000000000217 +RBT:X1_more -1.5000000000000002 +R:X:NX_er_NX:N1_it_N2 -5.4666666666666579 +RBT:X1_would -4.3333333333333295 +RBT:would_X1 -17.566666666666734 +RBT:in_</r> -41.833333333333549 +R:X:rahmen:framework -2.3000000000000007 +RBT:government_</r> 3.7999999999999972 +RBS:versuch_X 23.56666666666673 +RBT:sorgen_</r> 3.9999999999999907 +WA:die:haveWA:.:. -8.8999999999999844 +RBT:<r>_pakistan 16.633333333333315 +RBT:betrat_</r> 10.499999999999979 +R:X:NX_letzter_NX:N1_'s_last_N2 5.5666666666666629 +RBT:global_X2 -15.399999999999963 +RBS:ins_X -3.4000000000000017 +WA:ein:an -4.8999999999999986 +RBS:X_aber -0.79999999999999993 +RBS:versuch_</r> -23.56666666666673 +R:X:sorgen:sorgen 3.9999999999999907 +WA:und:with 3.800000000000002 +WA:sorgen:sorgen 3.9999999999999907 +RBT:last_X2 5.5666666666666629 +RBT:target_</r> -13.133333333333342 +RBS:ausgerufen_X 7.6999999999999886 +RBS:<r>_, 52.300000000000431 +R:X:NX_hat:N1_has -3.0333333333333337 +RBT:declared_a 6.8999999999999915 +R:X:ziel:target -5.7999999999999927 +R:X:NX_effektiver_zu_NX:N1_N2_effectively 30.800000000000168 +R:X:bemühen:effort -1.6666666666666672 +RBS:<r>_? -18.733333333333345 +RBS:<r>_rahmen 3.93333333333333 +RBT:,_</r> 1.7666666666662998 +WA:ziel:target -21.733333333333402 +RBS:,_</r> 13.633333333333146 +R:X:NX_letzter:N1_late -3.4000000000000008 +R:X:NX_medien_NX:N2_N1_media -12.933333333333303 +RBT:elected_</r> 8.5666666666666771 +R:X:NX_medien:N1_media 25.166666666666753 +RBS:brachten_X 0.066666666666666666 +RBS:X_verlassen 22.400000000000048 +R:X:in_NX:N1_within -0.53333333333333344 +RBS:sie_X -6.9333333333333194 +WA:musharraf:musharraf 29.033333333333569 +RBS:verlassen_und 28.000000000000128 +RBT:reform_, -6.5333333333333208 +WA:stabilität:stability -4.3666666666666565 +RBT:<r>_emergency -0.79999999999999993 +R:X:sein:its -7.4999999999999858 +RBT:X1_? -25.166666666666853 +RBT:last_X1 -4.333333333333333 +R:X:NX_zu_NX_.:N2_N1_. -3.7000000000000015 +RBS:regierung_X 17.933333333333408 +RBT:free_, -5.6999999999999957 +R:X:brachten_NX:N1_brought 0.066666666666666666 +R:X:NX_verlassen:relied_N1 -5.599999999999997 +WA:eine:will -1.1333333333333335 +RBT:X1_free 7.2999999999999901 +RBT:X1_pakistani -19.900000000000013 +RBT:brachten_</r> -0.066666666666666666 +RBS:verfassung_X -22.400000000000048 +R:X:krieg_gegen:war_against -0.39999999999999997 +R:X:NX__:N1_, 19.900000000000063 +RBT:seine_</r> 1.4999999999999993 +RBT:X1_to 45.766666666666517 +RBS:musharraf_</r> -3.4999999999999871 +WA:verkaufen:verkaufen -4.5999999999999996 +RBT:'s_X1 -18.299999999999994 +Shape_S10000_T10000 -130.03333333333146 +RBT:makes_</r> -1.0666666666666671 +WA:als:as -3.8666666666666578 +PhraseModel_5 -2.0999999999998002 +RBS:unabhängige_X -8.7999999999999847 +R:X:bereit:bereit -5.7999999999999945 +RBT:X2_and -7.3333333333333188 +RBS:X_macht -4.7666666666667208 +WA:sein:being -26.933333333333451 +R:X:NX_an_der_NX:N1_of_N2 4.9666666666666544 +R:X:NX_versucht_NX:N1_tried_N2 13.233333333333341 +RBS:<r>_musharraf 6.5333333333333234 +RBT:<r>_X1 155.79999999999768 +RBT:X1_stability -13.233333333333301 +PassThrough_5 -93.833333333332916 +WA:so:that -0.033333333333333333 +Shape_S11000_T11000 -91.099999999999184 +RBT:<r>_pakistani -0.79999999999999993 +RBS:<r>_musharrafs -1.9999999999999982 +RBT:versuch_</r> -0.53333333333333333 +RBT:X1_he 98.033333333332038 +RBS:der_politischen 12.399999999999991 +R:X:pakistanis_NX:pakistanis_N1 3.5000000000000013 +RBT:X1_</r> -56.033333333332813 +RBS:X_der 5.2666666666666702 +WA:versprechen:versprechen -0.63333333333333108 +RBS:X_versuch 0.53333333333333333 +RBT:actions_</r> -2.2000000000000011 +R:X:NX_-_NX_.:N1_N2_. -22.33333333333341 +RBT:last_</r> 2.600000000000001 +R:X:NX_zu_NX:N1_of_N2 -2.199999999999998 +R:X:letzter:last -0.59999999999999998 +Shape_S01110_T01110 46.233333333333228 +RBT:X1_choice -9.0999999999999837 +R:X:NX_verlassen_und:N1_and 28.000000000000128 +RBT:religious_law -18.80000000000005 +RBT:stabilität_</r> 4.3666666666666565 +RBS:krieg_</r> -3.3333333333333321 +PhraseModel_1 -161.9566362840761 +RBT:viele_</r> 10.999999999999979 +RBT:X1_in -9.7666666666666782 +R:X:hat:, 3.1999999999999851 +RBT:verzweifelten_</r> -17.266666666666733 +RBT:attempts_</r> -0.59999999999999998 +RBT:<r>_support -0.76666666666666783 +RBS:letzter_X 1.2333333333333332 +RBT:framework_</r> -2.3000000000000007 +R:X:NX_die:the_electricity_industry_N1_, -32.300000000000189 +RBS:X_verfassung 13.133333333333304 +R:X:NX_versuch_NX_,:N1_N2_, 23.866666666666735 +R:X:NX_,_NX_den:N1_N2_the -0.40000000000000008 +R:X:NX_ihres:pakistan_N1 0.79999999999999993 +R:X:gewählte:elected 5.6999999999999922 +RBS:X_medien 5.6999999999999957 +RBT:X1_brought 0.066666666666666666 +RBT:relied_X1 -5.599999999999997 +R:X:general:general 4.2666666666666577 +WA:und:andWA:.:. -4.9999999999999876 +R:X:NX_stabilität:N1_stability -13.233333333333301 +RBT:drawing_X1 -10.399999999999983 +RBT:have_been -12.699999999999973 +WA:pakistanischen:pakistani -20.700000000000024 +RBT:states_of -4.6999999999999993 +RBT:12_</r> 8.9000000000000359 +RBT:<r>_his 24.800000000000111 +WA:verzweifelten:verzweifelten -17.266666666666733 +RBT:support_</r> -3.300000000000002 +RBT:<r>_last -4.9333333333333309 +Shape_S01110_T11010 5.7666666666666826 +WA:er:er -22.200000000000141 +R:X:,:, 32.300000000000189 +R:X:pakistanischen:pakistani -0.79999999999999993 +R:X:musharrafs:his 1.4666666666666659 +RBT:top_X2 -33.600000000000207 +RBS:ausgerufen_</r> -7.6999999999999886 +R:X:NX_ist_NX:N1_,_N2_,_is 2.5666666666666629 +R:X:internationale_NX:global_N1 -3.4000000000000017 +RBT:has_</r> -10.46666666666677 +PassThrough_6 -17.900000000000102 +WA:bemühen:effort -0.10000000000000113 +WA:ziel:goal 84.866666666665694 +RBS:X_ausgerufen 6.8999999999999915 +RBS:versprechen_</r> 2.4000000000000008 +RBT:<r>_desperate 17.800000000000072 +R:X:NX_?:N1_consulting_? 43.90000000000029 +RBS:X_regierung 8.5666666666666771 +RBT:been_drawing -12.699999999999973 +RBT:his_</r> 12.233333333333354 +RBT:X1_goal 44.766666666666879 +WA:krieg:war -2.4000000000000012 +RBT:perhaps_</r> 1.8000000000000007 +RBT:<r>_constitution -12.133333333333306 +Shape_S11110_T11011 -3.7333333333333307 +WA:ziel:targets -19.966666666666715 +WA:sein:beWA:.:. 6.833333333333325 +R:X:unabhängige_NX:independent_N1 -8.7999999999999847 +PhraseModel_4 12.182060169235008 +RBT:will_</r> 5.9333333333333265 +RBS:X_freien 7.2999999999999901 +RBT:of_X2 3.4666666666666655 +R:X:musharraf:musharraf 16.666666666666725 +R:X:verkaufen:sell 13.233333333333341 +RBS:1999_</r> 7.9666666666666899 +R:X:letzter:letzter -2.1333333333333342 +RBT:with_the 6.3333333333333215 +WA:gegen:on -2.2000000000000006 +R:X:NX_ziel:N1_goal 32.200000000000216 +R:X:NX_an_NX:N1_in_N2 13.899999999999968 +Shape_S01100_T11000 90.066666666664787 +WA:gewählte:electedWA:regierung:government 9.3666666666666814 +R:X:die_NX:have_been_drawing_N1 -8.1999999999999869 +RBT:pakistani_</r> -0.79999999999999993 +RBS:musharrafs_</r> -1.8333333333333313 +RBT:an_X2 -4.8999999999999986 +PassThrough_2 -24.833333333333513 +RBT:effort_</r> -0.10000000000000113 +RBT:,_and -38.533333333332806 +RBT:goal_</r> 73.766666666666069 +RBT:this_X1 4.1999999999999957 +RBT:X1_consulting 43.90000000000029 +RBT:desperate_</r> 17.800000000000072 +PassThrough_1 -17.700000000000053 +RBT:pakistan_</r> 14.266666666666637 +WA:betrat:betrat 10.499999999999979 +R:X:verlassen:verlassen -20.200000000000017 +RBT:of_higher -0.79999999999999993 +RBT:X1_sell 1.3999999999999968 +RBT:X1_'s 35.7666666666669 +RBS:die_X -8.4666666666666526 +R:X:und:with 3.800000000000002 +Glue -99.599999999999284 +R:X:pakistanischen:pakistan 9.9999999999999822 +WA:betrat:entered -10.499999999999979 +WA:verzweifelten:despairing -0.53333333333333333 +RBS:unterstützen_</r> -8.2999999999999972 +R:X:NX_zu_NX_.:N1_to_N2_. 1.4666666666666668 +RBT:X1_- 9.3666666666666512 +R:X:ist_NX:N1_,_is 10.233333333333313 +RBS:X_den -6.7999999999999945 +RBT:a_</r> -20.099999999999625 +WA:als:in 13.199999999999969 +R:X:zu_NX:into_states_of_N1 -4.6999999999999993 +RBT:<r>_versprechen -0.63333333333333108 +RBS:X_letzter 5.3666666666666636 +WA:gewählte:elected 8.5666666666666771 +R:X:NX_dem_NX:N1_the_N2 -3.1333333333333298 +WA:verfassung:constitution 1.0000000000000002 +RBT:<r>_ziel -25.333333333333425 +R:X:NX_sein_NX_.:N2_be_N1_. 5.099999999999997 +R:X:in_NX:N1_'s -0.70000000000000018 +R:X:NX_,_dass_NX_.:N1_N2_. -9.5333333333333155 +RBT:independent_X1 -8.7999999999999847 +PhraseModel_6 70.233333333332155 +R:X:NX__:N1__ -19.033333333333385 +PhraseModel_0 -67.980162502396198 +RBT:over_the -0.33333333333333331 +RBS:seine_</r> 1.4999999999999993 +R:X:NX_,_als_NX_zu:N1_N2_to 4.1000000000000023 +RBT:<r>_has -15.899999999999958 +R:X:NX_ist_NX:N1_,_N2_is 15.599999999999966 +WA:maßnahmen:action -1.466666666666667 +RBT:X1_project 22.33333333333341 +WA:letzter:last 3.8333333333333353 +RBS:und_X -12.200000000000038 +RBT:X1_global -25.766666666666765 +R:X:NX_,_NX:N1_,_N2 -39.000000000000064 +R:X:NX_-:N1_'s 11.699999999999989 +PassThrough_3 -52.033333333333523 +R:X:?:? -18.733333333333345 +RBS:<r>_pakistanischen 9.1999999999999851 +PassThrough -172.93333333332853 +R:X:krieg_gegen_den_terror:war_on_terror -5.9333333333333229 +RBT:<r>_verlassen -20.200000000000017 +R:X:letzter_NX:last_N1 -4.333333333333333 +WordPenalty -96.934528360802517 +R:X:NX_verzweifelten_NX:N1_despairing_N2 -0.53333333333333333 +RBT:<r>_more 18.466666666666708 +RBS:X_ziel 17.400000000000013 +R:X:NX_internationale_NX:N1_global_N2 -15.399999999999963 +RBT:X1_pervez -3.1333333333333329 +RBT:<r>_medien -0.59999999999999998 +Shape_S01010_T01010 -99.599999999999284 +RBT:X2_, -14.299999999999997 +WA:pakistanischen:pakistan 26.033333333333434 +R:X:12:12 8.9000000000000359 +RBT:consulting_? 43.90000000000029 +R:X:NX_zu_NX_.:N1_N2_. 13.799999999999967 +RBS:und_ein 21.10000000000003 +RBT:commitment_</r> 3.0333333333333279 +WA:verzweifelten:desperate 17.800000000000072 + -99.599999999999284 +RBT:X1_target -9.3333333333333144 +Shape_S01100_T01100 38.766666666667639 +R:X:NX_an_NX:N1_on_N2 -0.79999999999999927 +WA:musharrafs:musharraf 6.1999999999999931 +RBS:pakistanischen_X -13.133333333333304 +RBS:X_</r> -135.13333333333222 +RBS:X_stabilität -13.233333333333301 +RBT:constitution_</r> 23.400000000000063 +R:X:NX_,_als_er:N1_as_he -20.133333333333439 +Shape_S01111_T01011 -13.233333333333446 +WA:versucht:attempts -0.59999999999999998 +RBS:X_an 23.033333333333388 +R:X:ist_NX:N1_be 12.533333333333337 +R:X:NX_zu:N1_to 15.366666666666637 +RBT:musharrafs_</r> -6.6666666666666536 +R:X:NX_zu_NX:N1_too_N2 -0.066666666666666666 +RBS:<r>_bühne 7.6333333333333533 +RBT:._</r> -7.7333333333333529 +RBT:X2_it 6.833333333333325 +WA:musharrafs:musharrafs -6.6666666666666536 +RBT:X1_too -0.066666666666666666 +R:X:NX_zu:N1_of -14.899999999999963 +RBT:<r>_musharrafs -6.6666666666666536 +R:X:die_NX_und_ein_NX:the_N1_and_N2 -0.56666666666666676 +RBT:<r>_late 1.7000000000000004 +R:X:dem_NX:N1_the -6.1999999999999966 +RBS:<r>_gestalten 27.600000000000122 +RBT:disruptions_. 7.3999999999999888 +WA:in:have 3.1333333333333329 +RBT:it_</r> -70.26666666666695 +R:X:sein_NX:be_N1 -15.066666666666777 +RBT:X1_has -25.866666666666777 +RBT:<r>_will -1.6333333333333335 +R:X:NX_freien:N1_free 7.2999999999999901 +PhraseModel_3 -60.467488150980067 +WA:regierung:government -11.333333333333316 +RBS:für_X 14.233333333333299 +R:X:NX_ziel:N1_aim -8.6666666666666501 +RBS:X_pervez -7.1999999999999851 +RBT:by_X2 -0.30000000000000004 +R:X:NX_von:N1_with 10.799999999999974 +WA:versucht:tried 29.266666666666897 +LanguageModel 335.16133285139972 +WA:in:to 2.3333333333333348 +RBS:regierung_</r> -17.933333333333408 +RBT:so_X1 2.2333333333333307 +RBT:<r>_verzweifelten -17.266666666666733 +R:X:unterstützen:support -3.300000000000002 +RBS:<r>_letzter -5.3666666666666636 +R:X:NX_und_ein_NX:N1_and_N2 7.1333333333333435 +R:X:NX_die_NX:N1_to_read_the_well_-_N2 -0.30000000000000004 +R:X:rahmen:within 8.3333333333333162 +RBT:<r>_, 60.300000000000431 +RBT:X1_of -45.10000000000025 +R:X:NX_an_NX:N1_of_N2 6.7999999999999936 +R:X:NX_den_NX:N1_the_N2 4.9999999999999982 +R:X:general_NX_.:general_N1_. -7.7333333333333529 +RBT:among_X2 -1 +RBS:amerika_</r> 0.066666666666666666 +RBT:and_</r> -3.3333333333333264 +WA:die:the 4.5999999999999988 +RBT:the_</r> 5.8666666666666671 +RBS:<r>_versprechen -0.63333333333333108 +R:X:verzweifelten:desperate 17.800000000000072 +R:X:NX_aber_NX_,:N1_N2_to -0.79999999999999993 +RBS:X_maßnahmen 14.299999999999976 +RBT:X2_X1 18.366666666666728 +WA:in:in -16.600000000000072 +WA:das:its -19.70000000000001 +RBT:market_and -0.26666666666666666 +RBT:to_</r> 64.266666666666609 +RBT:<r>_goal 40.1000000000003 +RBT:more_effectively -1.5000000000000002 +RBT:X1_power 41.800000000000324 +RBT:constitution_X2 -22.400000000000048 +R:X:NX_für_NX_.:N1_N2_. 5.4333333333333238 +RBS:<r>_hat -9.9666666666666419 +RBT:pakistan_X1 7.4333333333333229 +RBT:X1_attempt -23.333333333333396 +R:X:letzter:late 1.7000000000000004 +WA:zu:toWA:,:to -0.36666666666666664 +RBS:X_pakistanischen -13.266666666666637 +RBT:X1_entered -10.499999999999979 +RBS:X_, -52.766666666667106 +R:X:NX_projekt_NX_.:N2_N1_project_. 11.133333333333312 +WA:maßnahmen:measures 14.299999999999976 +R:X:an:to -2.5000000000000009 +R:X:NX_effektiver:N1_more_effectively -1.5000000000000002 +R:X:NX_und:N1_and -28.000000000000128 +WA:die:'s -6.5333333333333217 +RBS:rahmen_</r> 3.93333333333333 +RBT:of_X1 -0.66666666666666741 +RBS:musharraf_X 3.4999999999999871 +R:X:NX_für:N1_in -3.2000000000000015 +RBT:X1_government -9.3666666666666814 +RBS:dem_X 0.53333333333333333 +RBT:promote_X1 -4.9999999999999876 +WA:entscheidung:choice -9.0999999999999837 +RBS:macht_X 7.6999999999999886 +RBS:an_X 19 +RBS:nationale_</r> -1.8333333333333339 +WA:das:'s 5.599999999999997 +R:X:versuch:versuch -0.53333333333333333 +RBT:preserve_X1 5.0333333333333314 +R:X:gestalten:more 36.53333333333358 +RBT:X1_despairing -0.53333333333333333 +RBT:'s_last 8.7666666666666515 +RBT:as_</r> -11 +RBS:X_für 5.8000000000000069 +R:X:dass:keep -1.2000000000000004 +WA:dem:the -9.6333333333333666 +RBS:letzter_</r> -1.2333333333333332 +RBT:<r>_actions -2.2000000000000011 +RBT:project_</r> 11.199999999999976 +PhraseModel_2 -103.58313363665015 +WA:versuch:versuch -0.53333333333333333 +RBT:<r>_sein 14.733333333333329 +R:X:terror:terrorism -3.8666666666666671 +WA:und:and -38.266666666666517 +RBS:vielleicht_X 5.7666666666666622 +RBT:X1_on 41.433333333333628 +R:X:er_sich_NX:him_N1 -0.89999999999999991 +R:X:dies_NX:so_N1 2.2333333333333307 +RBT:for_</r> 6.5999999999999917 +RBT:october_X1 7.7333333333333529 +R:X:als:in 13.199999999999969 +RBT:measures_</r> 14.299999999999976 +WA:an:on -0.79999999999999927 +RBT:<r>_at 3.466666666666665 +RBT:sell_X1 -10.033333333333314 +R:X:musharrafs_NX:musharraf_N1 -2.4000000000000008 +R:X:NX_medien_NX:N1_media_N2 -9.4333333333333744 +RBS:gewählte_</r> 8.5666666666666771 +R:X:NX_pakistanischen_NX:N1_pakistani_N2 -19.900000000000013 +R:X:NX_für_NX_.:N1_for_N2_. 4.9666666666666544 +R:X:NX_verfassung:N1_constitution 2.5666666666666678 +R:X:NX_zu_NX:N2_N1_to 4.1666666666666572 +R:X:NX_der_NX:N1_the_N2 5.5999999999999934 +RBS:als_X -13.166666666666636 +RBT:well_- -0.30000000000000004 +R:X:NX_?:N1_? -25.166666666666853 +RBT:maintain_the -1.5666666666666664 +RBS:<r>_verzweifelten 0.53333333333333333 +RBS:der_</r> -29.633333333333564 +RBT:about_</r> -0.46666666666666662 +R:X:NX_dem:N1_the -0.30000000000000004 +RBS:<r>_der 6.3999999999999941 +RBT:<r>_rahmen -2.0999999999999974 +RBT:X1_late -3.4000000000000008 +R:X:NX_verkaufen:N1_sell 1.3999999999999968 +RBS:X_und -53.800000000000274 +RBT:are_</r> -2.3000000000000007 +R:X:NX_verfassung_NX:N1_'s_constitution_N2 -20.800000000000026 +RBT:the_well -0.30000000000000004 +R:X:NX_halten:N1_hold -4.1999999999999948 +RBS:verzweifelten_</r> 0.53333333333333333 +RBS:X_? 18.733333333333345 +RBT:which_X2 -77.599999999998715 +R:X:blieben_NX:remained_N1 -1.1000000000000005 +RBS:<r>_verlassen -22.400000000000048 +RBS:X_dem 18.533333333333417 +WA:rahmen:framework -2.3000000000000007 +RBT:<r>_framework -2.3000000000000007 +RBS:hat_er 31.666666666666938 +WA:versuch:attempt -23.333333333333396 +RBT:X1_market 6.533333333333327 +RBS:<r>_stabilität 13.233333333333301 +RBS:zu_X 36.400000000000091 +RBS:general_</r> 4.2666666666666577 +WA:musharraf:musharrafWA:als:asWA:er:he 4.3333333333333233 +RBT:<r>_to 12.366666666666823 +RBT:X1_, 45.366666666665928 +R:X:NX_sich:,_N1 1.4000000000000006 +WA:ist:has -50.200000000000443 +R:X:NX_pakistanis:N1_pakistanis 7.6666666666666465 +RBS:._</r> -7.7333333333333529 +RBS:<r>_blieben 0.66666666666666663 +RBS:verlassen_</r> -28.000000000000128 +RBS:<r>_an -19.166666666666668 +RBS:,_als -4.3333333333333277 +RBT:effectively_</r> 23.400000000000063 +RBT:politics_. 22.633333333333386 +RBT:targets_X2 -2.0000000000000004 +RBS:,_X -34.73333333333337 +WA:dies:that -20.233333333333395 +RBT:late_</r> -1.7000000000000002 +R:X:NX_1999:1999_N1 53.833333333333428 +R:X:NX_hat_er:N1_,_he_has 31.666666666666938 +WA:würde:if -0.99999999999999989 +RBT:attempt_</r> -23.033333333333388 +RBS:medien_</r> 20.366666666666706 +RBT:,_X2 -1.5333333333331147 +R:X:ins:into 0.36666666666666697 +RBT:if_</r> 0.19999999999999998 +RBT:<r>_remained -1.1000000000000005 +RBT:leaving_</r> -1.7000000000000004 +RBT:decision_X1 1.9999999999999982 +LanguageModel_OOV -152.43333333333098 +R:X:NX_sie_NX_.:N1_they_N2_. 3.466666666666665 +R:X:verlassen:leaving -1.7000000000000004 +R:X:NX_,:N1_, 10.899999999999979 +R:X:der:the 6.3999999999999941 +RBS:an_</r> -22.86666666666672 +R:S:NS_NX:N1_N2 -99.599999999999284 +RBS:<r>_bemühen -1.5666666666666664 +R:X:justiz:judiciary -1.5000000000000002 +R:X:NX_,_als:N1_as 0.80000000000000215 +RBS:blieben_X 32.566666666666862 +RBT:<r>_leaving -1.7000000000000004 +R:X:die_NX_und:'s_security_agencies_,_and_preserve_N1_and 5.0333333333333314 +RBT:remained_X1 -1.1000000000000005 +WA:verlassen:leaving -1.7000000000000004 +RBT:and_preserve 5.0333333333333314 +R:X:macht:power -7.6999999999999886 +RBS:<r>_versuch -0.53333333333333333 +R:X:NX_maßnahmen:N1_measures -0.40000000000000008 +R:X:rahmen:rahmen -2.0999999999999974 +RBT:power_</r> 8.8666666666667755 +R:X:NX_gegen_den_terror:N1_on_terror 7.466666666666657 +RBT:pakistanis_</r> 7.6666666666666465 +RBS:<r>_ausgerufen -6.8999999999999915 +RBT:<r>_power -7.6999999999999886 +RBT:X1_elected 12.233333333333363 +RBS:X_er 39.600000000000293 +RBS:<r>_macht 3.7666666666667155 +RBT:X1_a -47.46666666666642 +WA:er:he 49.000000000000426 +RBT:<r>_many 2.2000000000000006 +RBT:<r>_12 8.9000000000000359 +RBT:into_states -4.6999999999999993 +R:X:NX_versuch:N1_attempt -23.033333333333388 +RBT:versprechen_</r> -0.63333333333333108 +R:X:NX_an_NX:N1_to_N2 -0.89999999999999991 +RBT:X1_when 14.833333333333295 +R:X:NX_letzter:N1_'s_last 3.2000000000000015 +RBS:X_verkaufen 1.3999999999999968 +RBS:und_</r> -11.566666666666706 +RBT:to_X2 25.03333333333353 +R:X:NX_er_NX_.:N1_he_N2_. 36.833333333333634 +RBS:X_verzweifelten -0.53333333333333333 +R:X:NX_er:N1_he 89.666666666665847 +RBT:<r>_versuch -0.53333333333333333 +R:X:NX_vielleicht_NX:N1_perhaps_N2 5.7666666666666622 +RBS:dem_</r> -0.53333333333333333 +RBS:X_hat 10.233333333333308 +R:X:halten:think -0.26666666666666666 +R:X:NX_,:N1_of -22.30000000000005 +RBS:<r>_projekt -22.33333333333341 +R:X:krieg:war -13.199999999999969 +R:X:NX_,_an:N1_in -4.9999999999999876 +WA:,:,WA:aber:butWA:hat:has -1.0000000000000004 +RBS:<r>_vielleicht -2.4000000000000008 +RBT:project_. 11.133333333333312 +WA:an:to 2.1999999999999891 +R:X:maßnahmen:maßnahmen -10.633333333333312 +WA:projekt:projectWA:.:. 11.133333333333312 +RBT:<r>_maßnahmen -10.633333333333312 +R:X:NX_und_den_NX:N1_and_N2 -0.39999999999999997 +RBS:<r>_für -8.6333333333333186 +RBT:X1_an 21.666666666666714 +RBT:that_</r> 7.9666666666666357 +RBT:X1_musharraf 11.200000000000003 +R:X:dies:so -37.200000000000252 +RBT:<r>_that -45.166666666666991 +R:X:NX_oktober:N1_october -7.7333333333333529 +RBS:<r>_das -2.2666666666666555 +RBS:X_als -11.466666666666642 +WA:musharraf:musharrafWA:.:. -11.366666666666738 +R:X:dies_NX:this_to_N1 19.366666666666692 +RBT:X2_the 0.56666666666666943 +RBT:supports_pakistan 20.600000000000023 +R:X:den_NX:N1_'s -0.13333333333333333 +RBS:zu_sorgen 0.59999999999999909 +WA:maßnahmen:maßnahmen -10.633333333333312 +WA:ist:'s -25.566666666666759 +RBT:X1_into -1.6999999999999993 +R:X:in:at 3.466666666666665 +R:X:NX_zu_verkaufen:sell_N1 -10.033333333333314 +RBT:<r>_war -19.53333333333336 +R:X:das:the 5.4999999999999973 +RBS:X_musharraf 20.066666666666773 +RBT:maßnahmen_</r> -10.633333333333312 +R:X:ist:'s -3.7000000000000015 +WA:für:that -9.9999999999999805 +WA:an:in -7.5999999999999952 +RBS:maßnahmen_</r> -14.699999999999976 +WA:ist:more -18.066666666666688 +RBS:für_</r> -14.233333333333299 +WA:krieg:warWA:gegen:onWA:terror:terror 5.466666666666657 +RBT:verlassen_</r> -20.200000000000017 +RBS:<r>_pakistanis 3.5000000000000013 +R:X:für:that -8.5999999999999854 +RBT:X1_. -198.73333333332843 +RBT:X1_pakistanis -22.000000000000071 +R:X:NX_,_NX_und:N1_N2_, -8.1999999999999869 +RBT:X1_reform -6.5333333333333208 +RBT:stability_</r> -4.3666666666666565 +R:X:NX_gegen:N1_against -8.1999999999999869 +RBS:macht_</r> -7.6999999999999886 +RBS:X_sie 5.6666666666666572 +RBS:<r>_krieg -19.53333333333336 +RBS:vielleicht_</r> -5.7666666666666622 +R:X:NX_als_NX_den:N1_N2_the -13.399999999999968 +R:X:NX_zu_sorgen:to_ensure_N1 0.59999999999999909 +WA:zu:into -7.1333333333333231 +WA:12:12 8.9000000000000359 +RBT:ensure_X1 0.59999999999999909 +R:X:an:in -16.499999999999964 +RBS:<r>_maßnahmen -14.299999999999976 +R:X:ist_NX:more_N1 -18.066666666666688 +RBT:musharraf_X1 -37.400000000000254 +RBS:zu_verkaufen -10.033333333333314 +RBT:<r>_in -32.633333333333603 +R:X:das:its -19.70000000000001 +WA:,:that -1.5333333333333343 +R:X:NX_,:N1_that -0.90000000000000036 +RBS:der_X 12.166666666666741 +WA:-:- -3.3999999999999986 +RBT:X1_that 16.733333333333402 +RBT:a_X1 -4.6999999999999993 +R:X:NX_-:N1_-- -2.1666666666666665 +WA:musharraf:musharrafWA:die:the 3.8666666666666583 +R:X:das:'s 5.599999999999997 +RBT:<r>_think -0.26666666666666666 +R:X:NX_,:N1_on 1.0999999999999996 +RBT:<r>_with 3.2000000000000011 +WA:,:on -0.63333333333333386 +RBT:defense_system 54.199999999999612 +R:X:NX_,:N1_-- -12.066666666666642 +WA:,:-- -7.6666666666666572 +RBT:--_</r> -9.8333333333333162 +RBT:X1_-- -16.299999999999994 +WA:pakistans:pakistan 0.19999999999999998 +R:X:NX_hat:N1_is -3.9333333333333322 +WA:den:of -3.300000000000002 +WA:sorgen:concerns -4.5999999999999996 +RBT:pakistani_X2 -19.900000000000013 +R:X:NX_zu_NX_,:N1_N2_, -5.4666666666666641 +WA:den:theWA:.:. -1.6666666666666672 +RBS:X_sorgen -4.5999999999999996 +RBT:<r>_'s -11.066666666666647 +RBS:das_X -1.5666666666666664 +PassThrough_4 33.366666666666823 +R:X:bemühen:bemühen 0.10000000000000113 +RBT:bemühen_</r> 0.10000000000000113 +RBT:X1_concerns -4.5999999999999996 +R:X:in:, 5.7666666666666702 +RBT:<r>_bemühen 0.10000000000000113 +RBS:in_</r> 18.533333333333417 +WA:bemühen:bemühen 0.10000000000000113 +R:X:NX_1999_NX:N2_N1_1999 -7.9666666666666899 +R:X:musharrafs_NX:musharraf_'s_N1 5.2333333333333298 +RBT:<r>_verkaufen -4.5999999999999996 +RBS:1999_X -7.9666666666666899 +RBT:musharraf_'s 5.2333333333333298 +RBT:verkaufen_</r> -4.5999999999999996 +R:X:das_NX:N1_the -4.5999999999999996 +RBS:effektiver_</r> -30.800000000000168 +R:X:NX_.:N1_politics_. 22.633333333333386 +R:X:NX_ein_NX:N1_a_N2 -16.19999999999996 +RBS:<r>_effektiver -29.300000000000143 +RBT:pace_. 16.433333333333344 +RBT:12%_</r> -8.9000000000000359 +WA:zu:in -9.0333333333333172 +R:X:NX_vielleicht:N1_perhaps 1.8000000000000007 +RBT:<r>_musharraf 4.1999999999999984 +R:X:NX_zu:N1_in -8.999999999999984 +R:X:effektiver:effektiver -23.400000000000063 +RBT:power_. 28.866666666666806 +R:X:musharrafs:musharrafs -6.6666666666666536 +R:X:NX_zu:N1_is -4.4000000000000004 +RBT:system_of -0.79999999999999993 +R:X:effektiver:effectively -5.899999999999995 +R:X:NX_krieg_gegen_den_NX:N1_war_on_N2 -4.2666666666666586 +RBT:X1_pace 16.433333333333344 +WA:zu:is 4.7666666666666648 +RBT:X1_perhaps 7.5666666666666558 +RBT:<r>_effectively -5.899999999999995 +RBT:X1_politics 22.633333333333386 +RBS:<r>_12 8.9000000000000359 +WA:zu:for 1.9666666666666659 +RBS:verzweifelten_X -0.53333333333333333 +R:X:versprechen:versprechen -0.63333333333333108 +R:X:musharrafs:musharraf 3.3666666666666685 +R:X:NX_zu:N1_for 2.4666666666666663 +RBT:X1_attempts -0.59999999999999998 +R:X:NX_versucht:N1_attempts -0.59999999999999998 +WA:als:to -0.40000000000000008 +WA:der:in -0.13333333333333333 +R:X:als:to -0.40000000000000008 +RBS:<r>_X 39.000000000000242 +R:X:NX_zu:N1_with 2.2000000000000011 +WA:zu:with 6.6666666666666528 +WA:zum:to 31.033333333333502 +RBT:X1_with 23.43333333333349 +RBT:pervez_musharraf -26.600000000000197 +RBS:X_ist -33.966666666666875 +R:X:NX_von_der:N1_the -11.599999999999985 +RBT:for_X2 6.7333333333333476 +RBT:so_</r> -37.266666666666929 +R:X:NX_musharraf_NX:N2_N1_musharraf -0.23333333333333331 +R:X:NX_ist_NX:is_N1_N2 -5.5333333333333234 +RBS:X_sich -5.1333333333333293 +RBS:ist_X -4.2333333333333201 +WA:dies:beWA:dies:couldWA:ist:be 11.200000000000022 +WA:pervez:pervez 26.600000000000197 +RBT:could_be 11.200000000000022 +WA:versucht:triedWA:,:to 1.9999999999999982 +RBT:at_X2 14.899999999999972 +RBS:ist_</r> 5.7666666666666702 +RBT:<r>_pervez -9.5333333333333119 +RBS:dies_ist 8.1666666666666519 +WA:internationale:international 29.16666666666681 +WA:ist:is 59.966666666667031 +RBT:power_X2 -2.6333333333333613 +RBT:look_down -77.599999999998715 +WA:hat:have 4.399999999999995 +RBT:X1_X2 -66.866666666666035 +RBT:growing_X2 24.200000000000074 +WA:hat:is -6.1333333333333249 +RBT:<r>_so -26.800000000000114 +WA:internationale:global -29.16666666666681 +RBT:<r>_is 12.266666666666643 +R:X:NX_macht_NX:N1_power_N2 -2.5000000000000271 +RBT:X2_look -77.599999999998715 +R:X:NX_macht_NX:N1_N2_does -0.59999999999999998 +R:X:NX_das_NX:N1_a_growing_N2 24.200000000000074 +R:X:hat:is -2.2000000000000011 +RBT:pervez_</r> 26.600000000000197 +RBT:<r>_could 11.200000000000022 +RBS:pervez_</r> 26.600000000000197 +R:X:dies_ist:could_be 11.200000000000022 +RBT:X1_as -25.433333333333422 +RBT:is_X1 -22.133333333333439 +RBS:dies_</r> -33.966666666666875 +R:X:NX_das_NX:N1_defense_system_that_N2 54.199999999999612 +WA:den:a -1.7000000000000004 +R:X:NX_ist_NX:N1_has_N2 -20.80000000000004 +RBT:X2_is -18.166666666666686 +RBT:defense_is 4.966666666666665 +RBS:<r>_internationale -3.4000000000000017 +WA:hat:has -18.933333333333334 +R:X:NX_ist_NX:N2_is_N1 -34.633333333333553 +RBT:X1_willing -0.53333333333333321 +R:X:dies:this 89.49999999999919 +WA:letzter:letzter -2.1333333333333342 +RBT:<r>_sell 3.1999999999999935 +R:X:in:on 5.966666666666657 +RBT:this_</r> 97.666666666665392 +RBT:<r>_this 108.69999999999811 +WA:dies:this 113.06666666666452 +R:X:musharrafs_NX:his_N1 -3.0000000000000013 +RBT:sell_</r> 14.63333333333331 +R:X:NX_1999:N1_1999 -45.600000000000385 +WA:hat:, 10.999999999999988 +R:X:NX_ist_NX:N1_N2_has -30.166666666666828 +R:X:NX_bereit:N1_willing -0.53333333333333321 +WA:dies:these -48.566666666667089 +RBT:letzter_</r> -2.1333333333333342 +RBT:1999_X1 53.833333333333428 +RBS:X_bereit 1.4000000000000006 +RBT:these_</r> -48.566666666667089 +RBT:<r>_letzter -2.1333333333333342 +RBS:<r>_verkaufen 8.6333333333333258 +RBT:<r>_1999 53.566666666666777 +RBT:X2_has -61.833333333333165 +R:X:dies:these -48.566666666667089 +WA:letzter:late -1.7000000000000002 +RBS:X_1999 0.26666666666666666 +R:X:NX_ist_NX:N1_is_N2 24.533333333333413 +WA:vielleicht:may -2.4000000000000008 +RBT:is_X2 54.933333333333849 +RBT:X1_supports 20.600000000000023 +R:X:hat:has -15.899999999999958 +R:X:NX_ist_NX:N1_N2_is -5.9333333333333274 +R:X:NX_ist_NX:'s_N1_N2 -21.866666666666706 +RBS:<r>_pervez 7.1999999999999851 +R:X:dies_NX:this_N1 4.1999999999999957 +R:X:NX_als:N1_as -11.799999999999974 +RBS:<r>_ist 25.800000000000097 +RBT:<r>_dies -25.633333333333429 +RBT:his_X1 8.1666666666666554 +R:X:verkaufen:verkaufen -4.5999999999999996 +RBT:1999_</r> -53.833333333333428 +RBT:him_X1 -0.89999999999999991 +RBS:dies_X 25.800000000000097 +R:X:ist_NX:be_N1 16.433333333333348 +R:X:pervez:pervez 9.9333333333333087 +RBT:this_to 19.366666666666692 +WA:dies:dies -25.633333333333429 +RBT:powers_X2 -0.83333333333333359 +R:X:NX_das_NX:which_N2_look_down_N1 -77.599999999998715 +RBT:dies_</r> -25.633333333333429 +R:X:NX_den:N1_the 14.933333333333303 +R:X:dies:dies -25.633333333333429 +WA:verkaufen:sell 4.5999999999999996 +RBS:musharrafs_X 1.8333333333333313 +RBT:X1_1999 -53.566666666666777 +RBT:so_, 8.1666666666666536 +WA:dies:soWA:dies:this 8.1666666666666536 +R:X:dies:so_,_this 8.1666666666666536 +WA:ist:are -2.3000000000000007 +R:X:ist:are -2.3000000000000007 +RBT:<r>_are -2.3000000000000007 +R:X:NX_ist_NX:N1_,_is_N2 16.266666666666644 +R:X:NX_.:N1_on_. 33.03333333333353 +RBT:on_. 33.03333333333353 +RBT:X1_established -9.8333333333333339 +RBT:established_. -9.8333333333333339 +R:X:NX_.:N1_pace_. 16.433333333333344 +R:X:NX_ein_NX:N1_an_N2 -4.8999999999999986 +R:X:NX_ist_NX:is_N1_,_N2 9.0666666666666504 +Shape_S01110_T11110 -68.533333333332436 +R:X:NX_entscheidung:N1_decision 7.0999999999999908 +R:X:NX_ist_NX:N2_N1_is -34.400000000000219 +RBT:<r>_global -3.4000000000000017 +R:X:als_NX_sich_NX:as_N1_N2 -0.13333333333333333 +R:X:NX_ist_NX:N1_is_at_N2 13.233333333333304 +RBT:is_at 13.233333333333304 +R:X:NX_krieg_gegen:N1_war_on 2.5333333333333345 +R:X:NX_.:N1_debate_. 17.733333333333363 +R:X:NX_pakistanis_NX:N1_pakistanis_N2 -29.666666666666817 +RBT:X1_debate 17.733333333333363 +RBT:pakistanis_X2 -29.666666666666817 +RBT:debate_. 17.733333333333363 +R:X:NX_-:,_N1 0.33333333333333309 +RBT:in_X1 0.033333333333337357 +R:X:NX_ist_NX:is_in_N1_N2 5.7666666666666613 +RBT:is_in 5.7666666666666613 +R:X:NX_von_NX_angeführten:N1_N2_-_led -3.300000000000002 +RBT:X1_defense 59.166666666666082 +R:X:NX_sich_NX_den:N1_N2_a -1.7000000000000004 +R:X:NX_ist_NX:N1_defense_is_N2 4.966666666666665 +R:X:ist_NX:is_N1 5.1666666666666643 +RBS:internationale_X 1.099999999999997 +R:X:NX_ist_NX:N2_it_is_N1 6.833333333333325 +RBT:it_is 13.49999999999998 +RBT:X1_at 1.3666666666666665 +RBT:,_remained -0.66666666666666663 +RBT:X1_disruptions 7.3999999999999888 +R:X:NX_blieben:N1_,_remained -0.66666666666666663 +R:X:NX_.:N1_disruptions_. 7.3999999999999888 +R:X:NX_ist_NX:N1_market_N2_is 6.7999999999999927 +RBT:market_X2 6.7999999999999927 +R:X:ist_NX:N1_it_is 6.6666666666666599 +R:X:ist_NX:N1_is 1.8333333333333333 +R:X:NX_er_sich_NX:N1_he_N2 6.6333333333333258 +R:X:NX_ist_NX:N1_is_well_N2 10.93333333333331 +RBT:is_well 10.93333333333331 +RBT:'s_system -0.79999999999999993 +WA:zum:a -33.600000000000207 +RBT:X1_created 58.600000000000271 +R:X:falls:if 0.19999999999999998 +R:X:NX_zum_NX:N2_to_further_N1 35.766666666666907 +RBT:october_</r> -7.7333333333333529 +R:X:NX_zu_NX:N1_is_N2 9.1666666666666501 +RBS:X_entscheidung -1.9999999999999982 +RBS:er_X 4.4999999999999956 +RBS:ein_</r> -10.933333333333309 +WA:jener:of -1.6666666666666661 +R:X:NX_hat:,_N1 18.666666666666753 +R:X:NX_ein:N1_put_forward_a -10.933333333333309 +WA:projekt:project -11.133333333333312 +R:X:NX_pakistans:N1_supports_pakistan 20.600000000000023 +RBT:X2_musharraf 17.400000000000119 +RBT:to_promote -4.9999999999999876 +R:X:NX_jener_NX:N1_of_N2 -1.9999999999999982 +WA:unterstützen:support -3.300000000000002 +RBT:action_</r> -1.466666666666667 +RBS:X_projekt 22.33333333333341 +R:X:NX_entscheidung:N1_choice -9.0999999999999837 +WA:zu:toWA:unterstützen:promote -4.9999999999999876 +RBS:X_jener -1.9999999999999982 +WA:das:that 54.199999999999612 +R:X:maßnahmen:actions -2.2000000000000011 +R:X:NX_projekt_NX:N2_N1_project 11.199999999999976 +R:X:NX_zu_unterstützen:to_promote_N1 -4.9999999999999876 +RBT:choice_</r> -9.0999999999999837 +RBT:refuses_to 56.500000000000533 +R:X:NX_-:N1_- -4.8666666666666654 +WA:,:, 19.500000000000032 +RBT:project_X1 -22.33333333333341 +R:X:NX_zum_NX:N1_a_top_N2 -33.600000000000207 +RBT:'s_</r> 9.3999999999999968 +RBT:a_growing 24.200000000000074 +RBT:hold_</r> -4.1999999999999948 +RBT:X1_gathered -38.800000000000281 +RBT:further_X1 35.766666666666907 +RBT:X1_ready 1.9333333333333318 +R:X:betrat:betrat 10.499999999999979 +WA:zu:at 1.7333333333333336 +R:X:verzweifelten:verzweifelten -17.266666666666733 +WA:versprechen:commitment 0.63333333333333108 +WA:er:heWA:.:. 36.833333333333634 +RBS:X_sein -8.3666666666666529 +RBT:that_X2 54.199999999999612 +RBS:sein_</r> 12.600000000000016 +Shape_S01110_T01011 -22.4666666666668 +RBS:X_vielleicht 2.4000000000000008 +RBT:to_further 35.766666666666907 +RBT:X1_by -0.33333333333333331 +RBT:X1_october -7.7333333333333529 +WA:das:a 24.200000000000074 +WA:general:general 7.7333333333333529 +WA:zu:among -1 +RBS:<r>_von 3.300000000000002 +WA:unterstützen:supportWA:.:. 2.5333333333333274 +RBS:entscheidung_</r> -1.9999999999999982 +RBS:zu_unterstützen -4.9999999999999876 +RBS:X_seine -12.666666666666687 +WA:der:'sWA:ihres:pakistan -0.79999999999999993 +WA:das:'sWA:,:, -0.79999999999999993 +R:X:NX_musharraf_NX:N1_N2_musharraf -0.3333333333333332 +WA:musharrafs:his 0.46666666666666295 +RBS:könnte_</r> 1.9999999999999982 +RBS:<r>_unterstützen -3.300000000000002 +RBS:X_so -1.5333333333333332 +RBT:education_, -0.79999999999999993 +R:X:NX_seine_NX_als:N1_his_N2_than -2.1666666666666621 +RBT:by_</r> -39.266666666666957 +RBS:falls_</r> 0.19999999999999998 +RBS:hat_X -20.733333333333448 +RBS:<r>_ins -0.73333333333333339 +RBS:<r>_sein 8.3666666666666529 +R:X:NX_internationale:N1_international -13.433333333333382 +RBT:system_that 54.199999999999612 +RBS:X_musharrafs 1.9999999999999982 +R:X:NX_der_NX:N1_of_N2 -4.1000000000000014 +R:X:der_NX_ihres:pakistan_'s_N1 -0.79999999999999993 +RBS:X_pakistans 0.19999999999999998 +RBT:X2_than -2.1666666666666621 +WA:,:by -38.800000000000281 +RBT:support_X1 2.5333333333333274 +R:X:NX_,:N1_gathered_by -38.800000000000281 +RBT:<r>_who -0.066666666666666666 +RBT:<r>_if -0.99999999999999989 +R:X:NX_hat_NX_musharraf:N1_N2_musharraf_has 5.0666666666666593 +RBT:of_pakistan -20.600000000000023 +WA:ein:a -16.19999999999996 +WA:halten:hold -4.1999999999999948 +RBT:gathered_by -38.800000000000281 +WA:general:generalWA:.:. -7.7333333333333529 +R:X:NX_zu_NX:N1_at_N2 1.7333333333333336 +RBT:<r>_october 7.7333333333333529 +R:X:NX_zu_NX:N1_in_N2 0.30000000000000021 +R:X:am_NX:the_N1 33.1000000000002 +R:X:NX_zu_NX:N1_among_N2 -1 +R:X:am_NX:N1_on -1.6000000000000003 +RBT:X1_among -1 +R:X:NX_zu_NX:N1_for_N2 -0.5 +RBT:into_X2 -2.4333333333333305 +R:X:NX_zu_NX:N1_into_N2 -2.4333333333333305 +WA:zu:increasing -14.566666666666629 +RBT:<r>_bühne 7.6333333333333533 +RBT:X2_by -14.566666666666629 +RBS:in_X -6.9666666666666748 +R:X:NX_gestalten_.:N1_. -27.600000000000122 +RBS:X_dass -9.9666666666666526 +RBT:let_</r> -0.46666666666666662 +RBT:<r>_which -77.599999999998715 +RBT:down_X1 -77.599999999998715 +WA:nationale:national 8.4333333333333638 +RBT:decision_</r> 7.0999999999999908 +WA:entscheidung:decision 9.0999999999999837 +RBT:bühne_</r> 7.6333333333333533 +RBT:X1_increasing -14.566666666666629 +R:X:bühne:bühne 7.6333333333333533 +R:X:NX_zu_NX:N2_by_N1_increasing -14.566666666666629 +WA:in:on 5.966666666666657 +WA:das:which -77.599999999998715 +RBT:by_X1 -14.566666666666629 +RBT:X1_decision 7.0999999999999908 +WA:seine:its -0.39999999999999997 +RBT:X1_than 4.1333333333333293 +RBT:global_X1 -3.4000000000000017 +WA:bühne:bühne 7.6333333333333533 +RBT:increasing_</r> -14.566666666666629 +R:X:NX_zum_NX:N1_with_the_N2 -0.59999999999999998 +WA:zum:withWA:zum:the -0.59999999999999998 +R:X:NX_sorgen:N1_concerns -4.5999999999999996 +RBT:X1_areas -20.600000000000023 +RBT:areas_of -20.600000000000023 +R:X:NX_pakistans:N1_areas_of_pakistan -20.600000000000023 +WA:halten:halten 6.0333333333333279 +RBT:X1_refuses 56.500000000000533 +WA:-:'s 10.433333333333321 +RBT:halten_</r> 6.0333333333333279 +R:X:NX_,:N1_refuses_to 56.500000000000533 +RBS:-_</r> 22.33333333333341 +RBT:to_launch 4.1666666666666643 +R:X:NX_zu_NX:N1_to_launch_N2 4.1666666666666643 +RBT:launch_X2 4.1666666666666643 +R:X:NX_zu_NX:N1_to_carry_N2 1.5333333333333339 +RBT:carry_X2 1.5333333333333339 +RBT:to_carry 1.5333333333333339 +R:X:NX_eine:N1_is -69.200000000000344 +RBT:<r>_for -6.4666666666666544 +RBS:._oktober 7.7333333333333529 +RBT:created_an 58.600000000000271 +R:X:NX_eine:N1_created_an 58.600000000000271 +RBS:<r>_zu -20.366666666666706 +WA:am:on -33.86666666666688 +R:X:NX_gegen_den_NX:N1_on_N2 -2.2000000000000006 +R:X:verlassen:relied -0.5 +WA:blieben:remained 31.900000000000187 +WA:eine:an 85.166666666666103 +R:X:NX_nationale:N1_national 6.6000000000000218 +RBS:X_nationale 9.0000000000000373 +RBS:maßnahmen_X 14.699999999999976 +RBT:an_</r> 86.099999999999383 +R:X:NX_die:N1_, 14.46666666666672 +RBT:<r>_relied -6.0999999999999943 +R:X:blieben_NX:N1_remained 33.666666666666877 +RBS:X_eine 13.033333333333381 +R:X:NX_sie_NX_,:N1_N2_, -17.099999999999973 +RBT:pakistan_'s -0.79999999999999993 +RBT:X1_national 9.0000000000000373 +R:X:NX_am_NX:N1_on_N2 8.9666666666667041 +WA:verlassen:verlassen -20.200000000000017 +RBS:pakistanis_</r> 26.166666666666771 +R:X:NX_regierung_NX:N2_N1_government 10.399999999999974 +RBT:and_a 14.53333333333345 +R:X:NX_gewählte:N1_elected 2.8666666666666671 +WA:die:, 44.399999999999118 +RBS:am_X 8.9000000000000359 +RBT:relied_</r> -0.5 +RBT:X1_remained 33.666666666666877 +R:X:NX_musharraf_NX:N1_musharraf_N2 22.10000000000008 +RBT:when_</r> 12.399999999999975 +WA:der:the -18.566666666666773 +RBT:X1__ -6.4333333333333185 +RBT:<r>_the 24.200000000000006 +RBT:national_</r> -1.8333333333333339 +R:X:in:for -4.9999999999999929 +R:X:NX_._oktober:october_N1 7.7333333333333529 +WA:der:of -4.1000000000000014 +WA:als:when 7.8666666666666556 +RBT:general_</r> 4.2666666666666577 +RBS:ein_X 10.933333333333309 +R:X:NX_sich_NX:N1_N2_, -4.6999999999999993 +RBT:musharraf_X2 14.200000000000029 +R:X:projekt_NX:project_N1 -22.33333333333341 +RBT:with_</r> 16.200000000000035 +RBT:<r>_project -22.33333333333341 +RBS:-_X -22.33333333333341 +RBT:the_X1 32.100000000000186 +R:X:NX_-:N1_, 17.133333333333372 +RBT:a_X2 9.2666666666667989 +R:X:NX_betrat:N1_entered -10.499999999999979 +RBS:den_krieg -0.93333333333333346 +RBT:pakistanis_X1 3.5000000000000013 +RBS:X_betrat -10.499999999999979 +R:X:NX_eine:N1_an 26.566666666666777 +R:X:NX_die:N1_'s -6.5999999999999881 +RBS:X_. 11.59999999999998 +RBT:pakistanis_, 18.500000000000064 +WA:.:. -37.100000000000314 +RBS:blieben_</r> -32.566666666666862 +WA:den:theWA:gegen:against -0.39999999999999997 +RBT:<r>_blieben -31.900000000000187 +RBT:aim_</r> -17.833333333333361 +Shape_S11110_T01110 7.633333333333316 +WA:seine:itsWA:als:as 0.26666666666666677 +RBT:X2_'s -11.733333333333315 +WA:politischen:policy -0.79999999999999993 +R:X:er:er -22.200000000000141 +RBS:hat_</r> -10.933333333333316 +RBT:X2_be -7.6999999999999886 +RBS:viele_X 0.6000000000000002 +R:X:NX_pervez:N1_pervez -0.13333333333333333 +RBT:into_the -3.4000000000000017 +RBT:political_X1 0.79999999999999993 +RBT:X2_power 1.1333333333333335 +WA:von:with 10.799999999999974 +WA:dass:that 38.166666666666941 +R:X:NX_sie_NX_,_dass:N1_N2_that 20.700000000000024 +R:X:NX_würde:N1_would -4.3333333333333295 +WA:gestalten:more 36.53333333333358 +RBS:,_dass 11.16666666666665 +RBS:X_krieg 20.466666666666708 +R:X:NX_pakistanis:pakistanis_,_N1 18.500000000000064 +WA:verlassen:relied -6.0999999999999943 +RBT:remained_</r> 33.000000000000199 +RBS:dass_</r> 27.433333333333451 +WA:viele:many 2.2000000000000006 +WA:der:'sWA:politischen:political 0.79999999999999993 +RBS:__</r> 0.8666666666666667 +RBS:krieg_gegen 3.3333333333333321 +WA:_:, 19.900000000000063 +R:X:dies_ist_NX:this_is_N1 -3.0333333333333283 +RBT:in_X2 16.733333333333331 +RBT:'s_political 0.79999999999999993 +RBT:many_X1 2.2000000000000006 +RBT:<r>_er -22.200000000000141 +RBT:X2_that 20.066666666666681 +RBT:would_</r> -3.1999999999999962 +RBT:X1_measures 14.299999999999976 +R:X:politischen_NX:policy_N1 -0.79999999999999993 +R:X:NX_.:N1_. -165.16666666666157 +RBS:X_pakistanis -3.5000000000000013 +RBS:<r>_seine -0.56666666666666687 +RBT:er_</r> -22.200000000000141 +WA:seine:'s -0.46666666666666662 +R:X:NX_der:N1_the -7.8999999999999915 +R:X:seine_NX_als:his_N1_than -1.9333333333333342 +R:X:der_politischen_NX:'s_political_N1 0.79999999999999993 +RBT:than_the 4.2333333333333254 +RBT:<r>__ -2.6666666666666679 +WA:vielleicht:perhaps 7.5666666666666558 +R:X:seine:seine 1.4999999999999993 +RBT:X1_the 29.266666666666804 +RBT:more_X1 -18.066666666666688 +R:X:viele_NX:many_N1 2.2000000000000006 +R:X:ausgerufen:declared -6.8999999999999915 +RBT:<r>_pakistanis 22.000000000000071 +RBT:declared_</r> -6.8999999999999915 +RBS:pakistanis_X -26.166666666666771 +R:X:blieben:blieben -31.900000000000187 +R:X:NX_würde:N1_will 7.0666666666666584 +RBT:X1_will 5.9333333333333265 +WA:sein:its -19.100000000000037 +R:X:NX_sein_NX:N2_be_N1 -12.799999999999971 +RBT:that_it -16.333333333333385 +RBT:he_X2 22.533333333333385 +RBT:is_</r> -76.366666666666603 +WA:_:_ -19.900000000000063 +WA:,:,WA:als:as 2.4333333333333305 +RBT:__</r> -8.233333333333313 +RBT:<r>_may -2.4000000000000008 +RBT:be_</r> 52.199999999999726 +R:X:NX_sein:N1_his -2.4000000000000008 +RBT:its_</r> -27.200000000000117 +RBT:commitment_X2 -2.4000000000000008 +RBS:von_</r> 11.599999999999985 +RBT:-_X2 -0.30000000000000004 +RBT:X1_his -4.5666666666666593 +RBT:<r>_its -38.933333333333621 +R:X:NX_versprechen_NX:N1_commitment_N2 -2.4000000000000008 +RBS:X_versprechen 0.63333333333333108 +RBT:<r>_would -1.2333333333333336 +RBT:X2_to 12.466666666666882 +R:X:vielleicht:may -2.4000000000000008 +RBT:may_</r> -4.399999999999995 +R:X:NX_würde:would_N1 -1.2333333333333336 +R:X:NX_versuch_NX:N1_attempt_by_N2 -0.30000000000000004 +RBS:versprechen_X -2.4000000000000008 +RBT:X1_commitment 0.63333333333333108 +RBT:X1_who 6.833333333333325 +R:X:NX_würde:will_N1 -1.6333333333333335 +RBT:will_X1 -1.6333333333333335 +RBT:who_</r> 6.7666666666666586 +RBT:if_X1 -1.2 +WA:vielleicht:possibly -5.1666666666666643 +RBT:possibly_</r> -5.1666666666666643 +RBT:X1_for 19.800000000000068 +WA:viele:of -13.200000000000001 +R:X:viele_NX:of_N1 -1.6000000000000003 +RBS:<r>_er -38.433333333333699 +RBT:X1_they -9.1333333333333169 +R:X:NX_sie_NX:N1_they_N2 -5.1999999999999966 +RBT:,_it 2.7999999999999954 +WA:gegen:onWA:terror:terror 7.466666666666657 +RBT:they_X2 -1.7333333333333334 +WA:seine:hisWA:als:than -4.0999999999999917 +RBT:the_X2 3.2333333333333218 +RBT:<r>_policy -0.79999999999999993 +R:X:NX_maßnahmen_NX:N2_N1_measures 14.699999999999976 +RBS:<r>_politischen -0.79999999999999993 +Shape_S11100_T11000 -6.0666666666666629 +R:X:seine_NX_als:its_N1_as 0.26666666666666677 +RBT:policy_X1 -0.79999999999999993 +RBT:<r>_when -9.6999999999999815 done --- -Best iteration: 3 [SCORE 'fixed_stupid_bleu'=0.30742]. -This took 0.9 min. +Best iteration: 3 [SCORE 'fixed_stupid_bleu'=0.36222]. +This took 1.1833 min. diff --git a/training/dtrain/pairsampling.h b/training/dtrain/pairsampling.h index 3f67e209..1a3c498c 100644 --- a/training/dtrain/pairsampling.h +++ b/training/dtrain/pairsampling.h @@ -112,6 +112,7 @@ _PRO_cmp_pair_by_diff_d(pair<ScoredHyp,ScoredHyp> a, pair<ScoredHyp,ScoredHyp> b inline void PROsampling(vector<ScoredHyp>* s, vector<pair<ScoredHyp,ScoredHyp> >& training, score_t threshold, unsigned max, bool _unused=false, float _also_unused=0) { + sort(s->begin(), s->end(), cmp_hyp_by_score_d); unsigned max_count = 5000, count = 0, sz = s->size(); bool b = false; for (unsigned i = 0; i < sz-1; i++) { diff --git a/training/dtrain/score.cc b/training/dtrain/score.cc index 96d6e10a..127f34d2 100644 --- a/training/dtrain/score.cc +++ b/training/dtrain/score.cc @@ -32,7 +32,7 @@ BleuScorer::Bleu(NgramCounts& counts, const unsigned hyp_len, const unsigned ref } score_t -BleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +BleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -52,7 +52,7 @@ BleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * NOTE: 0 iff no 1gram match ('grounded') */ score_t -StupidBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +StupidBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -81,7 +81,7 @@ StupidBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * (Nakov et al. '12) */ score_t -FixedStupidBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +FixedStupidBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -112,7 +112,7 @@ FixedStupidBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * NOTE: max is 0.9375 (with N=4) */ score_t -SmoothBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +SmoothBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -143,7 +143,7 @@ SmoothBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * sum up Ngram precisions */ score_t -SumBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +SumBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -167,7 +167,7 @@ SumBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * sum up exp(Ngram precisions) */ score_t -SumExpBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +SumExpBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -191,7 +191,7 @@ SumExpBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * sum up exp(weight * log(Ngram precisions)) */ score_t -SumWhateverBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +SumWhateverBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -224,7 +224,7 @@ SumWhateverBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * No scaling by src len. */ score_t -ApproxBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +ApproxBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned rank, const unsigned src_len) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); @@ -255,7 +255,7 @@ ApproxBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, * */ score_t -LinearBleuScorer::Score(vector<WordID>& hyp, vector<WordID>& ref, +LinearBleuScorer::Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned rank, const unsigned /*src_len*/) { unsigned hyp_len = hyp.size(), ref_len = ref.size(); diff --git a/training/dtrain/score.h b/training/dtrain/score.h index 53e970ba..1cdd3fa9 100644 --- a/training/dtrain/score.h +++ b/training/dtrain/score.h @@ -138,43 +138,43 @@ make_ngram_counts(const vector<WordID>& hyp, const vector<WordID>& ref, const un struct BleuScorer : public LocalScorer { score_t Bleu(NgramCounts& counts, const unsigned hyp_len, const unsigned ref_len); - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {} }; struct StupidBleuScorer : public LocalScorer { - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {} }; struct FixedStupidBleuScorer : public LocalScorer { - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {} }; struct SmoothBleuScorer : public LocalScorer { - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {} }; struct SumBleuScorer : public LocalScorer { - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {} }; struct SumExpBleuScorer : public LocalScorer { - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {} }; struct SumWhateverBleuScorer : public LocalScorer { - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned /*rank*/, const unsigned /*src_len*/); void Reset() {}; }; @@ -194,7 +194,7 @@ struct ApproxBleuScorer : public BleuScorer glob_hyp_len_ = glob_ref_len_ = glob_src_len_ = 0.; } - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned rank, const unsigned src_len); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned rank, const unsigned src_len); }; struct LinearBleuScorer : public BleuScorer @@ -207,7 +207,7 @@ struct LinearBleuScorer : public BleuScorer onebest_counts_.One(); } - score_t Score(vector<WordID>& hyp, vector<WordID>& ref, const unsigned rank, const unsigned /*src_len*/); + score_t Score(const vector<WordID>& hyp, const vector<WordID>& ref, const unsigned rank, const unsigned /*src_len*/); inline void Reset() { onebest_len_ = 1; |