steal tokenizer from moses' scripts

1 files changed, 259 insertions, 0 deletions

diff --git a/nonbreaking_prefixes/nonbreaking_prefix.ru b/nonbreaking_prefixes/nonbreaking_prefix.ru
new file mode 100644
index 0000000..444465b
--- /dev/null
+++ b/nonbreaking_prefixes/nonbreaking_prefix.ru
@@ -0,0 +1,259 @@
+TBD: Russian uppercase alphabet [А-Я]

+A

+B

+C

+D

+E

+F

+G

+H

+I

+J

+K

+L

+M

+N

+O

+P

+Q

+R

+S

+T

+U

+V

+W

+X

+Y

+Z

+0гг

+1гг

+2гг

+3гг

+4гг

+5гг

+6гг

+7гг

+8гг

+9гг

+0г

+1г

+2г

+3г

+4г

+5г

+6г

+7г

+8г

+9г

+Xвв

+Vвв

+Iвв

+Lвв

+Mвв

+Cвв

+Xв

+Vв

+Iв

+Lв

+Mв

+Cв

+0м

+1м

+2м

+3м

+4м

+5м

+6м

+7м

+8м

+9м

+0мм

+1мм

+2мм

+3мм

+4мм

+5мм

+6мм

+7мм

+8мм

+9мм

+0см

+1см

+2см

+3см

+4см

+5см

+6см

+7см

+8см

+9см

+0дм

+1дм

+2дм

+3дм

+4дм

+5дм

+6дм

+7дм

+8дм

+9дм

+0л

+1л

+2л

+3л

+4л

+5л

+6л

+7л

+8л

+9л

+0км

+1км

+2км

+3км

+4км

+5км

+6км

+7км

+8км

+9км

+0га

+1га

+2га

+3га

+4га

+5га

+6га

+7га

+8га

+9га

+0кг

+1кг

+2кг

+3кг

+4кг

+5кг

+6кг

+7кг

+8кг

+9кг

+0т

+1т

+2т

+3т

+4т

+5т

+6т

+7т

+8т

+9т

+0г

+1г

+2г

+3г

+4г

+5г

+6г

+7г

+8г

+9г

+0мг

+1мг

+2мг

+3мг

+4мг

+5мг

+6мг

+7мг

+8мг

+9мг

+бульв

+в

+вв

+г

+га

+гг

+гл

+гос

+д

+дм

+доп

+др

+е

+ед

+ед

+зам

+и

+инд

+исп

+Исп

+к

+кап

+кг

+кв

+кл

+км

+кол

+комн

+коп

+куб

+л

+лиц

+лл

+м

+макс

+мг

+мин

+мл

+млн

+млрд

+мм

+н

+наб

+нач

+неуд

+ном

+о

+обл

+обр

+общ

+ок

+ост

+отл

+п

+пер

+перераб

+пл

+пос

+пр

+просп

+проф

+р

+ред

+руб

+с

+сб

+св

+см

+соч

+ср

+ст

+стр

+т

+тел

+Тел

+тех

+тт

+туп

+тыс

+уд

+ул

+уч

+физ

+х

+хор

+ч

+чел

+шт

+экз

+э