«Создаем автокорректор и татары пишут в соцсетях, не боясь совершить ошибки»

Общество 08:54 / 3 августа 2018
8
«Создаем автокорректор и татары пишут в соцсетях, не боясь совершить ошибки»

Чтобы сохранить язык, важно на нем не только правильно говорить, но и писать. 

Одно из главных требований для развития языка в современном мире - его потребность у носителей при обмене информации в интернете. Татары в соцсетях есть, их много, среди них немало и татароязычных. Для них общение на родном языке - норма. Однако в среде как татароязычных татар, так и тех, кто его утратил, то и дело возникают споры, как правильно пишется какое-либо слово. Неудивительно, что обязательно находятся несколько энтузиастов, которые не поленятся залезть в бумажные или электронные орфографические словари и поднять общий уровень грамотности. 

Немного по-другому обстоит дело с электронными СМИ. К сожалению, на сегодня фиксируются многочисленные пренебрежения правилами написания татарских слов и использования татарской кириллицы изданиями, входящими в холдинг «Татмедиа», а также республиканскими министерствами. 

Ошибки очень грубы и режут слух, если позабыть настоящее звучание слова и прочесть его буквально. 

Например, татароязычный раздел сайта издания Муслюмовского района назван как «Мослим», хотя по правилам должен называться «Мөслим». 

Название района восходит к татарскому обозначению мусульман - мөселман. Знающие родной язык понимают, какая фонетическая пропасть разделяет русскую букву «о» от татарской «ө». Уж лучше б оставили «Муслим», по звучанию «у» ближе к «ө». Татароязычным агрызцам тоже не повезло - в названии их СМИ, состоящем из двух слов, сделано четыре ошибки: «Эгерже хэбэрлэре» - «Әгерҗе хәбәрләре». 

Тут можно оправдаться, что поисковые системы «Яндекс» и Google не индексируют СМИ, написанные по-татарски. Но это не так - оба поисковика выдают результаты.  

1/0

Все эти моменты приводят к пониманию, что остро необходим автокорректор татарского языка. В интервью KazanFirst сотрудник Марийского НИИ языка, литературы и истории им. В. М. Васильева и разработчик автокорректора для марийского языка Андрей Чемышев рассказывает, какие были попытки по созданию татарского автокорректора и возможна ли вообще его реализация сегодня.   

- Что называется автокорректором того или иного языка? 

- Автокорректор по другому ещё называют spell-cheсker - система проверки правописания. Она есть для татарского языка в разных программах, например, в офисном пакете Microsoft Office. Этому делу много лет, ещё когда был проект локализации Windows XP на татарский язык. Эта работа проводилась совместно с НИИ «Прикладная семиотика» при Академии наук РТ. Во время реализации проекта локализации Windows XP ребята из Microsoft составили список фраз, которые им надо было перевести на татарский язык. Работники научно-исследовательского института их перевели. 

Дело в том, что российское представительство Microsoft сшибало огромные деньги с тех регионов России, где могли им оплатить локализацию на местный язык, как, например, Татарстан и Башкортостан. Они оценивали свою работу в нереальные деньги. На самом же деле перевод готовили сотрудники татарстанской Академии. А представители Microsoft просто вшили в свою программу их перевод. Тем не менее spell-cheсker тогда и был создан впервые. 

- Как может выглядеть автокорректор для татарского языка?

- Разработчики взяли комбинации аффиксов и леммы (слова в исходном значении) в татарском языке. Предположим, есть список из 60 тысяч слов, которые в основном взяты из орфографических, татарско-русских словарей. Этот список слов размечен по категориям существительные, прилагательные, глаголы. И вот к каждому слову, то есть лемме, определяют парадигмы, то есть всевозможные аффиксы, которые могут прибавляться к слову.

И вот разработчики взяли список слов и список возможных аффиксов, которые могут последовательно прибавляться до пяти штук. Например, лемма «китап» (книга), с аффиксом «ым» уже будет «китабым» (моя книга) и так далее. Все эти списки были отданы в Microsoft, они в свою локализацию также включили раскладку клавиатуры для татарского языка. Суммы, конечно, за всё это были огромными для регионов. Я видел некоторые счета Microsoft, которые мне показали в Уфе, там были цифры и 4, и 10 млн рублей. Вы ведьпонимаете, какие это были огромные деньги для середины 2000-х годов, когда доллар стоил по 25 рублей.

- Хорошо, сделали. В чем же тогда сложность, почему не пользуются им?  

- Вся система у Microsoft закрытая. Ну, сделали они этот spell-cheker на татарском языке для Microsoft Office. Но нигде больше этот автокорректор уже нельзя использовать. 

А если ты используешь свободное программное обеспечение, тот же LibreOffice или OpenOffice, или ещё какие-то другие программы, то ты spell-cheker от Microsoft уже использовать не можешь.

В целом spell-cheker-ы основаны на морфоанализаторе. Такие же морфоанализаторы были сделаны компанией ABBYY - их разработке принадлежит татаро-русский и русско-татарский электронный словарь. Они тоже обратились к специалистам НИИ «Прикладная семиотика», взяли за основу академический татарско-русский и русско-татарский словари, подготовленный Институтом языка, литературы и истории (ИЯЛИ) Академии наук РТ. Также расписали возможности изменения слов по парадигмам, как это было у Microsoft. У ABBYY тоже закрытая система получилась.

К попыткам создания татарского автокорректора также относится проект по русско-татарскому «Яндекс.Переводчику». Там дошло дело вплоть до локализации на татарский язык всей страницы «Яндекс». Если твой IP-адрес был из Татарстана, то тебе предоставляется возможность поменять язык. Они так же делали татарский морфоанализатор, но он у них закрытый. 

- А есть открытые системы?

- Конечно, есть. Я показал одному парню из института «Прикладная семиотика» Рамилю Гатауллину, как можно сделать открытый морфоанализатор XFST-HFST (Xerox Finite-State Transducer - Helsinki Finite-State Transducer). Он сделал его для целей института.

У специалистов института стояла задача - сделать автоматическую разметку для корпуса татарского языка. Они это сделали, но модуль проверки правописания на его основе не собирали. У них основная работа - именно с корпусом татарского языка. Туда им тоже нужен был свободный морфоанализатор, в принципе они его и сделали

Есть ещё системы на основе HunSpell - можно сделать автокорректор для татарского языка. Эта основа простая, состоит всего лишь из двух файлов, в одном списки слов с разметкой существительные, прилагательные и так далее, а другой файл - списки парадигм, то есть как изменяются эти слова в тех или иных условиях. Эта система используется много где: в тех же бесплатных офисных пакетах, в браузерах. Например, если тот же МасBook от Apple взять, туда можно загрузить эту программу и она будет делать проверку правописания во всех программах, которые используются компьютером МасBook. Когда-то я на основе этой программы делал автокорректор для марийского языка, для языка коми. 

- На вас кто-нибудь выходил с предложением создать автокорректор для татарского языка?

- Я в свое время предложил вашим специалистам создать открытый spell-cheker для татарского языка. Просто я сам не знаю язык, мне нужен был человек, который будет помогать с татарским. Всё остальное я сам могу сделать. Мы вроде как даже начали это делать. Но потом процесс заглох. Эта попытка была в 2012-2013 годах. Тогда мне сказали, что в принципе на сохранение и развитие татарского языка Татарстан выделяет деньги. Можно было выделить небольшую сумму на работу двух людей - меня и специалиста по татарскому языку. Но не получилось. 

- Какие есть результаты по автокорректору марийского языка? 

- Я в свое время столкнулся с проблемой функционирования языка - решил сделать сайт на марийском языке где-то в 2007 году. Но мои буквы не отображались, тогда была проблема с Юникодом. В то время был распространён Windows XP, но без нужного мне Юникода. Я начал разбираться с этой проблемой. Пошла поэтапная работа - надо сделать раскладку клавиатуры, потом электронные словари. Потом уже пришло понимание, что можно сделать автоматическую систему проверки правописания. Я это сделал. Следующий этап - язык должен присутствовать в каких-то машинных переводчиках «Яндекс» или Google. Мы готовили материал для «Яндекса» для включения марийского языка в «Яндекс.Переводчик», но он пока у нас слабее, чем татарский переводчик. Потом следующий этап, но уже на перспективу. Это поисковые системы на наших языках - на марийском, на татарском.

Например, есть люди, которые привыкли использовать Microsoft Office. Они у меня спрашивают, почему мой spell-cheker там не работает. Потому что у них закрытая система, в их программу нельзя встроить автокорректор. С ними надо договариваться, а включение в их систему стоит огромных денег. Поэтому моя технология спокойно работает в открытых системах.  

- А как эти spell-cheker будут работать в наших браузерах?

- Например, для браузера Mozilla и для других достаточно просто сделать плагины. Их потом просмотрят в самом Mozilla, проверят на совместимость и включат в список официальных плагинов. Думаю, можно и в мобильное приложение интегрировать автокорректор, если немного посидеть и подумать. Но сейчас свободного автокорректора нет, чтобы это сделать. Никто так просто его не отдаст. 

- Что мешает сегодня сделать автокорректор для татарского языка?

- Ничего не мешает. Сегодня в области сохранения и развития вашего языка есть очень много различных грантов, проектов, в том числе и государственных. В принципе автокорректор по татарскому можно сделать за год работы. Достаточно проектной группы из 2-3 человек. Достаточно одного-двух человек, которые бы мне помогли с татарским языком. Это необязательно, чтобы был кандидат филологических наук. Достаточно будет старшекурсника-филолога. Как проект будет завершен, можно договориться с кем-нибудь из группы, чтобы он время от времени дополнял, уточнял или исправлял базу слов. В Европе сделать spell-cheker будет стоить 40 тысяч евро, переводя в наши деньги - 3 млн рублей. 

Таким образом, мы сегодня создаем автокорректор, а завтра татары могут спокойно писать в соцсетях, не боясь, что совершат орфографические ошибки. Есть возможности его интеграции в различные системы, которыми сегодня пользуются в интернете - соцсети, браузеры, мобильные приложения и так далее. 

- У вас в Марий Эл есть целенаправленная госпрограмма по поддержке и развитию языка? 

- Такие регионы, как наш, вообще не чета вашему Татарстану. Наш регион - нищий. Если мы тут и пытаемся что-то делать по сохранению языка, то стараемся получить финансирование из Москвы. Наш Институт языка, литературы и истории получил такое финансирование на три года - до 2020-го. Мы сейчас создаем корпус марийского языка.

В ЭТОМ СЮЖЕТЕ
КОММЕНТАРИИ (2)
КоРРектор
Для начала неплохо бы начать писать заголовки материала без ошибок!
0
ОТВЕТИТЬ
Akbüre
Нужная вешь, и плюс на яналифе тоже.
0
ОТВЕТИТЬ
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
ПРЕДЛОЖИТЬ НОВОСТЬ

Если вы хотите поделиться интересным событием, воспользуйтесь данной формой

ПРЕДЛОЖИТЬ

«Мы отмечаем новый старт России как государства»

Автор фото: KazanFirst
Общество 08:12 / 12 июня
6
«Мы отмечаем новый старт России как государства»

Какое значение имеет дата 12 июня и почему праздник пока не стал народным.

История нашей страны, которая в разное время называлась по-разному - Русь, Российская империя, СССР, насчитывает более тысячи лет, а событию, которое мы отмечаем 12 июня, нет и тридцати. В этот день в 1990 году первый Cъезд народных депутатов РСФСР принял Декларацию о государственном суверенитете России. К тому времени многие республики Советского Союза уже вышли из состава СССР и, чтобы подчеркнуть государственность той части страны, которая образовалась в новых границах, было принято новое ее название - Российская Федерация, Россия.

Кстати, именно 12 июня страна, кроме независимости, обрела и первого президента. В этот же день в 1991 году состоялись первые в истории всенародные открытые выборы главы государства, на которых одержал победу Борис Ельцин. Именно он своим указом в 1992 году учредил новый государственный праздник - День принятия Декларации о государственном суверенитете Российской Федерации. А 12 июня в телевизионном обращении к россиянам предложил переименовать праздник в День России. Однако официально это название было утверждено только с принятием нового Трудового кодекса РФ - в 2002 году. То есть получается, что праздник День России совсем молодой - ему всего 17 лет.

KazanFirst расспросил политиков и общественников о том, какое значение имеет этот праздник для современной России.  

Марат Бариев, депутат Госдумы РФ, член комитета по физической культуре, спорту и делам молодежи: 

- В 1991 году 12 июня состоялись первые выборы президента Российской Федерации. Для страны эта дата имеет очень большое историческое значение. Это точка отсчета строительства новой России. Это день рождения сегодняшней России, вернее - ее возрождения. К сожалению, в сознании многих россиян это еще не такой популярный и любимый праздник. 

Я читал, что половина населения страны даже не знает, как он называется, не говоря уж о том, чему он посвящен. Но это не вина людей. Я думаю, что если Россия будет развиваться, в том числе в направлении улучшения качества жизни населения, то все больше людей будет гордиться своей страной и тем, как они живут в этой стране. Тогда народ будет более чутко относиться к Дню России и с гордостью его праздновать. Надеюсь, что такие времена наступят очень скоро. 

Игорь Бикеев, сопредседатель Татарстанского регионального штаба ОНФ, первый проректор Казанского инновационного университета:

- День России - молодой, но уже прижившийся в нашей стране праздник. Фактически Декларация о государственном суверенитете Российской Федерации стала свидетельством того, что наше государство - Россия - меняется. Документ торжественно провозгласил государственный суверенитет Российской Советской Федеративной Социалистической Республики на всей ее территории и заявил о решимости создания демократического правового государства в составе обновленного Союза ССР. Напомню, что под суверенитетом обычно понимают независимость государства во внешних и верховенство во внутренних делах. Декларация была принята на фоне глубокого социально-экономического и политического кризиса, охватившего всю страну: потеря авторитета многими органами власти Союза ССР, развал управляемости, тотальный дефицит товаров народного потребления, острые межнациональные и идеологические конфликты. Очень жаль, что заявленное в документе сохранение Союза не произошло. 

В то же время декларация послужила основой современного российского государства, принципов его конституционного строя и системой органов власти. Кроме того, в ней фактически было установлено, что у России есть свои интересы, которые она будет четко отстаивать при уважении других стран и народов. Что и происходит сегодня у нас на глазах.

Поэтому День России, на мой взгляд, носит характер празднования нашей современной государственности, самостоятельности. По традиции в этот день вручаются государственные награды Российской Федерации, проходят разнообразные торжественные мероприятия. День России - это патриотический праздник, в который можно особо заявить о нашей гордости за страну и любви к ней. А для этого у нас, граждан Российской Федерации, есть все основания.

Андрей Большаков, завкафедрой конфликтологии КФУ, доктор политических наук: 

- Полностью сегодняшний праздник называется Днем принятия Декларации о государственном суверенитете Российской Федерации. Естественно, это тяжело произнести, поэтому многие в обиходе называют этот праздник просто «двенадцатое число» и воспринимают его как очередной выходной. Я думаю, что правильно поступили, что этот праздник россиянам оставили, в отличие от Дня Конституции РФ. Если мы живем в государстве, которое называется Российская Федерация, то мы, конечно, должны отмечать день образования этого государства. Вот французы отмечают день образования Французской Республики - День взятия Бастилии уже не одну сотню лет. Хотя все знают, насколько Великая французская революция - кровавое и неоднозначное событие. У нас 12 июня 1990 года события были тоже неоднозначные, хоть и не такие кровавые. Многие считают, что принятием этой Декларации была впервые торпедирована идея Советского Союза. Вслед за этим событием декларировали свой суверенитет и все союзные республики, тем самым было подорвано единое государство - СССР. Но было образовано новое - Российская Федерация. У него, наверное, были свои недостатки - мы долго жили в государстве, которое нельзя было назвать сильным. Но в последние лет 10 мы заметили, и это видно по результатам соцопросов, что Россия стала более сильным государством. По-моему, россиян это должно радовать, потому что сильное государство - это в целом сильная страна. Понятно, что у нас еще много нерешенных проблем, есть недостатки, безусловно. Но беспроблемных стран не бывает. 

Что касается сегодняшней оценки событий 12 июня 1990-1991 годов, то теперь можно совершенно по-разному их интерпретировать. Если какие-то историки будут говорить, что именно они привели к падению великого Советского Союза, то они будут правы, наверное. И сегодня нам необходимо жить в тех границах в тех территориях, которые мы имеем. Российская Федерация по-прежнему великая и большая страна, включающая 85 субъектов, которые очень отличаются друг от друга. 

Но все же День России - это скорее политический праздник, чем народный. Чтобы он стал популярным, его все должны пережить и прочувствовать. Я думаю, что должно пройти еще несколько десятилетий, чтобы это произошло. И данные социологических исследований показывают, что и этот праздник постепенно набирает сторонников из молодежной среды, потому что они родились, когда 12 июня уже отмечали как День России. И хотя до популярности Нового года или 9 Мая эму еще очень долго расти, День России надо отмечать, надо вспоминать, что мы живем в одной из самых сильных и замечательных стран, которая только существует на планете, и что надо эту страну развивать, делать лучше, а в случае возникновения угроз защищать. 

Марат Галеев, депутат Госсовета РТ, председатель комитета по экономике, инвестициям и предпринимательству: 

- В тот исторический период, когда был основан праздничный день, который мы сейчас называем День России, он обществом был воспринят единодушно. Более того, 12 июня даже не воспринималась многими как дата радостного события, потому что это тот день, когда был вынут основной кирпич из, казалось бы, прочного и устойчивого знания - СССР, тем самым было положено начало его разрушения. Причем это произошло через очень короткое время после референдума, на котором большинство россиян высказались за сохранение Советского Союза. И те, кто голосовал «за», с самого начала восприняли провозглашение Декларации о государственном суверенитете Российской Федерации как нежелаемое событие и не могли это приветствовать. 

Но история не имеет сослагательного наклонения - все это уже произошло 12 июня 1990 года. Поэтому, может быть, через энное количество лет День России и станет всенародным праздником. Но коль скоро это государственный праздник и даже объявлен выходным днем, он имеет полное право на существование. Мы отмечаем сегодня новый старт России как государства, новый его формат. Прошло 29 лет, за это время выросло целое поколение, которое если и знает по учебникам истории, что случилось в этот день, но не прочувствовало это, не пережило. У них нет ностальгии по старому. Возможно, у нового поколение День России будет вызывать энтузиазм и гордость за страну. Но для этого нужно время.  

Андрей Тузиков, завкафедрой государственного, муниципального управления и социологии КНИТУ (КХТИ), доктор социологических наук, профессор: 

- Любое государство, любое общество имеют какие-то праздники, которые символизируют государственность. У американцев 4 июля считается общенациональным праздником, во Франции - 14 июля. Да. 12 июня в России произошло довольно двусмысленное событие - приняли так называемую Декларацию о государственном суверенитете Российской Федерации. Ее еще называют декларацией о независимости. Понятно, возникает вопрос. От кого? 

Владимиро-Суздальское княжество, Киевская Русь, Советский Союз, Российская империя - это просто разные формы существования российской государственности. И нынешняя Российская Федерация - это российское государство в XXI веке. Есть у него плюсы и минусы, как и везде. И в качестве даты государственного праздника, который должен быть в любой стране, было выбрано 12 июня. Удачная дата или не удачная - можно спорить. Она несет в себе определенную травму - развал исторической России, границы которой не совпадали с границами СССР. Естественно, что для многих, кто жил в Советском Союзе, эта дата печальная. Кроме того, это очень молодой праздник, в отличие от, например, Дня взятия Бастилии во Франции. Не думаю, что там, спустя три десятка лет после тех кровавых событий, широко их отмечали. Любая дата обретает свое значение, свою мифологию, символическую значимость, только уходя в историю. А как скоро это произойдет в нашем случае, зависит от того, как будет развиваться проект российской государственности в формате Российской Федерации. Если он состоится как успешный проект, то спустя 100 лет День России все будут праздновать пышно и ярко. А если снова произойдет какое-то переформатирование, например, в варианте СССР 2.0 или еще как-то, наверное, возникнет другая дата.

Но, еще раз хочу подчеркнуть, любое государство имеет праздник, связанный с какими-то символическими датами, которые положили начало этом государству. Тем более длинное его название, которое напоминает об неоднозначном событии, переименовали. И сегодня мы отмечаем День России, а не День суверенитета. 

КОММЕНТАРИИ (7)
Андрей Адо
Это тот день когда мы потеряли свои территории, но с помощью англо-саксов из этого действие сделали значимое событие.Это не праздник.
0
ОТВЕТИТЬ
Знаток
Правильно товарищи говорят. Сложная ситуация с этой датой
0
ОТВЕТИТЬ
Геныч
Нормальный праздник, чо все обсуждают то. у каждой страны есть такой, мы тоже празднуем
0
ОТВЕТИТЬ
Старик
Какое бы название ни было, пусть хоть СССРом снова назовут, это моя земля, моя страна. С праздником!
0
ОТВЕТИТЬ
Елена
Дата историческая? да. значение для государства имеет? да. почему бы не отметить это?
0
ОТВЕТИТЬ
Митя
нормальный праздник. плюс выходной. чо не радоваться то
0
ОТВЕТИТЬ
Историк
Можно долго рассуждать, что и как могло бы быть. История не терпит сослагательного наклонения. Есть данность, и если эта данность праздник - ничего плохого в этом не вижу
0
ОТВЕТИТЬ
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
ПРЕДЛОЖИТЬ НОВОСТЬ

Если вы хотите поделиться интересным событием, воспользуйтесь данной формой

ПРЕДЛОЖИТЬ
видео
наверх