В августе 2017 года компания Facebook объявила, что завершила переход на нейронный перевод. Говоря по-научному, на сайте Facebook теперь используются нейронные сети – свёрточные (СНС) и рекуррентные (РНС) – для автоматического перевода текстов.
Уже некоторое время Google, Microsoft и Facebook развивают технологии нейронного перевода. Нейронный перевод значительно превосходит по качеству классический метод компьютерного перевода, основанного на статистике словосочетаний.
Традиционный компьютерный перевод – это довольно четко разработанный процесс. В основе этой технологии лежит словесно-статистическая система. При переводе предложения ее алгоритмы сначала анализируют ключевые фразы, их количество, а затем с использованием теории вероятностей выдают окончательный результат.
Это примерно то же самое, если использовать Розеттский камень – одинаковые по смыслу фразы на нескольких языках – для перевода текста.
В отличие от этого в нейронных моделях применяется более высокий уровень абстракции.
Интерпретация предложения становится частью многомерной векторной проекции. Векторная проекция – это не перевод фраз, а перевод некоторого подобия "контекста".
Это сложный процесс, и ученые до сих пор мало понимают, как обрабатывать длинные зависимости для сохранения понимания и точности во всем тексте. Но эта технология имеет хорошие перспективы и до сих пор приносила очень качественные результаты тем, кто ее применял.
В сентябре 2016 года компания Google анонсировала первый этап своего перехода на нейронный перевод, а через два месяца компания Microsoft сделала подобное заявление.
На протяжении почти одного года Facebook работал над исследованием изменений частей речи, результаты которого теперь широко использует.
В мае 2017 года научно-исследовательская лаборатория искусственного интеллекта компании Facebook опубликовала результаты собственных разработок по теме и представила открытый код для моделей СНС на сайте GitHub.
"Мы значительно отличаемся от большинства стандартных площадок. Наша проблема заключается в том, чтобы точно определить тип речи, который используется на сайте Facebook", – объясняет технический директор группы языковых технологий компании Facebook.
"У нас используется много неформального языка и сленговых сокращений. Сильно отличается и стиль языка".
С внедрением нейронного перевода качество перевода на сайте Facebook улучшилось примерно на 10 процентов.
Источник: Переводы с английского