Машинный перевод прошел долгий путь развития от rule-based систем, основанных на лингвистических правилах, до статистических и нейронных подходов. Rule-based системы, несмотря на свою основательность, оказались сложными в масштабировании и адаптации к новым языкам, а также подвержены искажению смысла.
Статистический машинный перевод (SMT) с использованием двуязычных корпусов стал следующим этапом, предложив более универсальный подход, но требующий огромных объемов данных. Современные системы машинного перевода, такие как Яндекс. Переводчик и Google Translate, перешли к нейронным моделям, делегируя задачи определения корректных форм и употреблений слов нейронным сетям, обученным на больших объемах текстов.
В последнее время наблюдается тенденция к использованию больших языковых моделей (LLM) для машинного перевода. LLM показывают неплохие результаты в общем машинном переводе и позволяют вносить корректировки в стилистику и другие особенности перевода. Однако LLM подвержены артефактам и галлюцинациям, а также требуют больших вычислительных ресурсов.
Оценка качества машинного перевода – сложная задача, поскольку содержит субъективную составляющую. Существуют референсные метрики, требующие наличия эталонного перевода для сравнения, и безреференсные метрики. Классические метрики, такие как BLEU и TER, подвергаются критике из-за своих конструктивных недостатков и слабой корреляции с экспертной оценкой. Нейронные метрики, такие как Comet, показывают более точные результаты, но также имеют свои ограничения, связанные с неинтерпретируемостью и доменоспецифичностью.
Изображение носит иллюстративный характер
Статистический машинный перевод (SMT) с использованием двуязычных корпусов стал следующим этапом, предложив более универсальный подход, но требующий огромных объемов данных. Современные системы машинного перевода, такие как Яндекс. Переводчик и Google Translate, перешли к нейронным моделям, делегируя задачи определения корректных форм и употреблений слов нейронным сетям, обученным на больших объемах текстов.
В последнее время наблюдается тенденция к использованию больших языковых моделей (LLM) для машинного перевода. LLM показывают неплохие результаты в общем машинном переводе и позволяют вносить корректировки в стилистику и другие особенности перевода. Однако LLM подвержены артефактам и галлюцинациям, а также требуют больших вычислительных ресурсов.
Оценка качества машинного перевода – сложная задача, поскольку содержит субъективную составляющую. Существуют референсные метрики, требующие наличия эталонного перевода для сравнения, и безреференсные метрики. Классические метрики, такие как BLEU и TER, подвергаются критике из-за своих конструктивных недостатков и слабой корреляции с экспертной оценкой. Нейронные метрики, такие как Comet, показывают более точные результаты, но также имеют свои ограничения, связанные с неинтерпретируемостью и доменоспецифичностью.
