В 2021 году вышла статья, в которой предлагается модель для решения задачи переводов, которая более устойчива к опечаткам и прочим шумам в текстах. В классических моделях, использующих обучаемые эмбеддинги токенов, с ростом количества шумов в текстах, качество перевода деградирует. Это связано с работой алгоритма subword токенизации. Если в слове заменить хотя бы один символ, то оно будет разбито на непредвиденную последовательность токенов, которая не будет передавать исходный смысл. Если...Подробнее

В рамках задачи предполагается последующее усовершенствование модели визуального представления: * Эксперименты по применению модели в разных задачах на русском языке (POS,  NER, Простая классификация, LM и т.д.); * Эксперименты по усовершенствованию архитектуры: добавление дополнительной головы, решающей задачу OCR; добавление головы, которая, подобно автоэнкодеру, сжимала бы изображения в вектор и затем восстанавливала из него исходное изображение. Подобные трюки позволяют сделать обучение...Подробнее

- представление и обсуждение текущих результатов с заказчиком не реже, чем 1 раз в 2 недели - выступление на научных семинарах на площадках заказчика и в НИУ ВШЭ

- отчет НИР - репозиторий проекта и комплект документации - текст в формате статьи на английском языке

Доступ к необходимым вычислительным ресурсам может быть предоставлен заказчиком проекта по запросу.

https://arxiv.org/pdf/2104.08211.pdf - визуальные представления в задаче переводов https://arxiv.org/pdf/2207.06991.pdf - PIXEL https://vk.com/doc137898199_646384141?hash=WAQx6Vh5WLHoEUF1T2BSF5ZqIPGzOz9UUFPKL54A5J0&dl=GVT0S17jd9ZlkUDZtyj0quYFeQTcNLvZkPbnJIT1tdL - модель, разработанная Вконтакте