Наука в ABBYY

ABBYY тесно взаимодействует с наукой: изучает и применяет новейшие научные достижения, проводит собственные научные исследования, является участником и организатором многих научных событий.

  • Наука в ABBYY
  • Мультимодальное направление (CV + NLP, General AI)

Мультимодальное направление (CV + NLP, General AI)

Область Intelligent Document Analysis начинается с распознавания, а заканчивается задачами текстовой аналитики. Но исследования в области компьютерного зрения и NLP имеют широкую общую зону и ряд общих научных проблем.

Назовем только некоторые задачи и методы, которые демонстрируют эту общность:

  • End-to-end подходы к всей цепочке этапов IDA, например, решение задач классификации документов непосредственно по их изображениям.
  • Задача NAS (Neural architecture search), автоматического подбора архитектур нейронных сетей является важной не только в облсати CV, но и в области NLP, в особенности в тех ее критически важных аспектах, которые связаны с разработкой методов, не требующих чрезмерных вычислительных ресурсов (например, Proxyless NAS или Bayesian Optimization).
  • Различные задачи генерации текста по изображению и, наоборот, генерации изображения по тексту. Например, Image Captions GenerationSpeech или Visual Question Answering.
  • Моделирование невербальных элементов речевого акта, например, естественной мимики искусственного диктора -- Facial Landmarks Generation.