Мультимодальное направление (CV + NLP, General AI)

Область Intelligent Document Analysis начинается с распознавания, а заканчивается задачами текстовой аналитики. Но исследования в области компьютерного зрения и NLP имеют широкую общую зону и ряд общих научных проблем.

Назовем только некоторые задачи и методы, которые демонстрируют эту общность:

• End-to-end подходы к всей цепочке этапов IDA, например, решение задач классификации документов непосредственно по их изображениям.
• Задача NAS (Neural architecture search), автоматического подбора архитектур нейронных сетей является важной не только в облсати CV, но и в области NLP, в особенности в тех ее критически важных аспектах, которые связаны с разработкой методов, не требующих чрезмерных вычислительных ресурсов (например, Proxyless NAS или Bayesian Optimization).
• Различные задачи генерации текста по изображению и, наоборот, генерации изображения по тексту. Например, Image Captions GenerationSpeech или Visual Question Answering.
• Моделирование невербальных элементов речевого акта, например, естественной мимики искусственного диктора -- Facial Landmarks Generation.