Прочный сплав технологий. Как ABBYY ускорила поиск информации в одной из крупнейших металлургических компаний мира

Металлургическая отрасль активно внедряет цифровые технологии. По данным исследования Deloitte, в России эти предприятия уступают по уровню цифровизации только ИТ-компаниям и телеком-операторам. ABBYY много сотрудничает с промышленными организациями в проектах разного масштаба и сложности. Например, мы помогли «Полиметаллу» и «Магнитогорскому металлургическому комбинату» упростить обработку финансовых данных из бухгалтерских документов.  А сегодня расскажем, как с помощью наших технологий обработки естественного языка (Natural Language Processing, NLP) ПАО «Северсталь», один из мировых лидеров в горнодобывающей и металлургической отрасли, создала корпоративную поисковую систему для полутора сотен сотрудников и стала значительно быстрее разрабатывать новые виды сплавов.

Массив знаний

«Северсталь» успешно работает на металлургическом рынке уже более полувека и за это время накопила несколько десятков терабайт отсканированных и цифровых документов. Все это – массив знаний и разработок, которые хранятся в базе научно-технической информации и используются сотрудниками предприятия. Однако поиск нужной информации занимал много времени и был довольно затруднительный. К примеру, для разработки новых видов стали необходимо изучить предыдущие результаты научно-исследовательских работ, технологических проектов и нереализованных экспериментов, чтобы не повторять прошлых ошибок и не тратить время и деньги на заведомо неудачные проекты. Если же действовать слишком медленно, то похожая идея или разработка могут появиться у конкурентов.

Запрос на ускорение

В ходе трансформации руководители «Северстали» решили ускорить процесс поиска информации в нескольких корпоративных информационных системах: файловом хранилище (сетевой папке), Sharepoint и корпоративной базе знаний Confluence. Для этого нужно было выбрать технологию, которая способна собрать необходимые документы, обработать и структурировать данные, а затем вывести результаты для пользователей в понятном виде – так, как это происходит в привычных поисковых системах.

Построить такой поиск можно было на технологиях оптического распознавания символов (Optical Character Recognition, OCR) для распознавания и извлечения текста из сканов бумажных документов, компьютерного зрения (Computer Vision, CV) для классификации документов по их внешнему виду и обработки естественного языка (Natural Language Processing, NLP) для автоматического определения общего смысла и содержания документов.

Кроме того, технология должна была отвечать следующим критериям:

  • сквозной поиск по всем источникам данных, без необходимости переключаться между системами;
  •  удобный пользовательский интерфейс: поисковая строка, фильтры по дате создания документа, названию компании, суммам и т. д., поисковые подсказки на основе запросов, введенных ранее;
  • возможность поиска данных по смыслу, а не только по ключевым словам, за счет применения NLP-технологий;
  • информационная безопасность и разграничение прав доступа для разных категорий сотрудников;
  • простое масштабирование решения на другие бизнес-процессы и подразделения, возможность быстрой разработки коннекторов к другим информационным системам.

Всем требованиям «Северстали» смог удовлетворить продукт ABBYY Intelligent Search, который ранее уже применялся в похожих проектах.

Запуск проекта

В начале реализации проекта дирекция по техническому развитию и качеству «Северстали» и сотрудники компании ABBYY запустили пилотное тестирование продукта. Тестовый поиск организовали по архиву технической документации на 18 тысяч документов. Для этого ABBYY Intelligent Search установили на выделенный сервер. Специалисты загрузили все документы в систему, а после построили полнотекстовый индекс архива. Это позволило извлечь из файлов текст и мета-данные, а затем сделать их доступными для поиска. При этом важной особенностью системы является то, что для нее нет разницы, работает ли она со структурированными документами (счета-фактуры, товарные накладные) или с неструктурированными документами (патенты, чертежи, научно-исследовательские работы).

В ходе пилота сотрудники «Северстали» сравнивали время, затраченное на поиск документа стандартными инструментами файлового хранилища Sharepoint и с помощью ABBYY Intelligent Search. По их оценке, скорость выполнения этой задачи удалось увеличить в 1,7 раза.

После успешного тестирования специалисты приступили к реализации проекта по поиску всех документов «Северстали» из разных корпоративных информационных системах.

При развертывании ABBYY Intelligent Search в операционной среде специалисты использовали кластерную конфигурацию из трех узлов. Это позволило повысить надежность и отказоустойчивость системы. Для доступа по единому адресу применили аппаратный балансировщик Citrix Netscaler. Работоспособность узла он определяет по ответу метода REST API, который не требует аутентификации.

Гибкие возможности настройки поискового решения позволили учесть различные пожелания пользователей по отображению результатов поиска. Например, в ходе настройки индексации содержимого портал Sharepoint возникла необходимость обеспечить фильтрацию найденных документов по названиям корневых каталогов, в которых они расположены, и упростить отображение пути к документу, чтобы он выглядел привычным для пользователя. Это удалось реализовать с помощью встроенной в продукт поддержки регулярных выражений.

Для обеспечения полноты поиска к ABBYY Intelligent Search также подключили словарь синонимов с терминами, характерными для металлургической отрасли. При указании в запросе одного из подобных терминов он автоматически дополняется всеми возможными синонимами.

Одновременно с этим команда ABBYY начала разрабатывать коннектор к Confluence. Интеграция с этой системой входила в планы компании по развитию продукта, и «Северсталь» стала первым заказчиком, который смог протестировать все возможности ABBYY Intelligent Search в связке с порталом корпоративной документации. Специалистам удалось разработать первую версию коннектора для Confluence всего за один месяц.

Схема работы решения ABBYY в ПАО «Северсталь»

Результаты

По итогам реализации проекта к системе ABBYY Intelligent Search было подключено 300 тысяч файлов, собранных из разных ресурсов «Северстали», при этом индекс активно пополняется. Новым корпоративным поиском пользуются 150 специалистов компании из разных подразделений.

Успешность проекта оценивалась по двум критериям: ускорение поиска и сбора информации и снижение зависимости компании от человеческого фактора.

Ускорить поиск нужных документов удалось за счет создания единой поисковой системы с удобным для любого пользователя интерфейсом. При этом фрагменты, которые содержат слова запроса или похожие на него сущности, дополнительно выделяются жирным шрифтом, а документы можно отфильтровать по источнику данных, формату файлов, дате, автору документа и другим параметрам.

Пример работы поиска в «Северстали».

Снизить зависимость предприятия от человеческого фактора удалось за счет единой точки доступа – информация не теряется, ее легко обнаружить, даже если автор документа находится в отпуске или покинул компанию. Кроме того, поиск реализован в соответствии с политикой информационной безопасности, что почти полностью исключает утечку данных.

Дальнейшие планы по развитию корпоративного поиска

В течение 2021 года «Северсталь» планирует продолжить развитие системы корпоративного поиска и постепенно подключать другие внутренние ресурсы.

Кроме того, в планы компании входит масштабирование корпоративного поиска на остальную часть предприятия, а также на инновационные центры и экспертные сообщества. Для этого будут проиндексированы около трех миллионов документов.

Вместе с тем, «Северсталь» намерена расширить и количество пользователей – со 150 сотрудников до пяти тысяч специалистов. Это позволит компании исключить дублирование проектов, сократить время на экспертизу идей, ускорить запуск новых продуктов и внедрение инноваций.

Полный текст статьи можно посмотреть на сайте журнала «Автоматизация в промышленности».

Intelligent Search

Подписка на обновления в блоге

Вы будете получать статьи на почту первыми

Ваша подписка прошла успешно!

Я проинформирован о том, что я имею право в любое время полностью или частично отозвать вышеуказанное согласие. Данное согласие на обработку персональных данных может быть отозвано в любой момент. Для этого нажмите на ссылку «Отписаться» внутри любого письма, полученного от ABBYY, или заполнив форму Права доступа ABBYY к персональным данным.

Я даю согласие на использование моих персональных данных для целей, описанных в правовой политике.

Ваша подписка прошла успешно!

Читайте нас