ИИ в MDM: как на практике применяется искусственный интеллект

Данные как стратегический актив

В эпоху цифровой экономики качество данных становится ключевым фактором конкурентоспособности бизнеса. Компании, способные уверенно управлять мастер-данными, приобретают контроль над процессами, не допускают ошибок в закупках, экономят время и деньги.

Поэтому MDM-система становится неотъемлемым компонентом ИТ-ландшафта компании. Одной из ее основных задач является автоматизация ведения справочников материально-технических ресурсов (МТР) и нормализации содержащихся в них данных. Ведь только приведя их к единому утвержденному стандарту, обеспечив высокое качество (полноту, достоверность, единообразие, актуальность, уникальность), можно добиться их эффективного использования в деятельности компании.

При этом, как мы видим, во многих компаниях даже при наличии MDM-системы существуют проблемы при ведении справочников МТР. Причины могут быть разными: нехватка сотрудников, ручной рутинный труд, огромные объемы записей, несогласованные данные разных систем или подразделений, а чаще – всё вместе. Наиболее частые из возникающих при этом ошибок – это:

• дублирование данных – множество записей, идентичных по характеристикам, но отличающихся по наименованию,
• отсутствие классификации или неверная классификация,
• отсутствие описаний характеристик и атрибутов записей,
• неполное или некорректное описание характеристик,
• использование неверных единиц измерения материалов.

Всё это приводит к большому числу трудностей для сотрудников, работающих со справочником. Среди них – долгий поиск необходимой записи, невозможность использовать запас аналогов, неверный расчет остатков того или иного товара и излишние (повторные) закупки, формирование неточных аналитических срезов и отчетов.

Как итог, ненормализованные справочники МТР – источник организационных сложностей, несогласованной работы подразделений и филиалов, излишних финансовых издержек и затрат.

Справиться с этой проблемой бывает трудно: данных, которыми оперируют компании, становится всё больше, а штат сотрудников, занятых в процессе ведения НСИ, ограничен. Для обработки экспертом даже одной новой карточки – например, внесения сведений о товаре – может потребоваться огромное количество времени. При этом действия специалиста по НСИ чаще всего сводятся к стандартной процедуре: поиску нужного описания на сайте изготовителя или поставщика, в маркетинговых материалах и других источниках. Если же учесть, что таких карточек нужно заполнить огромное количество, – очевидно, что возрастает риск неточностей и ошибок. На помощь приходит синергия MDM-систем и технологий искусственного интеллекта – связка, способная кардинально повысить эффективность управления данными.

Принципы ведения справочника МТР в MDM-системах

Современные MDM-системы располагают различными инструментами для систематизации ведения справочника МТР. Например, в системе нашей разработки реализованы следующие инструменты:

• классификатор МТР, позволяющий на уровне иерархического перечня определить структуру справочника и привязать к ней шаблоны описания базовых классов, включая характеристики конкретного класса; помимо шаблонов описания классы последнего уровня классификатора МТР содержат формулы для автоматического формирования наименования записи МТР;
• шаблон описания базового класса – инструмент формирования перечня технических характеристик (атрибутов) базового класса, требуемых правил валидации и доменов значений;
• сам справочник МТР, где ведутся записи материально-технических ресурсов, осуществляется их классификация и нормализация, отражаются значения технических характеристик, которые определены классом МТР;
• мастер-классификатор – инструмент, который в едином представлении отображает дерево Классификатора МТР, записи Справочника МТР, связанные с узлом классификатора, и технические характеристики записей, а также обеспечивает работу с мастер-данными справочника МТР.

Для поддержания высокого качества данных в справочнике МТР в современных MDM-системах содержатся инструменты для ведения данных (первоначального наполнения и согласованного внесения изменений), ручного и автоматического управления дублями, валидации и проверки качества данных, обогащения данных с помощью интеграции с внешними источниками.

При этом нормализация остается важным отдельным этапом ведения справочника материально-технических ресурсов. В классическом виде она представляет собой цепочку процедур:

• добавление ненормализованной записи МТР,
• классификация записи по Классификатору МТР,
• уточнение значений технических характеристик в соответствии с выбранным классом,
• поиск соответствующего МТР в каталогах производителей и сайтах поставщиков для обогащения записи,
• заполнение карточки записи справочника МТР,
• формирование стандартизованных наименований для МТР,
• классификация записи кодами ОКПД 2, ОКВЭД 2, ТН ВЭД.

Очевидно, что даже при наличии автоматизированной системы этот процесс сложный и трудозатратный. Сегодня уже существуют готовые сервисы на базе технологии генеративного искусственного интеллекта, которые делают его намного проще и быстрее. С их помощью все процедуры, описанные выше, фактически можно свести к трем этапам:

• добавление ненормализованной записи МТР,
• классификация и нормализация записи с помощью ИИ-ассистента,
• верификация полученных результатов экспертом.

На практике это выглядит так. В большинстве случаев на вход в систему MDM поступает файл Excel, содержащий наименования записей МТР. Эти данные система отправляет во внешний сервис нормализации НСИ, например, решение AI MasterData компании НОРБИТ. Внешний сервис выполняет категоризацию данных, извлекает атрибуты и формирует требуемый набор характеристик, выполняя обогащение данных. Специалист, работающий с MDM-системой, получает уже нормализованную запись, для которой система автоматически сформировала полное и краткое наименование согласно преднастроенному шаблону. Эксперту остается только провалидировать эти данные.

Эффективность ИИ в MDM-системе

ИИ-ассистент, занимающийся нормализацией справочников, использует большую языковую модель и архитектуру RAG для повышения качества генерируемых данных. Для обеспечения процесса нормализации справочника МТР обычно применяются несколько функциональных модулей:

• модуль предобработки НСИ отвечает за исправление орфографии и некорректных записей (например, латинских наименований, написанных кириллицей), раскрытие аббревиатур и сокращений, приведение единиц измерений к числовым показателям и другие подобные операции;
• модуль категоризации предназначен для автоматизированного присвоения НСИ определенного класса и категории, значений общероссийских классификаторов и внутренних справочников, а также для исправления ошибок категоризации;
• модуль извлечения атрибутов определяет значения атрибутов, которые присутствуют в наименовании НСИ;
• модуль обогащения дополняет значения атрибутов данными из каталогов производителей, интернет-каталогов, других внешних источников и стандартов – DIN, ГОСТ, ISO и пр.;
• модуль дедупликации отвечает за определение полных и частичных дублей в базе НСИ и очистку базы от них.

Наши клиенты, использующие связку MDM-системы и ИИ-ассистента, отмечают существенный рост скорости и точности обработки записей справочников МТР, а следовательно, и значительное сокращение стоимости этого процесса. По средней оценке нормализация справочника МТР, содержащего примерно 100 тысяч записей, без использования автоматизированных алгоритмов занимает до 15 месяцев, а с привлечением ИИ-ассистента сокращается до 30 дней. На ручную обработку одной записи специалист-эксперт тратит 5 минут, а не эксперт – 15 минут. Внедрив в этот процесс технологию генеративного ИИ, компания тратит на обучение модели на 1 категорию 1-10 минут, а на нормализацию 1 записи – 6-25 секунд (в зависимости от используемых алгоритмов). В результате средняя стоимость обработки одной записи сокращается более, чем в 10 раз.

Важно отметить, что ИИ не исключает человека из процесса, но практически полностью освобождает его от рутины, которая может занимать до 80% его рабочего дня. Теперь специалист может больше времени посвятить аналитической работе, где требуется сильная экспертиза: например, обработке уникальных или неординарных позиций МТР – таких как сложные механизмы, произведения искусства или товары, изготовленные штучно под заказ.

На основе кейсов наших клиентов мы сформировали перечень преимуществ от использования технологий ИИ в MDM-системах:

• сокращение стоимости ручных процессов, времени на работу с дублями – на 18%;
• сокращение среднего времени цикла от заявки до закупки материалов – на 10%;
• сокращение потерь благодаря повышению качества данных и точности расчетов, отчетов и анализа – на 12%;
• сокращение неликвидов благодаря корректным данным об объемах на складах и сроках годности продукции – на 15%;
• снижение закупочных цен благодаря закрытию потребностей аналогами и замене закупаемых товаров, работ и услуг на аналогичные – на 15%;
• обеспечение качества и полноты данных за счет исключения дублей и актуального набора технических характеристик – на 90%.

Перспективы применения ИИ в MDM-системах

Классический процесс ведения и нормализации справочника МТР сопряжен с известными ограничениями и трудностями, которые провоцируют излишние издержки, непродуктивное взаимодействие между подразделениями и филиалами компаний, необъективность аналитики и прогнозирования. Особенно актуальны эти вызовы для крупнейших компаний сферы нефтегазовой и химической промышленности, ритейла и некоторых других, где количество записей справочника МТР исчисляется сотнями тысяч и даже миллионами. Ситуацию усугубляют кардинальные внутренние изменения, такие как объединение филиалов и импортозамещение информационных систем.

Используя алгоритмы генеративного искусственного интеллекта, можно существенно упростить процесс нормализации справочников, автоматизировать большинство входящих в него операций. Это позволяет компаниям сэкономить человеческие ресурсы и получить важнейшие конкурентные преимущества – качественную аналитику и прогнозирование, оперативное реагирование на изменения.

Инструменты ИИ особенно эффективны для компаний, бизнес-процессы которых связаны с рутинной обработкой больших объемов типовых данных. Также важно отметить, что системы класса MDM отлично подходят для начала комплексного освоения технологий искусственного интеллекта в компании, поскольку в них содержатся эталонные данные, на которых можно построить обучение модели. В дальнейшем, поняв преимущества и основные направления использования ИИ, компания может внедрять интеллектуальных ассистентов в другие системы с более предсказуемым результатом.

Тем не менее, многие руководители до сих пор не запускают проекты по внедрению ИИ, опасаясь, что дорогостоящая система не принесет ожидаемой выгоды. Чтобы снизить риски и обрести уверенность, мы рекомендуем компаниям начать с предпроектного обследования и пилотных внедрений на небольших объемах данных. Стоит проанализировать текущее состояние справочников и актуальные бизнес-процессы, определить участки, где ИИ-ассистент потенциально сможет дать наибольший эффект, и реализовать проверку гипотезы (Proof of Concept).

Важно отметить, что заказная разработка модели ИИ по-прежнему стоит достаточно дорого. Но сегодня на рынке появилось много узкоспециализированных интеллектуальных решений, предоставляемых как сервис. Это значительно увеличивает доступность технологий ИИ и дает широкие возможности для экспериментов. Теперь компании могут пробовать разные варианты и находить наиболее эффективные сценарии применения ИИ с учетом своих задач и специфики работы с данными. В конечном счете тот, кто «приручит» ИИ сегодня, завтра будет задавать правила игры на рынке.

Источник: РБК