Генеративная уборка: почему алгоритмы машинного обучения и большие языковые модели — важная …
Нормативно-справочная информация (НСИ) — основа корректной работы ERP, SRM, MDM и любых учетных систем. Ошибки здесь приводят к дублированию закупок, затовариванию складов, неверным управленческим решениям и прямым финансовым потерям. При этом ручная обработка НСИ требует сотен человеко-часов и не гарантирует качества.
Платформа AI MasterData версии 1.2, созданная НОРБИТ, справляется с этой задачей комплексно: соединяет все этапы нормализации НСИ в единый автоматизированный конвейер с использованием передовых алгоритмов машинного обучения и генеративных языковых моделей (LLM). Продукт включен в реестр отечественного ПО и может разворачиваться как в облаке, так и в локальном контуре. Чаще всего НСИ на предприятии живет своей жизнью: справочники годами копятся, дублируются, обрастают ошибками и неполными атрибутами. На это никто не обращает внимания, пока все идет по накатанной. Как только возникает реальная бизнес-необходимость (запуск ERP или MDM, оптимизация закупок, требование регулятора) выясняется, что данные настолько «грязные», что любое решение, принятое на их основе, ведет к потерям и проблемам. Признаки того, что данные пора приводить в порядок: Если хотя бы несколько пунктов из этого списка совпадают с вашей ситуацией, НСИ в существующем виде уже обходится слишком дорого. Некорректные данные в справочниках приводят к заметным финансовым потерям, которые часто остаются незамеченными и скрываются. AI MasterData автоматизирует категоризацию, извлечение атрибутов, обогащение и устранение дублей. ИИ-решение сокращает трудозатраты в 10–30 раз и ускоряет обработку в 100 раз по сравнению с ручным трудом. AI MasterData предоставляет набор функциональных модулей, которые могут использоваться как по отдельности, так и в рамках сквозного процесса нормализации. Извлечение атрибутов из текстовых наименований — система выделяет характеристики объекта (например, «рост», «размер», «материал», «мощность») из неструктурированных или слабоструктурированных наименований. Используются как регулярные выражения и словари, так и LLM для сложных случаев. Обогащение из внешних источников — AI MasterData автоматически дополняет записи недостающими атрибутами, обращаясь к открытым интернет-каталогам, номенклатурам производителей, коммерческим базам данных и внутренним эталонным справочникам предприятия. Умная дедупликация на основе семантического анализа — модуль интеллектуального поиска дублей использует алгоритмы семантической близости, обученные на специализированных датасетах, словари синонимов и сокращений, а также анализ наименований и всех атрибутов объекта. Система выявляет даже неочевидные (например, «порты 18056» и «брюки классические мужские 180 см рост, 56 см размер») и предлагает оператору кандидатов для объединения. Административные ограничения предотвращают создание дублирующих категорий и атрибутов.𝓲Фото: Норбит Поиск потенциальных дублей Поиск аналогов — на основе семантического анализа и внешних баз платформа находит аналоги для заданной позиции. Критически важно для импортозамещения, оптимизации закупок и сокращения складских запасов. Формирование чистого наименования (КНН/ПНН) — краткое и полное наименования. Ключевые элементы для интеграции с ERP (например, SAP с ограничением 40 символов для КНН). AI MasterData автоматически генерирует КНН и ПНН по заданным шаблонам. Для ряда категорий они уже предустановлены, что позволяет без задержек начать работу.𝓲Фото: Норбит Мастер настройки KHH/ПНН Исправление грамматических и синтаксических ошибок — автоматическая коррекция опечаток, неверных падежей, лишних пробелов и других ошибок в наименованиях и атрибутах. Все перечисленные этапы объединены в сквозной процесс. Пользователь может работать как в целиком автоматическом режиме, так и вручную корректировать результаты через удобный веб-интерфейс. Все изменения сохраняются в рабочей области, закрепленной за конкретным оператором. Система дает ИИ-подсказки для ускорения. AI MasterData построена на открытых технологиях…
Источник: tadviser.ru — www.tadviser.ru/index.php/Статья:Генеративная_уборка:_почему_алгоритмы_машинного_обучения_и_большие_языковые_модели_—_важная_часть_процесса_нормализации_НСИ
