Нормализация справочников · МТР, контрагенты, услуги

Нормализация НСИ любой сложности: от аудита данных до миграции в системы

Очищаем и стандартизируем справочники: классификатор, шаблоны, единые наименования, поиск дублей и аналогов. Собственные ИИ-инструменты ускоряют работу, эксперт НСИ проверяет каждую группу записей.

  • Бесплатный аудит
  • Собственные ИИ-инструменты
  • Опытные эксперты НСИ
  • Готовим данные к миграции

Исходные записи

  • 1С:ERPподш. 6205 2RS SKF
  • СкладПОДШИПНИК 6205-2RS1 25Х52Х15
  • ЗакупкиПодшипник 6205 2RS (SKF)
Эталонная запись

Подшипник шариковый радиальный 6205-2RS, 25×52×15 мм, SKF

  • 2 дубля связаны с эталоном
  • аналог: 180205 ГОСТ 8882-75

Что получает компания после нормализации

  • Единые наименования и атрибуты по шаблону для каждого класса

  • Дубли выявлены и связаны с эталонной записью

  • Позиции однозначно находятся пользователями и системами

  • Перечень избыточных заявок на закупку и потенциал экономии

  • Справочник, готовый к загрузке в 1С, SAP или MDM

Среди наших клиентов

  • Норникель
  • Транснефть
  • X5 Group
  • Weatherford
  • Vale
  • Shell
  • Statoil
  • Nordgold
  • Highland Gold
  • Binnopharm
  • EKF
  • Trident Energy
  • Гринатом
  • Гознак
  • Ключавто
  • Tiger Realm Coal
  • РАНХиГС

Определение

Что такое нормализация НСИ?

Нормализация НСИ это приведение справочников к единым правилам. Каждая запись получает класс, набор атрибутов по шаблону и однозначное наименование. Дубли находятся и связываются с эталоном, недостающие данные дополняются из каталогов производителей и нормативных документов.

До нормализации

Одна позиция, три записи

  • 1С:ERPподш. 6205 2RS SKF
  • СкладПОДШИПНИК 6205-2RS1 25Х52Х15
  • ЗакупкиПодшипник 6205 2RS (SKF)

Сокращения, разный регистр, атрибуты слиты в одну строку. Поиск находит одну запись из трёх, остатки на складе не видны, и позицию закупают повторно.

После нормализации

Одна эталонная запись

МТР / Подшипники / Подшипники качения / Шариковые радиальные

Подшипник шариковый радиальный 6205-2RS, 25×52×15 мм, SKF

Обозначение
6205-2RS
Размеры, мм
25×52×15
Уплотнение
двустороннее
Производитель
SKF
Эталон2 дубля связаныаналог 180205

Наименование собирается из атрибутов шаблона, поэтому одинаковые позиции больше не расходятся в написании.

  • Приведение данных к единым стандартамПо шаблонам НСИ и с программным распознаванием значимых блоков записи

  • Централизация нескольких справочниковСопоставляем два и более справочника и собираем единую версию

  • Удаление дубликатов справочникаСравнение с учётом синонимов, формата, типа и других признаков

  • Оптимизация процессовРегламенты ведения НСИ с учётом специфики вашей организации

  • Улучшение качества данных НСИАвтоматические проверки и ручная проверка экспертами по правилам

  • Рост рентабельностиКорректный учёт остатков, блокировка лишней закупки, вовлечение неучтённых запасов

Когда нужно

Когда нужна нормализация справочников

Справочник засоряется постепенно: каждый заводит позиции по-своему. Проблемы становятся заметны, когда из-за них начинают терять деньги или срывается проект.

  • Одна позиция под разными названиямиНа складе она есть, а по заявке её закупают снова.

  • Поиск по справочнику не работаетСокращения, разная раскладка, все характеристики в одном поле.

  • Переход на новую ERP или внедрение MDMПереносить старые ошибки в новую систему нельзя.

  • Объединение справочниковНесколько предприятий или филиалов ведут свои справочники, нужен один.

Услуга рассчитана на справочники от 20 тысяч позиций. Чаще всего это производственные, добывающие, нефтегазовые, энергетические и фармацевтические компании.

Этапы

Основные этапы нормализации НСИ

Четыре этапа, каждый заканчивается проверкой и согласованным результатом. Справочник обрабатываем группами классов: первые группы сдаются, пока следующие ещё в работе.

  1. Этап 01

    Аудит данных и адаптация методики

    Что делаем

    • Бесплатная экспресс-оценка выгрузки, как правило не более 1 недели
    • Профилирование: ошибки, потенциальные дубли, неактивные и неактуальные записи
    • Определяем объём проекта и категории нормализации по классам
    • Договариваемся, что делать с неидентифицируемыми записями и записями к блокировке

    Что вы получаете

    • Отчёт о качестве данных
    • Согласованный объём работ
    • Методика нормализации: цели, структура справочников, правила наименований, дублей и нормализации
  2. Этап 02

    Классификатор и атрибутный состав в виде шаблонов

    Что делаем

    • Определяем класс каждой записи, как правило по существительному
    • Строим иерархический классификатор от 2 до 6 уровней
    • Для каждого конечного класса задаём атрибуты на основе нашей экспертизы и ваших данных
    • Согласуем шаблоны с вашими экспертами: по 2–3 встречи с каждой рабочей группой

    Что вы получаете

    • Утверждённый классификатор
    • Шаблоны, привязанные к конечным классам
    • Формулы краткого и полного наименования
  3. Этап 03

    Нормализация и обогащение

    Что делаем

    • Автоматически исправляем ошибки справочника
    • Программно распознаём значимые блоки и раскладываем запись по атрибутам
    • Дополняем недостающие данные из каталогов производителей и нормативных документов
    • Автоматически ищем дубликаты по распознанным блокам, при необходимости аналоги

    Что вы получаете

    • Нормализованные записи по группам классов
    • Матрица эталонов и дубликатов
    • Перечень неидентифицируемых записей
  4. Этап 04

    Формирование и передача результатов

    Что делаем

    • Сдаём группы партиями, эксперты проверяют атрибуты, классы и дубли
    • Нормализуем записи, созданные во время проекта
    • Готовим данные в шаблоне загрузки вашей системы
    • Загружаем в тестовую среду, затем в рабочую

    Что вы получаете

    • Консолидированная таблица по каждой группе
    • Шаблон загрузки в 1С, SAP или MDM
    • Перечень избыточных заявок на закупку

Совместная работа

Согласование результатов с рабочими группами заказчика

Для разделов, критичных для бизнеса, например готовой продукции, результат согласуется итеративно. Эксперты Synopps готовят предложение, рабочая группа заказчика вносит уточнения, владелец данных утверждает итог.

2–3 кругауточнений по разделу

  1. 1

    Готовим раздел

    Размечаем записи, строим классификатор раздела

  2. 2

    Обсуждаем с рабочей группой

    Показываем классификатор и записи, собираем замечания

  3. 3

    Утверждаем

    Классификатор и записи раздела согласованы

Эксперты Synoppsэксперты НСИ раздела и методолог

Synopps и рабочая группаспециалисты заказчика по номенклатуре

Владелец данныходин на раздел

Результаты по этапам

Результаты проекта нормализации НСИ

Кроме чистого справочника вы получаете правила, по которым он ведётся дальше. Так выглядят ключевые результаты проекта.

До старта: экспресс-оценка выгрузкибесплатно, около недели

94 908записей в выгрузке

Точный объём проекта

74 148в работу · 78%

20 760в архив: обобщённые и неактуальные

Из записей в работе

84%

разметили по нашим шаблонам

950 шаблонов на весь справочник, 100 самых частых дают 84%

Предварительная разметка

11 112

потенциальных дублей

15% записей в работе, проверяем отдельным потоком

Потенциал экономии

12 315

ошибок найдено

7 типовых проверок: раскладка, символы, синтаксис, орфография и другие

Исправляем автоматически

Пример по реальной выгрузке. Ещё до договора понятно, сколько записей в работе, насколько они уже размечены и сколько дублей ожидать.
Классификатор и шаблон классаЭтап 2

1Классификатор

  1. Уровень 1МТР
  2. Уровень 2Подшипники
  3. Уровень 3Подшипники качения
  4. Конечный классПодшипники шариковые радиальные

От 2 до 6 уровней. К каждому конечному классу привязан свой шаблон.

2Шаблон: набор атрибутов

Вид продукцииПодшипникобяз.
Типшариковый радиальныйобяз.
Обозначение6205-2RSобяз.
Размеры, мм25×52×15обяз.
ПроизводительSKFнеобяз.

Вид продукции это определяющее слово записи, как правило существительное. Вместе атрибуты однозначно идентифицируют позицию.

3Маска наименования

Вид продукцииТипОбозначение,Размерымм,Производитель

Подшипник шариковый радиальный 6205-2RS, 25×52×15 мм, SKF

Стандартизированное наименование собирается из значений атрибутов по маске, поэтому одинаковые позиции не расходятся в написании.

Классификатор и шаблоны согласуем с вашими экспертами по каждому разделу, обычно за 2–3 встречи с рабочей группой.
Нормализованный справочник: было и сталоЭтапы 3–4

Было · 7 записей

Стало · 4 эталонные записи

  • подш. 6205 2RS SKF
  • ПОДШИПНИК 6205-2RS1 25Х52Х15
  • Подшипник 6205 2RS (SKF)

3 → 1дубли объединены

Подшипники шариковые радиальныеПодшипник шариковый радиальный 6205-2RS, 25×52×15 мм, SKF

  • болт м12х60 оцинк
  • Болт М12*60 ГОСТ 7798 цинк

2 → 1дубли объединены

БолтыБолт М12×60 ГОСТ 7798-70, оцинкованный

  • Прокл. паронит ПОН-Б 2мм 100*60

1 → 1по шаблону

ПрокладкиПрокладка паронитовая ПОН-Б, 100×60×2 мм

  • кл. обратный ду25 ру16

1 → 1по шаблону

Клапаны обратныеКлапан обратный Ду 25, Ру 16

Каждая запись получает класс и наименование по шаблону, дубли сводятся к одному эталону. Результат согласовываете вы, партиями по группам классов.

Документы показаны как примеры. В проекте они строятся по вашему справочнику.

Документы проекта

Разработка методик и регламентов ведения НСИ

Методику согласуем в начале проекта: по ней нормализуется справочник. Регламент ведения разрабатываем параллельно с нормализацией или после неё, чтобы справочник не засорился снова. Оба документа остаются у вас.

Методика нормализации справочника «Материалы»

Документ · согласуется на этапе 1, до нормализации

Содержание

  1. Цели и задачи нормализации записей справочника
  2. Цели и задачи классификации записей
  3. Структура справочников
  4. Правила формирования шаблонов наименований
  5. Правила выявления и устранения дублирующих записей
  6. Правила нормализации записей

Утверждено заказчикомстр. 1

Регламент ведения НСИ

Документ · параллельно с нормализацией или после

Раздел 3. Заведение новой позиции

  1. ПользовательЗаявка на материал
  2. Позиция есть в справочнике?Да: списание или закупка по эталону
  3. ЗаявительЗаявка на новую позициюпо шаблону, с выбором класса и проверкой на дубли
  4. Профильный специалистПроверка целесообразностидополняет данные
  5. Эксперт НСИПроверка и согласованиезаполнение, класс, дубли
  6. Данные корректны?Нет: возврат на доработку
  7. СправочникЗапись в справочник мастер-данныхдоступна для списания и закупки

Списание и закупка только по позициям из справочникастр. 7

Регламент работает, когда его поддерживает инструмент: для этого есть заведение номенклатуры с проверками на входе.

Экономия

Расчёт экономии и блокировка избыточных заявок на закупку

Сопоставляем подтверждённые дубли с остатками и открытыми заявками и даём перечень закупок, которые можно не делать.

Как дубль приводит к лишней закупке

До

Нужно 10 шт.На складе видно 5 шт.запись 1ещё 5 шт.под дублем, не видноЗакупка +5 шт.

После

Нужно 10 шт.На складе 10 шт.дубли объединеныЗакупка 0заявка заблокирована

Реальный кейс

86

млн руб. не потратили на закупку: столько лежало на складе под дублями

  • Склад142 → 228
  • Закупка553 → 467

Подход

Почему программная нормализация НСИ лучше?

Собственные инструменты Synopps понимают структуру записи, исправляют ошибки и находят дубли даже при разных формулировках. ИИ ускоряет разметку и обработку, а результат каждой группы проверяет и подтверждает эксперт НСИ.

  1. AПодготовка и очисткараскладка, пробелы, служебные символыИИ
  2. BДекомпозиция на значимые блокитип, обозначение, размеры, стандартИИ
  3. CНормализация и обогащениеатрибуты по шаблону, данные производителейИИ и эксперт
  4. DВыявление дубликатовпоиск, группировка, выбор эталонаИИ и эксперт
  5. EСогласование и миграцияприёмка партиями, формат загрузкиэксперт и вы

Критерии качества, по которым принимается результат

  • ПолнотаОбязательные атрибуты заполнены по стандарту

  • ИдентифицируемостьНаименование однозначно понимают люди и системы

  • НепротиворечивостьХарактеристики записи не конфликтуют между собой

  • Отсутствие дублейДубли удалены или связаны с эталоном

Инструменты, на которых работаем

Нормализацию выполняем на собственных инструментах Synopps. Посмотрите, что умеет каждый из них.

Что нормализуем

Какие справочники нормализуем

Методика одна, но у каждого справочника свои шаблоны, источники для обогащения и правила поиска дублей.

  • Номенклатура и МТР

    Материалы, запасные части, оборудование. Классификация, шаблоны, обогащение из каталогов производителей, поиск аналогов.

  • Контрагенты

    Проверка ИНН и реквизитов, адреса по ФИАС, объединение дублей поставщиков и клиентов.

    Нормализация контрагентов
  • Работы и услуги

    Единые наименования и классы услуг для закупок, договоров и отчётности.

  • НСИ ТОиР

    Оборудование, спецификации, связь запасных частей с оборудованием.

    НСИ для ТОиР

Классификаторы и каталоги

Привязываем записи к внешним классификаторам и актуализируем ссылки на нормативные документы: ГОСТ, ТУ, ОСТ.

  • ОКПД2
  • ТН ВЭД
  • ЕСКД
  • ЕСКК
  • ETIM
  • UNSPSC
  • 1С:Единый каталог
  • Ваш классификатор

Форматы работы

Как можно организовать нормализацию

Выбор зависит от того, есть ли у вас своя служба НСИ и предстоит ли переход на новую систему.

Чаще всего

A

Отдельный проект под ключ

Мы ведём все четыре этапа и передаём согласованный справочник в формате загрузки вашей системы.

Ваша выгрузкаSynoppsЭталон

B

Ваша команда, наша методология

Готовим методику, классификатор и шаблоны, обучаем специалистов. Нормализуют ваши сотрудники, мы контролируем качество.

Курс по НСИ и MDM

C

В составе внедрения MDM

Нормализуем параллельно с настройкой MDM, и к запуску в систему загружаются уже эталонные данные.

Следующий шаг: внедрение MDM

Чтобы справочник не засорился снова, после проекта можно передать ведение НСИ на аутсорсинг или включить проверки новых позиций на входе.

Сроки и стоимость

Сколько длится и сколько стоит нормализация НСИ

Справочник на 50–60 тысяч записей обычно нормализуется за 2–3 месяца. Срок зависит от объёма данных и требуемой глубины проверки.

Пример плана: справочник от 50 до 60 тысяч записей

Месяц 1Месяц 2Месяц 3

Бесплатная оценкадо 1 недели

Аудит и адаптацияметодика, объём

Классификацияклассификатор, шаблоны

Нормализациягруппами классов

Сдача и передачапартиями, миграция

Из чего складывается стоимость

Стоимость считаем после бесплатной оценки выгрузки, когда понятны объём и состояние данных.

  • Объём справочника и число классов
  • Состояние исходных данных
  • Глубина обогащения из внешних источников
  • Нужен ли поиск аналогов
  • Формат загрузки и миграция
  • Участие ваших экспертов в согласовании

Миграция

Передача нормализованных данных в 1С, SAP и MDM

Согласованные данные готовим в шаблоне загрузки целевой системы, с нужными полями и масками. Сначала загрузка в тестовую среду, затем в рабочую.

  1. Согласованный справочникэталоны, дубли, аналоги
  2. Шаблон загрузкипод формат вашей системы
  3. Тестовая средапроверка загрузки
  4. Рабочая среда1С, SAP, MDM
  • Записи, созданные во время проекта, тоже нормализуем, чтобы к загрузке справочник был полным.

  • Матрица объединения дублей учитывает склад, заявки и заказы, поэтому дубли можно вывести из оборота без потери истории.

Опыт

Один из наших проектов по нормализации НСИ

Нормализация 75 тыс. записей централизованного справочника для международной горнодобывающей компании.

Клиент

Международная горнодобывающая компания с филиалами в разных странах. Централизованный справочник на 75 000 записей, несогласованные процессы создания позиций, дубли, рост складских запасов и избыточные закупки.

Что сделали

  • Автоматизированная и ручная нормализация данных
  • Матрица объединения дубликатов с учётом склада, заявок и заказов
  • Обогащение из каталогов производителей и других источников
  • 50 тыс.позиций приведены в утверждённый стандарт и обогащены
  • 4 тыс.дубликатов. Эталон определялся за 3 минуты вместо ~1 недели ручной работы
  • −19%объём номенклатурного справочника

Больше проектов

Вопросы и ответы

Часто задаваемые вопросы по НСИ

Не нашли ответ? Пришлите вопрос вместе с выгрузкой справочника на info@synopps.com.

Что такое нормализация НСИ?

Это процесс стандартизации и очистки справочников НСИ для повышения согласованности и качества данных. Нормализация устраняет дубли, унифицирует наименования и атрибуты, улучшает аналитику и повышает эффективность закупок и управления запасами.

Зачем нужна нормализация НСИ?

Без нормализованных данных бизнес теряет точность аналитики, дублирует закупки и время сотрудников. Нормализация обеспечивает единый стандарт данных и подготавливает компанию к внедрению MDM-системы или переходу на новые ERP-платформы.

Кому подходит услуга по нормализации данных?

Любым компаниям с большими каталогами ТРУ: от 20 тысяч позиций и выше. Особенно актуально для производственных, добывающих, нефтегазовых, энергетических и фармацевтических предприятий.

Как проходит проект нормализации НСИ?

Процесс включает сбор и анализ данных, настройку шаблонов и классификаторов, автоматическую нормализацию и проверку результатов, а затем согласование и передачу чистого справочника. Результаты можно интегрировать в 1С, SAP или другие системы.

Сколько времени занимает проект?

Проект для 50–60 тысяч записей обычно занимает 2–3 месяца. Срок зависит от объёма данных и требуемой глубины проверки.

Как передать данные для оценки?

Отправьте выгрузку справочника (Excel или CSV) на info@synopps.com с кратким описанием задачи. Мы бесплатно оценим сложность и предложим подход к нормализации.

Как обеспечивается безопасность данных?

Synopps соблюдает требования 152-ФЗ и GDPR. По запросу подписываем NDA и обрабатываем данные только в пределах согласованных целей. Все файлы хранятся в изолированной среде.

Бесплатная оценка

Оценим ваш справочник бесплатно

Оставьте заявку или пришлите выгрузку в Excel или CSV на info@synopps.com с кратким описанием задачи. Покажем, сколько в справочнике ошибок и дублей, и предложим подход.

  1. 1
    Выгрузка

    Excel или CSV, можно часть справочника

  2. 2
    Оценка до 1 недели

    Объём, ошибки, дубли, неактивные записи

  3. 3
    Предложение

    Подход, сроки и стоимость

0
200000
Нажимая на кнопку, вы соглашаетесь с нашей Политикой конфиденциальности