КЕЙС: Как очистить базу с миллионами контактов в RetailCRM и подготовить e‑commerce гиганта к запуску программы лояльности
Платформа: RetailCRM.
Объём данных до очистки: более 1 млн клиентов, а число привязанных к ним телефонных номеров превышало 6 млн.
Проблема: почему база крупного ритейла превращается в «помойку»
Перед компанией встала задача — внедрить сквозную программу лояльности и запустить глубокую сегментацию для CRM‑маркетинга. За годы работы база данных накопила критический объём аномалий. Попытка «склеить» клиентов по номерам телефонов штатными средствами привела бы к катастрофе: в некоторых карточках уже были хаотично объединены сотни чужих телефонов и чатов из соцсетей.
7 причин, почему данные перепутались:
- Служебные email в формах заказа: формы «Быстрого заказа» автоматически подставляли технические почты, CRM склеивала разных людей по одному email.
- Ошибки сотрудников: менеджеры при ручном оформлении заказа иногда выбирали случайного клиента из списка.
- Заказы из соцсетей: при отсутствии телефона в соцсетях менеджеры вводили заглушки (+7, 555, 1111); система воспринимала их как один контакт.
- Маркетплейсы: временные (подменные) номера из маркетплейсов со временем выдавались другим покупателям.
- Некорректные интеграции: синхронизация с несколькими сайтами и мобильными приложениями портила данные.
- Конфликты внешних систем: при импорте баз из ERP пересекались внешние ID, вызывая хаотичные склейки.
- Разделение ролей: фактический заказчик часто отличался от получателя, и их данные записывались в один профиль.
Дополнительная сложность: «Семицветик» работает по всему миру, поэтому простая валидация только для РФ была невозможна — нужен международный стандарт.
Последствия для бизнеса до очистки
- Слив бюджета на СМС — одному клиенту уходили десятки сообщений, а чужие получали их без необходимости.
- Невозможность запустить лояльность — начисление кэшбэка превращалось в лотерею.
- Переплата за софт — миллионы «мертвых» профилей раздували базу и увеличивали лицензионные платежи.
Архитектура решения — пошаговый алгоритм очистки
Просто запустить массовое удаление было нельзя — высок риск стереть историю заказов реальных покупателей. Требовался ювелирный аналитический подход.
Шаг 0 (Базовый). Создание реестра исключений
Вычисление всех системных и служебных записей, технических email‑адресов, которые необходимо блокировать.
Шаг 1. Первичная выгрузка и поиск закономерностей
Данные разбиты на несколько массивов (Имя, Email, Телефон). Выделены клиенты с наибольшим числом привязанных номеров, прописаны правила коррекции.
Шаг 2. Фильтрация «мусорных» номеров
Удалены телефоны короче 6 символов (555, 1111 и т.п.).
Шаг 3. Склейка «эталонных» карточек
Объединены дубли, где совпадает имя и привязан один одинаковый номер телефона — «белый список» проверенных контактов.
Шаг 4. Удаление корпоративных доменов
Массово удалены email‑адреса вида @semicvetic.*, поскольку они служебные.
Шаг 5. Изоляция подменных номеров маркетплейсов
Временные номера помечены как «temporary», чтобы система больше не склеивала профили по ним.
Шаг 6. Метод «обратной очистки» по эталону
Если подтверждённый контакт (Имя + Телефон + Email) встречается в «грязной» карточке с десятками чужих номеров, телефон удаляется из этой карточки.
Шаг 7. Точечная частотная оценка
Номера, встречающиеся сотнями раз, считаются системной ошибкой и удаляются.
Шаг 8. Валидация по международному стандарту
Подключена библиотека google‑libphonenumber — автоматическое определение кода страны и приведение к единому формату.
Шаг 9. Удаление «призраков»
Карточки без телефона, email и соц‑чатов удаляются — такие клиенты не могут быть обслужены.
Техническая реализация
Для выполнения всех этапов использовался специализированный модуль «Модуль объединения дублей клиентов для RetailCRM» от Студии CRM. На каждом этапе задавались индивидуальные правила, условия и фильтры. Модуль обеспечивал безопасную склейку сущностей, перенос истории заказов и удаление пустых полей без риска нарушения логики системы.
Бизнес‑результаты проекта
- Сокращён объём базы: из миллиона «мутных» профилей сформирована чистая, уникальная база.
- Экономия на CRM‑лицензиях: уменьшенный объём данных мгновенно снизил ежемесячные платежи.
- Экономия на маркетинге: исчезли дублирующие и ошибочные СМС/мессенджер‑рассылки.
- Успешный старт лояльности: бонусы начисляются только реальным покупателям, сегментация работает со 100 % точностью.