Главная / Блог / Автоматизация / Сбор и обработка данных: автоматические конвейеры

Сбор и обработка данных: автоматические конвейеры

Ручной сбор данных из разных источников отнимает часы и приводит к ошибкам. Рассказываем, из каких частей состоит автоматический конвейер и на что обратить внимание, чтобы он работал годами без присмотра.

Что такое конвейер данных и когда он нужен

Конвейер данных — это цепочка автоматических шагов, которая забирает информацию из источников, проверяет её, преобразует и складывает туда, где с ней удобно работать: в хранилище, отчёт, систему аналитики или обучающую выборку модели. Если сотрудник каждое утро скачивает файлы, копирует цифры в таблицу и рассылает результат, он выполняет конвейер вручную. Задача автоматизации — заменить его скриптом, который делает то же самое быстрее, без ошибок и в любое время суток.

Признаки, что пора строить конвейер:

данные собираются из трёх и более источников;
процесс повторяется чаще раза в неделю;
итоговые цифры зависят от ручных действий, и результаты расходятся у разных людей;
при смене сотрудника знание о процессе пропадает вместе с ним;
задержка в данных замедляет решения.

Для небольших задач хватает одного скрипта и расписания. Для сложных сценариев нужна архитектура с чёткими этапами и мониторингом. Общий подход к выбору начальных процессов мы описывали в статье про автоматизацию бизнес-процессов.

Этапы типичного конвейера

Независимо от масштаба большинство конвейеров устроено одинаково.

Сбор. Получение данных из источников: файлов, почты, интерфейсов программ, баз данных, веб-страниц.
Проверка. Контроль структуры и допустимости значений на входе.
Преобразование. Приведение к единому формату, очистка, объединение, расчёт производных показателей.
Загрузка. Сохранение результата в хранилище или передача получателю.
Журналирование и мониторинг. Запись того, что произошло, и оповещение при сбоях.

Каждый этап должен быть отдельным модулем с понятными входом и выходом. Тогда сбой на одном шаге не обрушивает всё остальное, а изменение источника правится в одном месте.

Источники данных и способы их получения

Файлы и почта

Самый распространённый, хотя и самый ненадёжный источник: партнёры присылают таблицы на почту, выгрузки лежат в сетевых папках. Здесь нужны правила именования, автоматическое определение формата и обработка ситуаций «файл не пришёл вовремя» и «файл пришёл с другой структурой».

Программные интерфейсы

Если у источника есть интерфейс обмена данными, это лучший вариант: формат стабилен, структура документирована, ошибки возвращаются в понятном виде. Важно учитывать ограничения на число запросов, постраничную выдачу и срок действия ключей доступа.

Базы данных

Чтение из чужой базы требует аккуратности: нельзя нагружать боевую систему тяжёлыми запросами в рабочие часы. Часто выгоднее забирать приращение, то есть только изменённые записи, а не всю таблицу.

Веб-страницы

Сбор с открытых страниц допустим, когда нет другого способа и это не нарушает правил ресурса и законодательства. Он хрупок: вёрстка меняется, и скрипт ломается. Поэтому для разбора страниц закладывают проверки структуры и быстрые оповещения о поломке. Уточняйте условия использования источника и не собирайте персональные данные без оснований.

Проверка данных: самая недооценённая часть

Конвейер без проверок превращает мусор в красивые отчёты. Типовые проверки делятся на несколько уровней.

Структурные

Совпадают ли названия и порядок столбцов, типы значений, кодировка, разделители. Если файл пришёл с изменённой структурой, лучше остановиться и сообщить, чем загрузить смещённые данные.

Смысловые

Проверка диапазонов и допустимых значений: дата не из будущего, сумма не отрицательна, количество не превышает физически возможное. Такие правила пишутся совместно с теми, кто хорошо знает предметную область.

Статистические

Резкие изменения объёма и распределения: сегодня строк в десять раз меньше, чем обычно, или средний чек упал вдвое. Такое отклонение чаще означает поломку источника, чем реальное событие.

Ссылочные

Все ли идентификаторы существуют в справочниках, нет ли дублей. Нарушения не всегда повод остановки, но их нужно считать и выводить в отчёт о качестве.

Правило, которое экономит недели отладки: каждая отброшенная или исправленная запись должна попадать в журнал с причиной. Молчаливая очистка скрывает проблемы источника.

Преобразование и хранение

На этапе преобразования данные приводят к единому виду. Основные операции: нормализация названий и единиц измерения, приведение дат и часовых поясов, удаление дублей, объединение по ключам, расчёт агрегатов. Главное правило — преобразования должны быть воспроизводимыми. Один и тот же вход всегда даёт один и тот же выход, а правила хранятся в коде, а не в голове у сотрудника.

Сырые данные не выбрасывайте

Храните исходные файлы и ответы источников неизменными в отдельной области. Если в логике преобразований найдётся ошибка, вы пересчитаете результат из первоисточника. Это недорого, а спасает от катастрофы.

Слои хранилища

Удобная схема из трёх слоёв: сырой слой с данными как есть, очищенный слой с приведёнными типами и проверками, витрины с готовыми для отчётов таблицами. Такое разделение позволяет менять бизнес-логику, не трогая сбор.

Идемпотентность

Повторный запуск за тот же период не должен создавать дубли. Достигается это загрузкой по уникальным ключам или полной перезаписью периода. Без этого любой сбой превращается в ручную чистку.

Надёжность: как переживать сбои

Сбои неизбежны: источник недоступен, сеть моргнула, формат поменялся. Хороший конвейер к ним готов.

Повторные попытки с нарастающей паузой для временных ошибок.
Тайм-ауты на все внешние обращения, чтобы зависший запрос не блокировал остальные.
Изоляция ошибок: сбой одного источника не останавливает обработку остальных.
Очередь проблемных записей для ручного разбора вместо тихой потери.
Оповещения в рабочий мессенджер или почту с понятным текстом: что сломалось, где, что делать.
Контроль свежести: сигнал, если данные не обновлялись дольше ожидаемого.

Мониторинг должен отвечать на три вопроса: работает ли конвейер, свежие ли данные, правильные ли они. Первые два проверяются просто, третий требует описанных выше проверок качества.

Расписание и запуск

Простые конвейеры запускаются по расписанию. Выбирайте время с запасом: если отчёт нужен к девяти утра, а источник обновляется в семь, запуск в восемь оставляет час на повторные попытки. Для сложных зависимостей используют оркестраторы, которые следят за порядком шагов и перезапускают упавшие. Но не усложняйте раньше времени: для десятка шагов хватает расписания и аккуратной обработки ошибок.

Конвейеры данных для компьютерного зрения

Особый случай — подготовка датасетов для моделей зрения. Здесь конвейер включает приём изображений, дедупликацию, проверку качества кадров, разметку, конвертацию в нужный формат, разбиение на обучающую, валидационную и тестовую части. Об аннотациях и их форматах мы рассказывали в статье про форматы аннотаций. При генерации синтетических датасетов конвейер ещё и управляет самой сценой: параметры камеры, света, материалов и расстановки объектов задаются конфигурацией, а на выходе получаются изображения вместе с масками, рамками, картами глубины и ключевыми точками. Это тот же принцип воспроизводимости: любую партию можно сгенерировать заново и получить такой же результат.

Безопасность и ответственность

Несколько вопросов стоит продумать заранее. Где хранятся пароли и ключи доступа: только в защищённом хранилище секретов, никогда в коде и таблицах. Кто имеет доступ к данным и к самому конвейеру. Какие данные содержат персональные сведения и нужно ли их обезличивать до загрузки. Как долго хранятся сырые данные. Кто отвечает за работу конвейера и получает оповещения.

Как начать

Выберите один реальный процесс, где данные собираются вручную. Опишите источники, формат результата и правила проверки. Реализуйте простейшую версию, которая выполняет сбор, базовую проверку и выгрузку, и запустите её параллельно с ручной работой. Сравните результаты, соберите расхождения, доработайте. Через две-три итерации конвейер можно передавать в эксплуатацию.

Мини-пример: ежедневная сводка по заказам

Компания получает заказы из трёх каналов: интернет-магазина, почты и торговой площадки. Раньше менеджер каждое утро копировал данные в общую таблицу и тратил около часа. После автоматизации скрипт в шесть утра забирает данные из всех источников, приводит названия товаров к единому справочнику, отбрасывает дубли, отмечает заказы с подозрительными суммами и загружает всё в общую таблицу. Если один из источников недоступен, остальные обрабатываются, а ответственному приходит сообщение с названием источника. К приходу сотрудников данные уже готовы, а ошибок переноса нет. Экономия составляет около 20 часов в месяц, плюс сокращается число споров о цифрах.

Если вы хотите автоматизировать сбор данных или подготовить конвейер для обучающих выборок, посмотрите страницу автоматизации процессов или напишите на [email protected]. Мы оценим объём работы и предложим схему, которая не потребует лишних систем.

Нужен датасет под вашу задачу?

Подготовим тестовую партию изображений с разметкой, чтобы вы могли проверить подход на своей модели. Напишите на [email protected] или оставьте заявку.