Разметка данных: маски, баундинг-боксы, ключевые точки

Размечаем изображения для детекции, сегментации и оценки позы. Для синтетических данных разметка получается автоматически, для реальных используем предразметку моделью и проверку человеком.

Что это и кому нужно

Разметка — это превращение картинки в обучающий пример: к изображению добавляется информация о том, что на нём находится и где. Без неё модель компьютерного зрения не научится ничего, а от качества разметки напрямую зависит качество результата. Ошибка в рамках или масках не исчезает при обучении, она становится частью модели.

Мы делаем два вида работы. Первый — автоматическая разметка синтетических датасетов: рендер знает положение каждого объекта, поэтому рамки, маски и карты глубины вычисляются точно и без участия человека. Второй — разметка реальных изображений: сочетание предварительной разметки моделью и проверки человеком, которое дешевле и быстрее полностью ручной работы.

Услуга подходит командам, у которых:

• накопились тысячи снимков без аннотаций;
• есть разметка, но она неоднородна, содержит ошибки или в неподходящем формате;
• нужна новая разновидность разметки: к рамкам добавить маски, к маскам ключевые точки;
• обучение упирается в качество аннотаций, а не в архитектуру модели.

Обзор всех видов работ с изображениями есть в статье виды разметки изображений.

Что мы размечаем

Баундинг-боксы

Прямоугольные рамки вокруг объектов для детекции. Это самый быстрый и дешёвый вид разметки, он подходит для большинства задач поиска предметов. Мы следим за единообразием: рамка проходит по видимой границе объекта, не включает тень, одинаково трактует частично скрытые и обрезанные объекты. Правила описаны в статье правила разметки ограничивающих рамок.

Маски сегментации

Точный контур объекта по пикселям. Бывают инстанс-маски, где каждый экземпляр отдельный, и семантические, где размечаются классы. Маски нужны для измерений, захвата роботом, контроля формы, поиска дефектов. Для синтетики они получаются идеальными, для реальных снимков требуют полигонной разметки или уточнения моделью. Разница подходов объяснена в статье про маски сегментации.

Ключевые точки

Набор именованных точек на объекте или теле человека: суставы, углы детали, отверстия, контрольные метки. Нужны для оценки позы, контроля сборки, определения ориентации. Важно заранее определить схему точек, их порядок и правила для скрытых точек. Подробнее: оценка позы и ключевые точки.

Карты глубины

Для каждого пикселя известно расстояние до камеры. В синтетических данных карта глубины вычисляется точно, на реальных снимках получить её можно только дорогим оборудованием. Применяется для навигации, измерения габаритов, работы с трёхмерными сценами. Дополнительно можем выдавать карты нормалей и карты непрозрачности.

Классы и атрибуты

К каждому объекту добавляются метки: тип, состояние, цвет, степень загрязнения, признак перекрытия. Это даёт возможность обучать модели с несколькими выходами и строить аналитику по результатам.

Форматы аннотаций

Мы отдаём разметку в том формате, который ваш конвейер читает без доработок.

• COCO. JSON-файл со списком изображений, категорий и аннотаций. Поддерживает рамки, полигоны и маски в виде RLE, ключевые точки. Самый универсальный формат.
• YOLO. Текстовые файлы по одному на изображение, в каждой строке класс и нормализованные координаты. Для сегментации используется вариант с полигонами. Компактный и удобный для быстрого обучения.
• Pascal VOC. XML-файлы с рамками и метаданными, исторически популярный формат для детекции. Маски хранятся отдельными изображениями.
• Растровые маски. PNG с индексами классов или экземпляров, 16-битные карты глубины.
• Собственные форматы. Если у вас особый внутренний формат, напишем конвертер и проверим его на ваших данных.

Сравнение форматов с примерами разобрано в статье форматы аннотаций: COCO, YOLO, Pascal VOC. Конвертация между форматами входит в работу, если вы не хотите хранить несколько вариантов.

Как проходит работа

1. Постановка задачи. Определяем классы, виды разметки, формат, требования к точности. Получаем примеры данных.
2. Инструкция для разметчиков. Пишем документ с правилами и картинками граничных случаев. Принципы описаны в статье как написать инструкцию для разметчиков.
3. Пробная партия. Размечаем небольшой фрагмент, согласуем с вами, уточняем правила. Эта стадия экономит больше всего времени.
4. Предразметка. Для реальных изображений запускаем модель, которая создаёт черновые рамки и маски. Для синтетических данных этот шаг не нужен: разметка уже есть.
5. Проверка и правка человеком. Разметчики исправляют черновик. Это в несколько раз быстрее, чем рисовать с нуля.
6. Контроль качества. Выборочная проверка вторым специалистом, автоматические проверки геометрии, подсчёт расхождений. См. контроль качества разметки.
7. Поставка. Передаём аннотации в нужном формате с отчётом и списком спорных случаев.

Что получает клиент

• Файлы аннотаций в согласованном формате и структуре папок.
• Инструкцию по разметке, по которой можно продолжить работу своими силами.
• Отчёт о качестве: объём проверенной выборки, доля исправленных объектов, типовые ошибки.
• Статистику датасета: число объектов по классам, размеры, распределение по изображениям.
• Скрипты проверки и конвертации, если они разрабатывались.
• Список спорных случаев с принятыми решениями, чтобы будущая разметка шла по тем же правилам.

Объём и сроки

Скорость зависит от плотности объектов и типа разметки. Рамки ставятся значительно быстрее, чем полигональные маски, а маски по предразметке быстрее, чем с нуля.

Сколько стоит ручная работа и как её сократить, подробно разобрано в статье сколько стоит ручная разметка. Ориентиры по ценам собраны на странице Цены.

На что обратить внимание

Отсутствие единых правил. Если один разметчик включает тень в рамку, а другой нет, модель получает противоречивые примеры. Правила должны быть письменными и с картинками.

Разные трактовки скрытых объектов. Нужно заранее решить, размечать ли объекты, видимые менее чем наполовину, и как отмечать обрезанные краем кадра.

Сжатие и масштабирование. Если разметка делалась на уменьшенных копиях, координаты нужно корректно пересчитать. Ошибка в несколько пикселей на оригинале сдвигает все рамки.

Перекос классов. Редкие классы размечают неохотно и небрежно. Для них стоит отдельная проверка.

Слепая вера в автоматическую разметку. Предразметка ускоряет работу, но без проверки человеком переносит собственные ошибки модели в датасет. Когда автоматика уместна, а когда нет, разобрано в статье про автоматическую разметку.

Смешивание форматов. Разные системы по-разному хранят координаты: абсолютные или нормализованные, от центра или от угла. Конвертацию проверяйте визуально на нескольких примерах.

Частые вопросы

Что быстрее: разметить вручную или сгенерировать синтетику с готовой разметкой?

Если объектов много и нужны маски или карты глубины, синтетика почти всегда быстрее и точнее. Для небольшого числа реальных снимков проще разметить вручную. Решение зависит от объёма и от того, есть ли у вас 3D-модели или чертежи объектов. Подробнее в разделе синтетические датасеты.

Какой формат выбрать: COCO, YOLO или VOC?

Выбирайте тот, что читает ваш фреймворк обучения. YOLO удобен для семейства моделей YOLO, COCO универсален и хранит маски и ключевые точки, VOC встречается в старых проектах. Конвертацию между ними мы делаем без потерь.

Можно ли довериться только автоматической разметке?

Для синтетики да, потому что она вычисляется из сцены. Для реальных снимков нужен человек, хотя бы выборочно. Хорошая схема: модель создаёт черновик, человек исправляет, второй специалист проверяет выборку.

Как вы обеспечиваете качество?

Через письменную инструкцию, пробную партию, двойную проверку выборки и автоматические проверки геометрии: выход за границы, нулевая площадь, пересечения. Метрики согласия между разметчиками мы тоже считаем.

Можно ли исправить уже имеющуюся разметку?

Да. Мы проводим аудит, находим системные ошибки, исправляем и приводим к единому формату. Часто это дешевле, чем разметка с нуля.

Сколько времени занимает разметка одного изображения?

От нескольких секунд для одной рамки до нескольких минут для сложной полигональной маски. Поэтому в оценке мы всегда опираемся на плотность объектов, а не только на число снимков.

Какие данные вы принимаете?

Изображения в распространённых форматах и видео, из которых извлекаются кадры. Особые условия по конфиденциальности обсуждаются заранее и фиксируются в договоре.