На какие критерии смотреть при выборе подрядчика разметки данных?
Шесть критериев покрывают большую часть рисков: качество и SLA по точности, безопасность данных (NDA и работа с персональными данными по 152-ФЗ), прозрачность цены, наличие бесплатного пилота, используемые инструменты разметки и способность масштабировать команду под рост объёма проекта. Каждый критерий проверяется одним прямым вопросом подрядчику.
Качество и SLA по точности
Подрядчик должен уметь назвать конкретную метрику, которой измеряет качество — accuracy, IAA (межаннотаторское согласие) или иную, принятую для типа задачи, — и объяснить, что происходит, если метрика на реальном проекте не достигнута. Расплывчатое «мы гарантируем высокое качество» без цифр и механизма проверки — сигнал уточнить детали подробнее. Хорошая практика — зафиксировать целевой порог метрики и порядок пересдачи партии прямо в договоре или техническом задании, а не оставлять это устной договорённостью.
Безопасность данных, NDA и 152-ФЗ
Если данные содержат персональные данные, медицинские снимки или коммерческую тайну, до передачи даже тестовой партии стоит подписать NDA и уточнить, где физически хранятся данные и как они удаляются после завершения проекта. Для персональных данных дополнительно действуют требования 152-ФЗ к обработке и хранению. Отдельно стоит уточнить, привлекает ли подрядчик субподрядчиков или внешних исполнителей — и распространяются ли на них те же обязательства по NDA.
Прозрачность цены
Публичная цена или хотя бы понятная методика расчёта на сайте позволяет сравнить подрядчиков до созвона и коммерческого предложения. Отсутствие любой информации о том, из чего складывается цена, само по себе не проблема, но усложняет предварительное сравнение вариантов на раннем этапе выбора. Полезно уточнить не только итоговую сумму, но и единицу расчёта — за час работы разметчика, за размеченный объект или за партию целиком, — потому что от этого зависит, как считать бюджет при изменении объёма.
Пилотный проект
Готовность подрядчика бесплатно или за небольшую плату разметить тестовую партию данных из вашего проекта — самый быстрый способ проверить реальное качество и скорость работы команды до подписания контракта на весь объём. На пилоте также видно, насколько быстро подрядчик реагирует на уточнения по гайдлайну и правки после первой обратной связи заказчика.
Инструменты разметки
Важно уточнить, какой инструмент использует подрядчик — CVAT, Label Studio, собственную платформу — и в каких форматах отдаётся результат. Формат выдачи должен без доработок ложиться в пайплайн обучения модели заказчика, иначе после разметки потребуется отдельный этап конвертации. Если проект предполагает разметку нескольких типов данных сразу, стоит уточнить, работает ли подрядчик в одном инструменте для всех типов или переключается между разными платформами под каждую задачу.
Масштабирование команды
Если объём проекта может вырасти в несколько раз, стоит заранее спросить, как подрядчик набирает и обучает дополнительных разметчиков под пик нагрузки и не теряет ли при этом качество на новых людях в команде. Полезный ориентир — спросить, сколько времени в среднем занимает ввод нового разметчика в проект с сохранением целевой метрики качества.
Какие красные флаги говорят о риске при выборе подрядчика?
Насторожить должны отказ обсуждать пилотный проект, цена «по запросу» без объяснения, из чего она складывается, отсутствие NDA при работе с чувствительными данными, размытые сроки без промежуточных этапов и невозможность назвать конкретную метрику качества, по которой оценивают результат. Ни один флаг сам по себе не исключает работу с подрядчиком, но вместе они повышают риск.
Дополнительные сигналы для более внимательной проверки:
- подрядчик не может показать пример разметки на данных, похожих на ваши, даже обезличенных или из демонстрационного проекта;
- нет чёткого ответа на прямой вопрос, кто физически выполняет разметку — штатная команда, привлечённые исполнители под проект или открытая краудсорсинговая платформа;
- сроки называются без учёта объёма и сложности задачи, «на глаз», без разбивки на этапы с промежуточными точками сдачи;
- отсутствует описание процесса контроля качества — только общая формулировка без конкретной метрики и без указания, кто и как проверяет разметку;
- договор не фиксирует ответственность сторон за срыв сроков или пересдачу некачественной партии данных;
- на прямой вопрос про обработку персональных данных и 152-ФЗ подрядчик не может дать внятный ответ.
Эти флаги не привязаны к конкретным компаниям — это общие признаки, на которые стоит обращать внимание при выборе любого подрядчика на рынке разметки данных, включая нас самих. Один отдельный флаг редко повод для отказа, но чем больше флагов совпадает одновременно, тем внимательнее стоит проверять остальные условия перед подписанием договора.
Какие вопросы задать подрядчику на брифинге?
На брифинге стоит спросить: как считается точность и что происходит, если она не достигнута; кто физически размечает данные — штатная команда или крауд-исполнители; как хранятся и удаляются данные после завершения проекта; какой инструмент разметки используется и в каких форматах отдаётся результат. Ответы на эти вопросы закрывают большинство рисков проекта.
Полный список вопросов для брифа:
- Какой метрикой измеряется качество разметки и какой порог считается приемлемым для нашей задачи?
- Кто физически выполняет разметку и как устроено обучение исполнителей на гайдлайне проекта?
- Подписываете ли вы NDA до передачи тестовой партии данных?
- Где хранятся данные во время и после проекта, и как они удаляются по завершении?
- Можно ли начать с небольшого пилотного проекта до подписания контракта на весь объём?
- В каком формате отдаётся результат и совместим ли он с нашим пайплайном обучения модели?
Ответы на эти вопросы удобно фиксировать письменно — в переписке или техническом задании — чтобы на них можно было сослаться, если по ходу проекта договорённости разойдутся с ожиданиями.
Как использовать этот чек-лист на практике?
Чек-лист удобно пройти дважды: сначала бегло — по сайту и публичным материалам компании, чтобы сузить список кандидатов, а затем подробно — на созвоне и брифинге с двумя-тремя оставшимися подрядчиками. Итоговое решение стоит принимать не по презентации, а по результатам пилотного проекта на реальных, пусть и небольших, данных.
Ни один критерий из чек-листа не работает как единственный решающий фактор — оценивать стоит сочетание качества, безопасности, прозрачности условий и адекватности сроков применительно к конкретной задаче. Компания, которая идеально подходит для разметки текстовых данных небольшого объёма, не обязательно окажется удобным подрядчиком для промышленного проекта по разметке медицинских снимков с врачами-экспертами в контуре, и наоборот.