Внедрение менеджера данных в ML-команду стало ответом на проблему перегрузки ML-инженеров задачами по сбору, разметке и контролю качества данных. Ранее, ML-инженеры тратили до 80% времени на подготовку данных, отвлекаясь от основных задач – разработки архитектуры моделей и сервисов. Менеджер данных берет на себя ответственность за эти процессы, взаимодействуя с заказчиками, координируя работу исполнителей, управляя бюджетами и контролируя качество разметки.
Менеджер данных тесно работает с заказчиком для уточнения требований и с ML-инженером для определения архитектуры модели и объема данных. Эта роль включает планирование бюджета на разметку, выбор оптимального способа разметки (краудсорсинг, аутсорсинг, внутренние ресурсы), организацию обратной связи с разметчиками, контроль качества данных с использованием контрольных примеров и доработку датасета на основе ошибок модели. Такой подход позволяет сделать процесс сбора данных итеративным и прозрачным.
Пример с разметкой фотографий ресторанов наглядно показывает необходимость менеджера данных. Выяснилось, что для обучения модели нужно намного больше классов, чем было заявлено заказчиком. Важно было детально проработать инструкции для разметчиков, чтобы исключить разногласия в понимании классов, так как это напрямую влияет на качество обучения модели. Наличие такой роли позволяет подходить к разметке структурировано, находить альтернативные решения для сложных случаев и автоматизировать процессы.
Внедрение менеджера данных ускоряет вывод моделей в продакшн, разгружает ML-инженеров от административных задач и позволяет им сосредоточиться на разработке. При выборе такого специалиста необходимо учитывать наличие у него знаний Python, управленческий опыт, опыт работы на крауд-платформах, умение работать в режиме многозадачности, способность объяснять сложные вещи простым языком и любовь к данным. Наличие такого специалиста, который занимается данными, а не только моделями, — это важный шаг к более эффективной разработке ML-решений.
Изображение носит иллюстративный характер
Менеджер данных тесно работает с заказчиком для уточнения требований и с ML-инженером для определения архитектуры модели и объема данных. Эта роль включает планирование бюджета на разметку, выбор оптимального способа разметки (краудсорсинг, аутсорсинг, внутренние ресурсы), организацию обратной связи с разметчиками, контроль качества данных с использованием контрольных примеров и доработку датасета на основе ошибок модели. Такой подход позволяет сделать процесс сбора данных итеративным и прозрачным.
Пример с разметкой фотографий ресторанов наглядно показывает необходимость менеджера данных. Выяснилось, что для обучения модели нужно намного больше классов, чем было заявлено заказчиком. Важно было детально проработать инструкции для разметчиков, чтобы исключить разногласия в понимании классов, так как это напрямую влияет на качество обучения модели. Наличие такой роли позволяет подходить к разметке структурировано, находить альтернативные решения для сложных случаев и автоматизировать процессы.
Внедрение менеджера данных ускоряет вывод моделей в продакшн, разгружает ML-инженеров от административных задач и позволяет им сосредоточиться на разработке. При выборе такого специалиста необходимо учитывать наличие у него знаний Python, управленческий опыт, опыт работы на крауд-платформах, умение работать в режиме многозадачности, способность объяснять сложные вещи простым языком и любовь к данным. Наличие такого специалиста, который занимается данными, а не только моделями, — это важный шаг к более эффективной разработке ML-решений.
