Scale AI и Hugging Face открыли робототехнический датасет на 1718 часов
FineART объединяет более 40 тысяч демонстраций двуручного робота с подробными пошаговыми метками и моделью, предсказывающей следующую подзадачу.
Scale AI и Hugging Face выпустили FineART — открытый датасет для обучения роботов многоэтапным физическим задачам. Он содержит 40 543 демонстрации общей длительностью около 1718 часов, записанные с помощью двуручного робота в стиле ALOHA.
Набор охватывает 151 задачу и включает 533 913 написанных людьми меток подзадач. В отличие от датасетов с одной инструкцией на весь эпизод, FineART размечает последовательность действий: например, определить объект, взять его и положить в нужное место. Метки покрывают каждый эпизод, создавались отдельно от операторов робота и проверялись другой командой.
Партнеры также выпустили FineART-VLA — vision-language-action модель на основе pi0.5. Высокоуровневый компонент предсказывает следующую подзадачу на естественном языке, а низкоуровневый превращает ее в действия робота. Датасет доступен по лицензии CC BY 4.0, а модель — по лицензии Gemma.
Большие и подробно размеченные данные о физических действиях остаются дефицитом для открытой робототехники. FineART дает разработчикам общий ресурс для обучения и проверки систем, которые должны рассуждать над длинной задачей, а не просто повторять одно движение. Датасет, модель, код и научная статья доступны через экосистему LeRobot от Hugging Face.
