Создан тест для оценки умения роботов работать по неоднозначным инструкциям

2025-08-07 12:41

Российские ученые создали самый большой в мире открытый набор данных, предназначенный для оценки способности робототехнических систем легко и точно понимать просьбы людей и интерпретировать потенциально неоднозначные инструкции. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI.

«В ходе исследования был собран текстовый набор данных, включающий 2 тыс. задач с разметкой по типу неоднозначности для действий на кухне. Результаты показали, что существующие алгоритмы пока недостаточно эффективно справляются с распознаванием ситуаций, требующих уточнения: даже лучшие модели демонстрируют успешный результат лишь в 20% случаев», - говорится в сообщении.

Новый тест для роботов был разработан группой исследователей Института AIRI и МФТИ при поддержке Центра робототехники «Сбера». Он представляет собой набор из обыденных бытовых ситуаций, с которыми может столкнуться робот при интерпретации различных неполных или неоднозначных инструкций человека, связанных с исполнением различных задач на кухне.

Как объясняют исследователи, многие простые инструкции, в частности, просьба принести что-нибудь попить, содержат в себе массу неопределенности и неочевидных предпочтений, которые крайне сложно интерпретировать ИИ. Управляющие системы роботов могут попытаться разрешить эти проблемы при помощи уточняющих вопросов, большое число которых будет утомлять пользователя, что требует использования иных подходов для получения информации.

Для оценки умения роботов действовать в таких ситуациях российские ученые подготовили набор из 2 тыс. сценариев с подробным описанием задачи, обстановки в кухне, возможных уточняющих вопросов и планов действий. Часть из этих задач была сформулирована максимально четко и могла быть интерпретирована одним образом, тогда как другие были неоднозначными и были разбиты на три категории - предпочтения людей, здравый смысл и безопасность.

Подобное разбиение, по словам исследователей, позволит разработчикам роботов и ИИ-систем для них гибко корректировать работу этих алгоритмов и делать роботов более адаптивными и удобными для человека. Как отметил руководитель группы «Воплощенные агенты» лаборатории "Когнитивные системы ИИ" Института AIRI Алексей Ковалев, этот тестовый набор также поможет в разработке систем, занимающихся планированием поведения роботов и способных оценивать на каком этапе плана действий машины возникает неоднозначность.

Источник