Метод Clio позволяет роботу идентифицировать важные части сцены, учитывая непосредственные задачи. Затем робот принимает список задач, описанных на естественном языке, и на основе этой информации определяет уровень детализации, необходимый для «интерпретации» окружающей обстановки и «запоминания» только тех частей, которые имеют отношение к делу.
Исследователи провели ряд экспериментов, начиная от захламленной кабинки и заканчивая пятиэтажным зданием в кампусе Массачусетского технологического института.
Они использовали Clio для автоматического сегментирования сцены на разных уровнях детализации на основе набора задач, указанных в подсказках на естественном языке, таких как «переместить стеллаж с журналами» и «достать аптечку».
Кроме того, они запустили Clio на четвероногом роботе Boston Dynamics, который, исследуя здание, идентифицировал и нанес на карту только те части «сцены», которые имели непосредственное отношение к его задачам, в том числе поиск игрушки для собаки, игнорируя груды канцелярских принадлежностей на пути.
Лука Карлоне, доцент кафедры аэронавтики и астронавтики Массачусетского технологического института (AeroAstro), главный исследователь в Лаборатории информационных систем и систем принятия решений (LIDS) и директор лаборатории MIT SPARK, сказал: «Поиск и спасение являются мотивирующим приложением для этой работы, но Clio также может приводить в действие домашних роботов и роботов, работающих в производственном цехе вместе с людьми».
