Нейросеть Kandinsky обучит роботов законам физики
Сбер выпустил семейство генеративных моделей Kandinsky WM 1.0. Они обучены генерировать видео, более точно соответствующие законам физики и пригодные для обучения систем Physical AI. В основе моделей нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Особенно ценны модели будут там, где реальные съёмки невозможны или сильно затруднены: они могут генерировать видео редких, сложных или опасных сценариев для тренировки роботов и беспилотного транспорта. Код и веса нейросетей опубликованы под лицензией MIT – и доступны всем разработчикам мира бесплатно.
Physical AI или физический ИИ — класс систем искусственного интеллекта, которые способны воспринимать физический мир, понимают его динамику и могут управлять реальными устройствами. В отличие от языковых моделей, для физического ИИ просто нет открытых обучающих данных в достаточном масштабе. Собирать такие данные очень сложно и дорого: нужны устройства, датчики, операторы, контролируемая среда. Автомобиль с камерами и датчиками накапливает порядка 5000 часов записей в год, тогда как современным моделям нужны миллионы часов. А многие редкие и сложные сценарии, например, ДТП, экстремальную погоду, отказы оборудования — вообще нельзя воспроизвести вживую.
По оценке Яна Лекуна, лауреата премии Тьюринга и одного из «отцов» глубокого обучения, четырёхлетний ребёнок только через зрение получает больше информации, чем содержится во всех текстах, на которых обучены крупнейшие языковые модели. Поэтому следующий рубеж физического ИИ — обучение на видео, а синтетические данные становятся ключевым способом закрыть разрыв в объёмах.
Создаваемые моделями Kandinsky WM видео длятся около 5 секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрёстка), этапы производственных процессов — базовые «кирпичики», из которых складывается обучение автономных систем. Это первое поколение нейросетей на пути к полноценным моделям мира – системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов. Кроме генерации данных, такие нейросети могут выступать основой для систем управления: выученная при генерации видео физическая интуиция, переносится в модели действий роботов.
Как обучали Kandinsky WM
Базовые модели генерации видео иногда нарушают простые физические законы: объекты деформируются, перспектива искажается, движения выглядят неестественно. Чтобы повысить физическую достоверность, команда дообучила Kandinsky 5.0 Video Lite на нескольких миллионах реальных видеосцен — автомобили, роботы, промышленные процессы, сложные движения объектов. Отдельные направления, например автомобильные сцены, дополнительно улучшили с помощью обучения с подкреплением: специальные модели оценивали ролики на предмет сохранения формы объектов, геометрии и естественности движения. На основе этой обратной связи Kandinsky учился создавать более физически правдоподобные видео. Подробности о разработке команда написала в статье на Хабре.
Кому будут полезны новые модели
Kandinsky WM 1.0 — первое открытое семейство российских моделей для генерации физически достоверных данных. В мире таких систем единицы. Модели пригодятся разработчикам беспилотного транспорта, от легковых автомобилей до грузовиков и роботакси, компаниям в сфере промышленной автоматизации: производителям манипуляторов, промышленных, сервисных и антропоморфных роботов, командам, внедряющим компьютерное зрение на производствах и складах. Не меньше они полезны исследователям, университетам и стартапам, которых важно экономить ресурсы при сборе обучающих данных.
Модели уже применяет Центр робототехники Сбера для обучения собственных роботов, а также институт AIRI в своем дорожном симуляторе.
Денис Димитров, CTO Kandinsky, управляющий директор по исследованию данных Сбера:
«Стремясь понять устройство нашего мира, лучшие умы человечества тысячелетиями открывали физические законы. Но знать нужное уравнение и уметь предсказать реальное событие — это совершенно разные вещи. Чтобы просчитать, как поведёт себя коробка на мокром конвейере, нужно знать огромное количество параметров, которых у нас нет. Есть кейсы, которые вообще не описывается уравнениями, например, поведение пешехода перед беспилотным автомобилем. Человек решает эту задачу не вычислением, а интуицией, накопленной из опыта. Наши модели учатся так же — на видео реального мира — и позволяют «прожить» виртуально даже те сценарии, которые опасно или невозможно воспроизвести. Это шаг к моделям мира — системам, которые понимают физическую реальность, предсказывают, что произойдёт дальше, и могут действовать в ней самостоятельно».