NVIDIA Cosmos 3: модели мира дают роботу редкие сценарии, но проверка — в реальном цехе
В тренажёре лётчик может отработать отказ двигателя — редкий случай, который в обычных полётах встречается нечасто. Смысл не в том, что тренажёр подменяет небо, а в том, что он позволяет встретить такой случай раньше и в безопасной обстановке.
С обучением роботов история похожая. Если вообразить склад без сюрпризов, робот-погрузчик катается по чистому полу между ровно стоящими паллетами, а интересное для инженеров начинается там, где этот порядок ломается. NVIDIA продвигает семейство моделей Cosmos 3 как инструмент, который позволяет прогнать машину через такие варианты в вычислительной среде, не дожидаясь, пока их подбросит реальность. На мой взгляд, это самая честная формулировка пользы: не «робот стал умнее», а «робот встретил больше разных ситуаций до выезда в цех».
Одна оговорка, без которой дальше будет нечестно. Складской робот в этой статье — иллюстрация рабочего процесса, а не отчёт об испытаниях: подтверждённого публичного кейса, где конкретный погрузчик обучен на Cosmos 3 и показал измеримые результаты, в открытых материалах NVIDIA нет.
Что именно сделала NVIDIA
Cosmos 3 — семейство моделей мира (world foundation models) для физического ИИ, а не один продукт и не «мозг робота». NVIDIA описывает его как набор моделей, которые в одной архитектуре соединяют три вещи: понимание сцены, генерацию будущих состояний мира и генерацию действий. Проще говоря, система смотрит на кадр или видео, умеет представить, что произойдёт дальше, и может предложить последовательность действий для машины, у которой есть тело.
Внутри — архитектура Mixture-of-Transformers из двух связанных частей. Reasoning tower разбирает визуальную и языковую информацию: что вообще на сцене происходит. Generator tower создаёт продолжение — изображение, видео, аудио или действия. Части работают не по отдельности, а с опорой на общее латентное описание ситуации.
Линейка заявлена в трёх размерах. Cosmos 3 Super — 64 млрд параметров, ставка на максимальное качество и крупные вычислительные системы. Nano — 16 млрд, расчёт на дообучение и работу на рабочей станции. Edge — 4 млрд, вариант с меньшей задержкой для периферийных устройств. Цифры тут ориентир по классу задачи, а не обещание, что модель побольше всегда лучше справится с конкретным складом.
Отдельно стоит развести то, что легко слипается в одно слово. Модель мира, симулятор и контроллер робота — разные роли в конвейере. Cosmos 3 генерирует правдоподобные варианты сцены и действий, а полноценная симуляция включает другие средства: построение сцены, физику, рендеринг, проверку. В экосистеме NVIDIA это, среди прочего, Omniverse и Isaac Sim — они работают вместе с моделями мира, а не вместо них.
Склад, которого нет
Возьмём робота-погрузчика, который возит паллеты в проходе между стеллажами. Собрать для него обычные данные несложно: снимай себе сотни часов ровных проездов. А редкие случаи так не соберутся. Коробка упала поперёк проезда или легла так, что закрывает часть датчика. Из-за стеллажа вышел человек. Свет погас или, наоборот, стал вдвое ярче из-за окна. Камеру сдвинули при обслуживании, груз поставили на паллету не по стандарту. Каждый такой случай в реальности редок, а собрать его специально — дорого, долго и иногда опасно.
Именно на труднодоступные варианты и рассчитана генерация синтетических данных: нестандартное поведение объектов, другое освещение, другая позиция камеры, изменения окружения. Логика простая. Модель получает запись прохода и достраивает варианты, которых в отснятом материале не было. Робот проигрывает свои действия в этих вариантах, а результат проверяется: доехал, не задел препятствие, выбрал объезд.
Ценность здесь, на мой взгляд, не столько в количестве кадров, сколько в отвязке от единственной удачной картинки. Робот, который видел только идеально освещённый проход с ровными паллетами, рискует выучить не правило «здесь надо объехать», а правило «вот так выглядит правильный кадр». Вариативность условий может помочь ослабить эту связку и подтолкнуть модель опираться на более устойчивые признаки — но результат зависит от задачи.
Похоже на правду — не значит правильно
Ограничения здесь важнее возможностей. В карточке модели на Hugging Face у NVIDIA прямо написано: результаты Cosmos 3 не следует воспринимать как физически точную симуляцию, надёжную эталонную оценку или сертифицированное решение для безопасности. Для робототехники и критических систем нужны дополнительные проверки, ограничения и анализ безопасности. Формулировка выглядит как юридическая страховка, но по смыслу она точная: описывает, что модель делает и чего не делает.
Разница между «похоже на правду» и «правильно посчитано» огромна. Видео может выглядеть безупречно, а масса, трение, сцепление, задержки датчиков, шум сенсоров и свойства материалов останутся за кадром. Красиво сгенерированное падение коробки не говорит, с какой силой она ударит по бамперу. Убедительный объезд препятствия не говорит, успеет ли привод среагировать на реальном полу с другим покрытием.
В исследованиях по робототехнике для этого есть отдельное понятие — sim-to-real gap, разрыв между симуляцией и реальностью. Политика, которая уверенно работает в виртуальной среде, после переноса на физическое устройство может вести себя иначе, вплоть до небезопасного поведения. Причины прозаичные: другая динамика, другие задержки, другой шум сенсоров, другое сцепление. Это общий вывод академической литературы, а не результат эксперимента именно с Cosmos 3, и привожу я его в таком качестве.
Из этого следуют две формулировки, которых лучше избегать. «Cosmos 3 понимает физику мира» — слишком сильно; точнее сказать, что модель выявляет физически значимые связи и генерирует правдоподобные продолжения, но универсальным доказателем корректности физического поведения не является. «Цифровой двойник склада» — тоже мимо: двойник предполагает точное соответствие конкретному объекту и его параметрам, а здесь речь о генерации правдоподобных вариантов, а не о копии вашего прохода между стеллажами.
Проверка всё равно на реальном полу
После виртуальных прогонов начинается то, что не отменяется. Робот выезжает на настоящее покрытие, и может выясниться, что пол скользит, датчик врёт при боковом свете, а груз на паллете лежит не так, как в синтетике. Дальше — реальные испытания на физическом устройстве, ограничения и дополнительные проверки, включая анализ безопасности, а не только красивая статистика из симуляции.
Синтетика может сократить трудоёмкий сбор данных и время на редкие случаи. Этап, где проверяется, как всё работает на железе, она не отменяет. Искусственные сцены расширяют опыт робота, реальные испытания остаются местом, где опыт подтверждается. Мне такое разделение труда кажется разумным: генерация даёт объём и разнообразие, физический мир — проверку.
Если после роботов хочется посмотреть, что ещё умеют современные нейросети — генерация изображений и видео, готовые сервисы под разные задачи, — их удобнее держать в одном месте, чем собирать по одному. Для этого есть Syntx AI, где собрано много нейроинструментов сразу: https://syntx.ai/welcome/0NIuivsM.
Тренажёр даёт лётчику опыт, которого не будет в обычных полётах, но не заменяет реальный полёт. С роботами так же: модели мира вроде NVIDIA Cosmos 3 позволяют расширить набор ситуаций, которые машина встречает до реального выезда, и это уже немало. А ответ на вопрос «безопасен ли этот робот на этом складе» всё равно даётся не в генераторе видео.