Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении искусственного интеллекта. Узнать больше
Nvidia выпустила Cosmos-Transfer1, инновационную модель искусственного интеллекта, которая позволяет разработчикам создавать очень реалистичные симуляции для обучающих роботов и автономных транспортных средств. В настоящее время модель, доступная для обнимающего лица, решает постоянную проблему в физической разработке ИИ: преодоление разрыва между моделируемыми учебными средами и реальными приложениями.
«Мы вводим Cosmos-Transfer1, условную модель мирового поколения, которая может генерировать мировые моделирование, основанные на множественных пространственных контрольных входах различных методов, таких как сегментация, глубина и Edge»,-заявляют исследователи NVIDIA в статье, опубликованном вместе с выпуском. «Это позволяет высоко контролируемому мировому поколению и находит использование в различных вариантах использования переноса мира в мир, включая SIM2Real».
В отличие от предыдущих моделей моделирования, Cosmos-Transfer1 представляет адаптивную мультимодальную систему управления, которая позволяет разработчикам взвесить различные визуальные входы, такие как информация о глубине или границы объектов, и в разных частях сцены. Этот прорыв обеспечивает более тонкий контроль над генерируемыми средами, значительно улучшая их реализм и полезность.
Как адаптивные мультимодальные управления преобразуют технологию моделирования ИИ
Традиционные подходы к обучению физических систем ИИ включают либо сбор огромных объемов реальных данных-дорогостоящий и трудоемкий процесс-или использование моделируемых сред, которые часто не имеют сложности и изменчивости реального мира.
Cosmos-Transfer1 рассматривает эту дилемму, позволяя разработчикам использовать мультимодальные входы (например, размытые визуальные эффекты, обнаружение краев, карты глубины и сегментацию) для генерации фотореалистического моделирования, которые сохраняют важные аспекты исходной сцены при добавлении естественных вариаций.
«В дизайне пространственная условная схема является адаптивной и настраиваемой», — объясняют исследователи. «Это позволяет по -разному взвешивать различные условные входы в разных пространственных местах».
Эта возможность оказывается особенно ценной в робототехнике, где разработчик может захотеть сохранить точный контроль над тем, как появляется роботизированная рука и движется, обеспечивая при этом более творческую свободу в создании разнообразных фоновых сред. Для автономных транспортных средств это обеспечивает сохранение дорожного планировки и схемы движения при различных погодных условиях, освещения или городских условиях.
Физические приложения ИИ, которые могут трансформировать робототехнику и автономное вождение
Ming-Yu Liu, один из основных участников проекта, объяснил, почему эта технология имеет значение для отраслевых приложений.
«Модель политики направляет поведение физической системы ИИ, гарантируя, что система работает с безопасностью и в соответствии с ее целями», — отмечают Лю и его коллеги. «Cosmos-Transfer1 может быть после обучения в модели политики для создания действий, экономии затрат, времени и потребностей в данных об обучении ручной политике».
Технология уже продемонстрировала свою ценность в тестировании моделирования робототехники. При использовании COSMOS-Transfer1 для улучшения моделируемых данных о робототехнике исследователи NVIDIA обнаружили, что модель значительно улучшает фотореализм, «добавляя больше деталей сцены и сложного затенения и естественного освещения», сохраняя при этом физическую динамику движения роботов.
Для разработки автономного транспортного средства модель позволяет разработчикам «максимизировать полезность в реальных случаях краев», помогая транспортным средствам научиться справляться с редкими, но критическими ситуациями, не сталкиваясь с ними на реальных дорогах.
Внутри стратегической экосистемы ИИ от NVIDIA для физических мировых применений
Cosmos-Transfer1 представляет только один компонент более широкой платформы Cosmos от Nvidia, набора моделей World Foundation (WFMS), разработанной специально для физической разработки ИИ. Платформа включает в себя Cosmos-Predict1 для общего назначения Всемирного поколения и Cosmos-Reason1 для физических разумных рассуждений.
«NVIDIA Cosmos-это модельная платформа Foundation Foundation-разработчика, предназначенная для того, чтобы помочь физическим разработчикам искусственного интеллекта построить свои физические системы ИИ лучше и быстрее»,-заявляет компания в своем хранилище GitHub. Платформа включает в себя предварительно обученные модели по лицензии NVIDIA Open Model и обучающие сценарии по лицензии Apache 2.
Это позиционирует NVIDIA, чтобы использовать растущий рынок инструментов искусственного интеллекта, которые могут ускорить разработку автономных систем, особенно в качестве отрасли от производства до транспортировки, в значительной степени инвестируют в робототехнику и автономные технологии.
Поколение в режиме реального времени: как моделирование AD NVIDIA
Nvidia также продемонстрировала Cosmos-Transfer1, работающий в режиме реального времени на своем последнем оборудовании. «Мы также демонстрируем стратегию масштабирования выводов для достижения мирового поколения в реальном времени со стойкой NVIDIA GB200 NVL72»,-отмечают исследователи.
Команда достигла приблизительно 40x ускорения при масштабировании от одного до 64 графических процессоров, что позволило генерации 5 секунд высококачественного видео всего за 4,2 секунды-эффективно пропускной способности в реальном времени.
Эта производительность в масштабе рассматривает еще одну критическую отрасль: скорость моделирования. Быстрое, реалистичное моделирование обеспечивает более быстрые циклы тестирования и итерации, ускоряя разработку автономных систем.
Инновация с открытым исходным кодом: демократизация Advanced AI для разработчиков по всему миру
Решение Nvidia опубликовать как модель Cosmos-Transfer1, так и ее базовый код на GitHub, устраняет барьеры для разработчиков по всему миру. Этот публичный релиз дает небольшим командам и независимым исследователям доступ к технологии моделирования, которые ранее требовали существенных ресурсов.
Этот шаг вписывается в более широкую стратегию Nvidia по созданию надежных сообществ разработчиков вокруг своих аппаратных и программных предложений. Поставляя эти инструменты в большее количество рук, компания расширяет свое влияние, потенциально ускоряя прогресс в физическом развитии искусственного интеллекта.
Для робототехники и инженеров автономных транспортных средств эти вновь доступные инструменты могут сократить циклы разработки через более эффективные учебные среды. Практическое воздействие может ощущаться в первую очередь на этапах тестирования, где разработчики могут подвергать системы более широкому диапазону сценариев перед развертыванием реального мира.
В то время как открытый исходный код предоставляет технологию доступной, для эффективного использования по -прежнему требуется опыт и вычислительные ресурсы — напоминание о том, что в разработке ИИ сам код — это только начало истории.
Источник
