ОтветыОпубликовано18 источники
Qwen-Drive-1.0-4B: открытая модульная VLM для исследований автономного вождения
Qwen Drive 1.0 4B — открытая модель с 4 млрд параметров и лицензией Apache 2.0, построенная на мультимодальной базе Qwen3.5 4B. К общей VLM подключены отдельные модули: BEV голова для 3D восприятия и Planning Expert для прогноза траектории автомобиля.
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Qwen Drive 1.0 4B — открытая модель с 4 млрд параметров и лицензией Apache 2.0, построенная на мультимодальной базе Qwen3.5 4B.
- К общей VLM подключены отдельные модули: BEV голова для 3D восприятия и Planning Expert для прогноза траектории автомобиля.
- Доступны режимы VQA, прямого планирования и планирования с текстовым рассуждением; опубликованные результаты — исследовательские ориентиры, а не подтверждение готовности к дорогам общего пользования.
- Веса размещены на Hugging Face, а код, демоданные, документация и средства оценки — в публичном репозитории GitHub.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-Drive-1.0-4B, released on September 8, 2026, and how does its Apache 2.0 open-source design combine the unchange. Article summary: Qwen-Drive-1.0-4B is Qwen’s Apache-2.0 open-weight, 4B-parameter vision-language driving model, developed with Huazhong University of Science and Technology. It keeps Qwen3.5-4B’s multimodal VLM architecture intact and a. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Qwen-Drive-1.0-4B — открытая vision-language model (VLM, модель, работающая с изображениями и текстом) для исследований автономного вождения от команды Alibaba Qwen, разработанная совместно с Хуачжунским университетом науки и технологии. Вместо превращения базовой Qwen3.5-4B в непрозрачную сквозную систему проект сохраняет общую мультимодальную основу и добавляет к ней внешние модули 3D-восприятия и планирования движения. Веса и сопутствующее ПО опубликованы по лицензии Apache 2.0. 10
11
15
Одна общая VLM и два подключаемых модуля
В основе лежит Qwen3.5-4B: она обрабатывает изображения и язык, отвечает на визуальные вопросы, в том числе о дорожной сцене, и формирует представления, которыми пользуются дополнительные компоненты. Заявленная цель Qwen — добавить функции для вождения, не заменяя исходную универсальную мультимодальную архитектуру. 10
11
К ней подключаются два внешних модуля:
- Голова восприятия BEV. BEV означает bird’s-eye view — представление сцены «с высоты птичьего полёта». Голова в стиле BEVFormer обрабатывает признаки с камер кругового обзора и выдаёт 3D-детекцию, семантическую занятость пространства и сегментацию карты в BEV. В документации указаны до 300 трёхмерных рамок по семи унифицированным классам, сетка занятости 200 × 200 × 16 по десяти классам и растровая карта размером 60 × 30 м с разрешением 0,15 м по шести классам.
18
- Planning Expert. Отдельный модуль строит будущую траекторию автомобиля на основе общих представлений VLM. Траектория приводится к единому формату: 50 поз в системе координат автомобиля — положение и курс — с частотой 10 Гц на горизонте пять секунд. Это позволяет использовать разнородные открытые наборы данных с общей целевой разметкой для планирования.
1
Такое разделение особенно полезно в исследованиях: можно отдельно проверять качество восприятия и планирования, сравнивать прямое планирование с планированием через текстовое рассуждение, а также заменять или отключать отдельные модули, не меняя базовую VLM.
Чем отличаются planner-sft и planner-rl
Для одной и той же основы Qwen выпустила два варианта планировщика:
planner-sft— Planning Expert, дообученный с учителем, то есть на примерах действий или траекторий. Он поддерживает как прямую генерацию траектории, так и вариант после текстового рассуждения модели.planner-rl— версия, дополнительно оптимизированная по функции вознаграждения, ориентированной на цели бенчмарков. Документация рекомендует применять её в режиме планирования с рассуждением: при оптимизации использовались прогоны, обусловленные сгенерированным рассуждением.
Отсюда следует важный нюанс при чтении метрик. Оптимизация по вознаграждению способна улучшить показатели, связанные с предпочтениями или псевдозамкнутым контуром, но немного ухудшить ошибку отклонения от записанной человеческой траектории в open-loop-оценке. Это разные критерии: меньшая ошибка траектории не тождественна более высокому баллу предпочтений или замкнутого контура. 1
Три режима запуска
В публичном cookbook описаны три режима инференса: 17
| Режим | Что выполняется | Результат |
|---|---|---|
VQA |
Только VLM | Текстовый ответ |
DIRECT_PLANNING |
Один проход VLM, затем Planning Expert | Траектории |
REASONING_PLANNING |
VLM сначала формирует рассуждение, затем эксперт использует этот контекст | Рассуждение и траектории |
Во всех трёх случаях используется одна и та же сеть. Различие состоит в том, генерируется ли текстовое объяснение и получает ли планировщик представления, включающие этот контекст. 17
Обучение и унификация разметки
Qwen описывает поэтапное обучение, сочетающее специализированные данные для 3D-восприятия, дорожного VQA и планирования с данными общего назначения для vision-language-моделей. В конвейере разнородные метки восприятия приводятся к общей таксономии, ответы для дорожного VQA редактируются ради согласованности, а траектории из публичных датасетов переводятся в единый формат путевых точек. 1
11
Идея состоит в балансе между специализацией и сохранением универсальных способностей: модель должна лучше понимать дорожные сцены и строить планы, но не просто утратить общие возможности работы с изображениями и текстом. Доступные материалы подтверждают, что это было целью разработки и оценки, однако сами по себе не дают независимого полного сравнения на всех бенчмарках общих знаний и пространственного понимания. 1
11
Что показывают опубликованные результаты
По данным самого проекта, на NAVSIM v1.1 показатель PDMS у planner-rl выше, чем у planner-sft: 90,7 против 88,2; при выборке лучшего из шести вариантов — 91,4 и 89,3 соответственно. На сквозной оценке Waymo Open Dataset приведены значения RFS 7,91 для RL и 7,78 для SFT. В open-loop-оценке NVIDIA PhysicalAI трёхсекундный minADE составил 0,38 м для RL и 0,34 м для SFT. 1
Репозиторий также сообщает об улучшении результатов дорожного VQA по сравнению с указанной базовой Qwen3.5-4B на ряде специализированных бенчмарков, включая LingoQA, VLAD, SURDS, WaymoQA и метрики в стиле DriveLM. 1
Однако это результаты, опубликованные командой проекта, а не независимая сертификация безопасности или готовности к внедрению. Баллы планирования, сходство с записанными траекториями, метрики предпочтений и проверка безопасности в реальном мире отвечают на разные вопросы. Сама Qwen называет релиз первоначальным шагом для исследований, а не промышленной системой автономного вождения. 5
11
Что доступно разработчикам
Репозиторий модели на Hugging Face содержит веса и конфигурации Qwen-Drive-1.0-4B и направляет к публичному проекту QwenLM/Qwen-Drive-1.0 на GitHub, где размещены код, демоданные и документация. 10
12
С помощью релиза можно:
- запускать VQA для изображений и дорожных сцен;
- воспроизводить поставляемые демонстрации вождения;
- генерировать траектории в прямом режиме либо в режиме с рассуждением;
- просматривать результаты BEV-восприятия;
- работать с опубликованными форматами сцен и оценки;
- экспериментировать с публичными датасетами и собственными входными сценами.
При этом один лишь открытый код и веса не позволяют воспроизвести всё обучение: не опубликованные обучающие корпуса, разметка, данные о предпочтениях и проприетарные данные нельзя восстановить только по публичному релизу. 1
5
Почему модульность здесь важнее громких обещаний
Главная ценность Qwen-Drive-1.0-4B — в роли исследовательской платформы. Проект явно отделяет языково-визуальное понимание, 3D-восприятие и планирование. Благодаря этому проще установить, что именно дало эффект: улучшенное представление сцены, генерация траектории, языковое рассуждение или оптимизация под конкретную награду бенчмарка.
Архитектура также оставляет пространство для замены голов, создания собственных сцен и экспериментов с альтернативными конфигурациями камер или сенсоров. Поэтому релиз следует воспринимать не как доказательство того, что модель на 4 млрд параметров решила задачу автономного вождения, а как открытую отправную точку для проверки того, как общая VLM может поддерживать более прозрачные компоненты системы вождения. 11
18
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Qwen-Drive-1.0-4B: открытая модульная VLM для исследований автономного вождения»?
Qwen Drive 1.0 4B — открытая модель с 4 млрд параметров и лицензией Apache 2.0, построенная на мультимодальной базе Qwen3.5 4B.
Какие ключевые моменты необходимо проверить в первую очередь?
Qwen Drive 1.0 4B — открытая модель с 4 млрд параметров и лицензией Apache 2.0, построенная на мультимодальной базе Qwen3.5 4B. К общей VLM подключены отдельные модули: BEV голова для 3D восприятия и Planning Expert для прогноза траектории автомобиля.
Что мне делать дальше на практике?
Доступны режимы VQA, прямого планирования и планирования с текстовым рассуждением; опубликованные результаты — исследовательские ориентиры, а не подтверждение готовности к дорогам общего пользования.