2023 年，几乎 AI 的每个领域都在以前所未有的速度进化，同时，AI 也在不断地推动着具身智能、自动驾驶等关键赛道的技术边界。 多模态趋势下，Transformer 作为 AI 大模型主流架构的局面是否会撼动？为何探索基于 MoE （专家混合）架构的大模型成为业内新趋势？大型视觉模型 （LVM）能否成为通用视觉的新突破？… 我们从过去的半年发布的 2023 年机器之心 PRO 会员通讯中，挑选了 10 份针对以上领域技术趋势、产业变革进行深入剖析的专题解读，助您在新的一年里为大展宏图做好准备。
专题解读 MLLM：下一代自动驾驶的新解法
2、自动驾驶的目标是通过大量数据收集和深度学习，解决驾驶能力的局限性。然而，由于数据收集和注释的高成本，以及模拟环境和现实世界环境之间的固有差异。在这种情况下，通过有效地利用大语言模型中内嵌的天生常识，可能会逐渐缩小这一差距。逐步增强自动驾驶系统的能力，使其更接近或可能达到理想的专家级驾驶熟练度。
图：LLMs 在自动驾驶领域的应用
4、视觉-语言模型（VLMs）在自动驾驶领域也有了越来越多的尝试。通过集成语言数据，车辆和交通系统能够更深入地理解现实世界环境，提高驾驶安全性和效率。今年 9 月，伦敦的自动驾驶 Wayve 提出了基于视觉-语言-动作模型（VLAM）开发的自动驾驶交互模型 LINGO-1，LINGO-1 基于各种视觉和语言数据源上训练所得，能够执行视觉问答（VQA）任务，并且能对驾驶行为和推理进行描述。VLAM 是 Wayve 在视觉语言模型（VLM）基础上的进一步探索。
5、近期，多模态大型语言模型（MLLMs）成为研究热点。MLLMs 结合了如 ChatGPT、InstructGPT 等大型语言模型的能力，能够处理文本和图像等多种模态的任务。MLLMs 的关键技术和应用包括多模态指令调整、多模态上下文学习、多模态思维链，以及 LLM 辅助视觉推理等。相比于 LLMs，MLLMs 更符合人类的感知方式，能提供更友好的界面和更广泛的任务支持。
自动驾驶是「具身智能」 重要落地场景
2、具身智能「大脑」包括算法驱动、基于 VLM（Visual-Language Model）理解信息等特点，具身智能「大脑」的决策感知体系和人类相似，都是基于图片转文本，再 Token 化理解。
3、自动驾驶是「具身智能」 重要落地场景之一。具身智能机器人「大脑」在一定程度上和自动驾驶相似，在开放场景和路径规划上具有一定的迁移性。同时，具身智能机器人和自动驾驶的技术在算法层面也是相通的。
4、近期…
2、规划和控制方面
3、安全性和可解释性方面
4、控制器参数微调
……
完整版专题解读「MLLM：下一代自动驾驶的新解法」已上架至机器之心Pro会员收件箱。新用户订阅限时特惠，单期低至 2.99 元！
-
Step 1：关注「机器之心PRO 会员」服务号 -
Step 2：进入服务号，点击菜单栏「收件箱」 -
Step 3：进入「收件箱」，点击「参考」板块，畅读往期所有专题解读
相关文章
