关于英伟达 L4 和物理 AI,吴新宙回应一切

Wait 5 sec.

文 | 时间线Timelines,作者 | 308,编辑 | 周易「我觉得,我们能够看到,到达 L4 或者完全自动驾驶的这条路,已经比较清晰了」。近日,恰逢北京车展,在英伟达举行的一场别开生面的媒体沟通会上,英伟达全球副总裁、汽车事业部负责人吴新宙,谈到了他本人对于当前自动驾驶发展的判断。他也引用英伟达 CEO 黄仁勋的话说:自动驾驶的 ChatGPT 时刻已经到来。那么,在这个关键节点,英伟达希望扮演什么样的角色?对于这个问题,吴新宙表示,英伟达长期以来布局自动驾驶,已经超过十年的时间;而如今,英伟达的目标是在全球范围内推动整个行业面向 L4 进行演进和落地,这也是英伟达汽车事业部的核心目标。实际上,围绕着自动驾驶,英伟达已经构建了一整套全栈的系统,其中包括底层的硬件 DRIVE Hyperion、操作系统和平台软件 Halos OS、开源模型 Alpamayo、应用 DRIVE AV 和包括 Cosmos 与 Omniverse NuRec 在内的基础设施。值得一提的是,伴随着 L4 的到来,英伟达已经推出了面向 L4 的统一车辆参考架构 DRIVE Hyperion 10,其中包括基于英伟达 DRVIE Thor 的算力平台,也包括预验证传感器供应商的通用传感器套件,还有相关符合安全认证要求的构建模块。在本次沟通会中,吴新宙表示,基于Hyperion 10 的合作,英伟达会与包括 Uber 在内一系列合作伙伴采集上百万个小时的数据,从而开放给整个自动驾驶开发生态,从而降低整个行业面向 L4 迈进的门槛。另外,在谈到英伟达的开源自动驾驶模型 Alpamayo 时,吴新宙表示,Alpamayo 也在不断进化中,目前已经进化到 1.5 版本;预计到 2026 年 6 月份的 Computex 大会上,Alpamayo 会迎来 2.0 版本。吴新宙强调,Alpamayo 2.0 将会是一个更加强大的版本。谈到下一步的发展,吴新宙表示,未来十年,对于包括英伟达在内的整个行业来说,最核心的挑战将会是物理 AI——而自动驾驶将会是物理 AI 最大规模的能够量产落地的一个场景。值得一提的是,伴随着本次北京车展的带来,英伟达也宣布了一系列与 L4 落地相关的合作,并且这一合作也在不断面向物理 AI 进行延伸。其中,德赛西威正在基于英伟达 DRIVE Hyperion 中的 DRIVE Thor 开发面向量产的智驾解决方案。同时,小马智行发布的全新一代自动驾驶域控制器也集成了 DRIVE Thor。除此之外,英伟达在车端业务的布局,也延伸到座舱 AI 领域。比如,阿里巴巴将千问-Omni 全模态大模型运行于英伟达 DRIVE 平台。而联想车计算则推出搭载了基于 DRIVE AGX Thor 的智算平台 AI Box,目标是赋能座舱 AI 助力汽车制造商部署大模型与智能体。值得一提的是,在本次车展期间,在以往双方已有合作的基础上,英伟达还宣布与奇瑞汽车合作布局物理 AI,发力辅助驾驶、座舱 AI 与机器人赛道。总体可见,在当前整个自动驾驶行业正在面向 L4 的大背景下,英伟达正持续在与自动驾驶行业相关的技术演技和生态建设等方面积极布局——而英伟达也早已经将长远的目标,瞄准了物理 AI 的发展。本次沟通会期间,吴新宙以英伟达全球副总裁、英伟达汽车事业部负责人的身份也与包括时间线 Timelines 在内的众多中国媒体进行了深入交流,其中涉及到的话题包括 L4 自动驾驶、物理 AI、下一代车载计算平台等。以下是这次沟通会谈及的主要内容,我们做了不改变原意的编辑。提问:英伟达如何看待自动驾驶行业里关于纯视觉和激光雷达的不同选择?吴新宙:我觉得,对于 L2++ 来说,激光雷达是否必要,永远是一个见仁见智的问题——你可以证明它的充分性,但无法证明它的必要性。不管是特斯拉,还是一些其他的车厂,都有选择纯视觉。大家知道,我曾经在小鹏任职,虽然小鹏是第一家引入激光雷达的车企,但我自己一直是一个比较坚定的视觉派。因为视觉的能力是非常强的,它的像素密度也比激光雷达高很多,尤其是视觉模型的上限也是非常非常高的。对于海外 L2++ 来说,也有车企是采用激光雷达的。从英伟达作为生态推动者的角度,我们不会说一定要采用或者不采用激光雷达,但是,在英伟达对于 Hyperion 的定义中,我们是不带激光雷达的。另外我们也坚定地认为,从 L3 或者 L4 的角度,激光雷达还是非常重要的一环,它可以提供传感器层面的重要冗余部分。我们也在与欧美玩家一起在寻找一个比较稳定的、在欧美能够落地的激光雷达供应商,这对于我们来说也是非常重要的。提问:英伟达如何看待一些车企自研芯片?吴新宙:我们并不反对车企自研芯片。比如特斯拉当年也在与英伟达进行了 Parker 的合作之后,就选择了自研芯片——但我们也保持了与特斯拉之间的合作。对于我们来说,更重要的是能够推动整个生态往前发展。我们不期待你们买我们所有的东西,但是我们不希望的是,你什么东西都不要我们的。我们提供了整体「三个计算机」和「五层蛋糕」的服务。我们希望所有的车厂都能够从我们的服务中受益,如果车厂受益,我们自然也会受益。在中国市场,一些新能源车企在自研芯片,那么我们也持续保持与这些车企的良好沟通。目前不管是训练,还是仿真,还是开源模型,甚至是数据,我们都有一些比较好的合作。对于我们来说,最重要的是希望看到整个业界面向 L4 前进,而不是说一定要用我们的车载芯片。提问:你如何评价你在英伟达的工作?吴新宙:我在英伟达的官方职责是负责整体的汽车事业部,汽车事业部的业务非常广泛。大家可能都多少看到一些报道,讲到是 Jensen(黄仁勋)如何管理下属,我也看到了一些,至少我看到的写得都是真的。英伟达是一个非常扁平的组织。目前我的最主要的职责是两件事情,第一是推动整个业界向 L4 的进展。第二个,就是推动我们的端到端的「给钥匙方案」整体方案的落地。我觉得这两件事情都非常非常重要。从我个人的体感来说,在英伟达工作,还是一个非常累、但是很有意思的事情。大家对我的过去可能都比较了解,也算是推动了中国自动驾驶往前发展。那么现在我有机会能够把中国的经验通过英伟达的平台去进行放大,真正有机会推动所有的车厂走向 L4。这对我来说,可能说是个人职业生涯的一个最好的助脚了,所以我在这是非常开心的。至于干得怎么样呢,我觉得还有点言之过早,可以再过一两年再看。提问:对于其他玩家也在英伟达平台部署自己的算法,你怎么看?吴新宙:英伟达是一个生态玩家,我们会尽量帮助所有里的参与者走向全自动驾驶。对于英伟达说,首先我们不可能、也没有这样的野心去把控所有东西。我觉得这个不是生态玩家的一个好的方法。我们也希望在这条路上有更多的成功者。刚才提到,我们有三个计算机的说法。一个玩家,哪怕不用我们的车端推理计算机,也还是要用我们云端的训练计算机和仿真计算机。除了推动自动驾驶发展之外,对于英伟达整个公司来说,我们也是整个世界的 AI 基础设施企业。我们希望 AI 能够尽快发展,AI 走得越远,玩家越多,英伟达的收益就越大。这两者并不矛盾。提问:业内有人认为未来需要 5000 TOPS 的算力,英伟达对于下一代车端算力的思考是什么?吴新宙:很多事情能够证明它的充分性,但是很难证明它的必要性。从英伟达的角度,我们对大算力是乐见其成的,当然也很难去判断未来到底需要什么样的算力,但其实,我们对下一代芯片的设计也在往这个量级去走。从车端的角度,有很多方面对算力都有倍增的要求。第一个是传感器的像素和分辨率,现在大家用 800 万像素的,未来的话可能还有更高像素的摄像头出来。为什么要更高像素?可以看得更远、更安全。第二是帧率,目前业内常用的是 10 帧,对于一个好的系统体验来说,这是勉勉强强的,要把安全率做得更好的话,希望能够有更高的帧率,30 帧可能会更好。第三个就是在推理里有多少帧数,帧数越长,说明长时序推理、长期记忆的能力更强,这对于长尾问题的理解还是非常有帮助的。这三个维度都决定了算力倍增的需求,我们现在的算力还是在一个勉勉强强的状态。但是从市场角度来说,要控制成本,而且目前车端还现在没有一个 5000 TOPS 的芯片。接下来就是希望通过我们的能力,在不增加成本、不提升功耗的情况下,能够把算力能够往上提,从而让车的能力越来越强——这个过程会在什么时候结束,我并不确定。我只能告诉你的是,我们下一代的芯片正在往那个方向去,而 Elon(马斯克)也是在往那个方向走去。提问:黄仁勋对于自动驾驶的执念和目标是什么?吴新宙:在 Jensen 的蓝图里,物理 AI 是非常重要的。未来,我相信 AI 和物理 AI 它一定可以推动 GDP 十倍百倍的增长。我在不同场合说过,生成式 AI、后面的 Agentic AI 和物理 AI 一定会推动第四次工业革命,它会导致整个的生产力进行一个指数级的增长,对人类社会会产生非常深刻的影响。对于我们公司来说,在 Jensen 的整体战略布局中,下一步整个公司就是要把物理 AI 做好。他很早就看到了自动驾驶,恰恰是物理 AI 中可能相对来说是比较容易实现的一件事,也是真正可以大规模量产的一件事。所以 Jensen 的执念来自于他对未来的非常清晰的理解,这也是 Jensen 最强的地方,能够把 英伟达从从一个显卡公司一步一步做成今天作为整个世界 AI 发展的推手。所以我觉得,谈到自动驾驶和物理 AI,说是一个执念我觉得是小看了 Jensen,本质上是对他在十年前就对未来世界演进的非常清晰的判断。提问:到 2026 年,很多人都去做机器人了,那么自动驾驶的实现还是一个非常值得追寻的目标吗?吴新宙:我觉得,不管机器人也好,无人驾驶也好,都是物理 AI 非常重要的一部分。很多事情,其实大家有可能会小看最后一步的的重要性,其实也很难讲,现在是不是真的到最后一步了,其实现在只是觉得非常接近。对我来说,能够有机会在英伟达这样一个平台去推动全球所有的车厂往这个方向走,这是一个非常非常有使命感的东西。我也希望将这种使命感至少再传递给我的团队。本质上英伟达还是一个生态生态玩家,没有谁是真正我们的竞争对手。说实话,我们还是希望大家一起成功。目前只能说,自动驾驶这个事情还非常有意义,但机器人也非常重要。目前机器人的发展,还是中国这边更热闹一些,我觉得还是让人非常激动的。也可以理解,大家现在真的是感觉到像是回到了十年前新能源车企的状态——现在做人形机器人的就 100 多家。无论如何,这都是大家的选择。当然我们后面也有机器人,机器人对我们来说也是非常看好的一个方向,不管是做什么,大家都是在为第四次工业革命的发生做自己的贡献。提问:你如何看待座舱大模型与自动驾驶的融合?吴新宙:回到那个物理 AI 的话题,车本身就是机器人。未来,车里也不太需要有两个大脑,不管是跟人的交互的部分,还是自动驾驶的部分,未来的 AI 一定会往一个更加集成的方向去发展。当然,它并不一定是座舱和自动驾驶会用一个芯片,但是 AI 部分可能会有一些包括硬件上的共享。为什么它们不一定是一个芯片呢?因为对安全的这个要求很不一样,有时候的话可能会给开发带来一些不便,这也是我们跟 MTK 合作的一个重要出发点。未来来看,我相信双方的能力上会有一些共享,甚至对于大模型来说,它可能是跑在自动驾驶这个芯片上,它有个人交互能力,有大语言模型能力,跟云端的更大模型的配合的能力。我觉得今年,大家已经看到了一些方向,也在往这个方向走,接下来可能还是非常值得期待的。提问:你如何看待世界模型与自动驾驶的结合点?吴新宙:其实在 Alpamayo 2.0 里,接下来感知的演进会往世界模型的方向去走。世界模型可能也是自动驾驶最本质的一环,它会通过物理世界的演进来决定接下来怎么做。特别是在 L3、L4 的架构里,我觉得 VLA 和世界模型可能是并存的,会把两边的能力都能够用起来,真正做好冗余,把类人的价值感和最高的安全性都能够做好。提问:业内有人说可以直接跳过 L3 奔向 L4,你怎么看?吴新宙:目前,从技术瓶颈上来说,我觉得现在看不到 L3 和 L4 之间一个很大的技术卡点——这也是机器人能够起来的原因,机器人当然比汽车复杂很多,但随着大模型,不管是大语言模型或推理能力的产生,基本上把原来大的技术问题都解决了。对于自动驾驶来说,它是一个系统工程,需要软硬件支持,也需要很高的安全性,它更多是一个工程量很大的东西。这也是去年推理型的大模型出来之后我们要说「自动驾驶的 ChatGPT 时刻已经到来」的原因。我们看到,不管是中国还是美国,整体相当于 L4 的这种能力已经出现了,Waymo 已经在那里。所以,从某种角度上来讲,技术上并没有看到卡点。那么 L3 是不是要跳过,我觉得也是见仁见智的问题。刚才我也提到,L3 和 L4 之间的技术难度差别并不大。因为 L3 要求驾驶员在十秒钟接管,十秒钟会发生很多事情,车辆在出现问题的 10 秒钟内也是需要承担责任的,所以十秒与六十秒并没有一个巨大的差别。对于普通用户来说,提供 L3 的能力,并不是一个坏的选择,尤其是在高速上。因为在 L3 状态下,司机不能睡觉,不能打瞌睡,但是可以玩手机。而对于很多人来说,玩手机是刚需的。所以我觉得如果出现一个中间型产品,不管是在中国还是美国,都有车厂在往 L3 方向走,比如先解决高速 L3 的问题。这其实是对人类时间的解放,也是蛮好的一个能力。但是对于一个 L4 汽车来说,它还是需要运营的东西。为什么?因为 L4 有时候还是会卡住,所以在云端的远程操控能力还是很重要的。对于普通消费者的车辆来说,每辆车配上远程操控其实并不是一件很简单的事情,相反,对于 Robotaxi 来说,比如说 Uber 或者 Waymo,它们来做这个事情,然后在一些 ODD 范围内,我觉得可能性更高。因此,至少比较短的时间线来说,L3 是有价值的,而 L4 也没有那么容易实现;它们二者有可能还是并存的状态——所以到底会发生什么,时间会告诉我们答案。更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App