全面解读特斯拉自动驾驶芯片：一场蓄谋已久的进攻

时间4月23日凌晨2：40左右，发布了自动驾驶芯片。

这是Autopilot（以下称AP）迄今为止取得的最大的技术突破，但另一方面，自动驾驶事关行车安全，我们每个人都应该保持足够的理性和克制，谨慎分析。AP的技术架构、发展策略是如此的独特，它的种种策略到今天仍然充满了争议。因此，本文将分为对、对行业、对用户三大部分展开。

其中涉及技术架构的部分可能稍显晦涩，但如果你是车主，仍然强烈建议你去尝试理解。对于车主来说，用户体验是最重要的。但技术架构是促成用户体验的顶层设计，

了解技术架构能帮助你更好的理解这套系统的潜力和短板所在。

（如果你实在读不下去，请直接拉到最后看对用户篇）

对于来说，AP最终达成了Elon想达成的目标。正如文章开头所说，这是自2014年10月AP诞生以来，取得的最大的技术突破。

有充分的证据表明，英伟达DrivePX2芯片之于AP自始至终都是一个过渡角色。

2015年11月20日深夜，ElonMusk连发数条Twitter在线招人。

那可能是他第一次提到，AP团队的目标是实现自动驾驶，而加入AP团队的员工将由他本人亲自面试。除了AP团队直接向他汇报，所谓Thisisasuperhighpriority.

一个月后，顶级芯片大神JimKeller及其团队集体加入，Keller出任AP硬件副，AP芯片研发团队成立。

10个月后量产的AP2.0车型，在设计之初就考虑了中央计算芯片可插拨，便于后期升级。

对来说，以自主研发的自动驾驶芯片驱动完全是「蓄谋已久」。

为什么要自行设计研发自动驾驶芯片？JimKeller给过一段解释：在技术变革方面，我们正处于AI革命之中。AI的计算方式和经典的标量计算、矢量计算、图形计算都不一样，可以说差别巨大，应用非常广泛。

每当有这样变革的时候，尤其是从硬件到顶层软件堆栈都在变革，就会有大量的人投身其中。

有一点是不变的，高端处理器的设计非常难做。将无数模块组合成差异化的、高价值的处理器非常难做。你看看现在的半导体行业，有些是来自大公司的标准产品，有些是自主设计的定制芯片。但不变的是，

超级困难的挑战需要真正的专家来解决。

在ElonMusk看来，计算机视觉+AI+海量真实数据，是AI技术在行业最艰难也最具想象力的应用场景。

就像JimKeller所说，AI需要从软件到硬件底层设计全面的变革。

这就是最初的动机，今天，实现了这块芯片的量产。

下面先来介绍一下芯片本身。

这块芯片以260平方毫米的规格堆下了60亿个晶体管和2.5亿个逻辑门，峰值性能达到36.8TOPS，采用三星14nmFinFETCMOS工艺制造。

芯片搭载了频率为4.266GHz/s的LPDDR4RAM，峰值带宽为68GB/S，此外，还在芯片上集成了一个24位通道的ISP，支持高级色调映射和高级降噪。

除此之外，这块主板上还搭载了两块主频2GHz的神经网络加速器（互为冗余），拥有32MB的SRAM和96×96的阵列，数据处理速度1TB/s。

图形芯片方面，该芯片支持32和64位浮点处理的图形芯片。同时植入了12个主频2.2Ghz的64位CPU。

芯片具备一个独立安全芯片和H.265解码器。

最后，主芯片功耗仅为75W，整个主板功耗250W，意味着每行驶4小时，芯片会消耗1度电。

你可能想知道Mobileye性能最强的量产芯片EyeQ4和英伟达性能最强的量产芯片DrivePX2芯片跟自动驾驶芯片比，是什么水平？

首先，MobileyeEyeQ4主要被用作感知芯片，定位不同，性能峰值仅为2.5TOPS。所以，略。

关于DrivePX2，官方有一张PPT做对比。芯片的处理速度达到2300帧/s，是DrivePX2的110帧/s的21倍。在另一项对比中，Elon提到芯片的性能是英伟达下一代自动驾驶芯片DriveXavier的7倍。

但在我看来，这样毫不留情地欺负前芯片供应商英伟达并不合适。

虽然两者都定位自动驾驶中央计算芯片，但从芯片架构来看，芯片已经向图像处理和AI计算全面倾斜，而英伟达两代芯片仍然是以GPU为核心的自动驾驶芯片。这使得英伟达在图像处理对比中会处于劣势。

无论是超强的图像处理能力还是为AI设置的神经网络加速器，都决定了这块芯片与AP2.0定义的8颗不同视距、规格的摄像头感知、TeslaVision深度神经网络视觉处理工具强强绑定。

这是一颗AP专用芯片，只有AP能释放它最大的性能。

下面我们说说它好在哪里。

首先自然是算力大增推动的全车8颗摄像头火力全开了。早在2018年Q2会议上，AI总监AndrewKarpathy明确说过，AP跑大型神经网络表现非常好，但是因为算力限制，目前还无法部署到车端。

在发布会上提到，新芯片每块加速器都支持8颗摄像头以2100帧/s的速度输入图像，每颗摄像头都是全景全分辨率输入。

其次，我们已经看到了双神经网络加速器，除此之外，还设计了冗余电源、冗余计算，在Model3上，预埋了冗余和转向冗余。

实现自动驾驶硬件冗余所需除了感知，其余的电源、定位、计算、控制、执行冗余，由此得以全部实现。

另外一个与自动驾驶强相关的功能是

CPU容错（Lockstep）设计，主板运行时两套相同的硬件将同时处理相同的数据，强制执行不同芯片、内存间的时序相同，确保它们在同一时刻处理完全相同的数据，以此来保证自动驾驶过程中的低时延特性。

这对高速行车场景下的自动驾驶至关重要。

即便出现软件Bug错误或硬件故障，系统也能在不损失数据的前提下不间断运行。

Elon对冗余容错设计的评价是：任何一部分都可能失效，但将继续行驶，这块计算芯片运行失败的可能性远低于驾驶过程中司机失去意识的可能性，至少低一个数量级。

最后是独立安全芯片设计，该芯片将以加密的方式主动检查所有指令和数据，以监控黑客攻击自动驾驶的可能性。

安全芯片将读取输入和输出数据，观察任何可疑的感知信息，包括欺骗性的视觉信息（例如以假人欺骗前方有行人）调整决策和控制。

整体来说，这块芯片完全实现了，主要是Elon本人的设计需求。Elon在发布会上给予了极高评价：

HowcoulditbethatTesla,whohasneverdesignedachipbefore,woulddesignthebestchipintheworld?Butthatisobjectivelywhathasoccurred.Notbestbyasmallmargin,bestbyabigmargin.从没做过芯片的，怎么可能设计出世界上最好的芯片呢？但这是一个客观事实。不是比最好的芯片好一点儿，是好一大截。

Pete和Karparthy也被Elon称为世界上最好的芯片架构师和世界上最好的计算机视觉科学家。

2018年8月，AP团队三位高管突然亮相Q2财报会议，Elon让AP团队做了财报会议的主角。这么做的原因在今天被揭开：2018年8月，测试了第一批AP3.0车型，取得了很好的运行效果。在过去的几个月，一直在对AP3.0进行测试。

因此，1.0到2.0的体验断崖式下跌的情况在2.5到3.0的过渡时不复存在。

AP3.0版本的ModelS/X和Model3已经分别于3月20日和4月12日量产。

另外，下一代自动驾驶芯片，HW4.0主芯片的研发已于一年前启动。预计将在未来两年内实现量产，性能将比3.0芯片好3倍。

对行业我们来重新审视一下AP2.0传感器套件。

3个前置摄像头（广角（60米）、长焦（250米）、中距（150米））

2个侧方前视摄像头（80米）

2个侧方后视摄像头（100米）

1个后视摄像头（50米）

12个超声波传感器（探测距离/精度翻倍）

1个增强版前置雷达（160米）

没有激光雷达，一颗都没有。

在今天的发布会上，Elon接受投资人提问时再次表明了他对激光雷达的态度。

Lidarisafool’serrand,Anyonerelyingonlidarisdoomed.Doomed![Theyare]expensivesensorsthatareunnecessary.激光雷达是徒劳的，任何依赖激光雷达的公司都注定要失败的。注定！它们是昂贵的、不必要的传感器。

相对CEO纯粹的排斥，AI高级总监AndrejKarparthy给出了一些更让人信服的解释。Karparthy认为，世界是为视觉识别而构建的，激光雷达很难分辨塑料袋和的区别，而大规模神经网络训练和视觉识别对自动驾驶来说是必不可少的。

你并没有从眼中射出激光来看到这儿。从这个意义上说，激光雷达确实是一个捷径。

它回避了基本问题，视觉识别的重要问题

这是实现自动驾驶所必需的。

它给人一种进步的错觉，最终是一根拐杖。它确实提供了非常快的演示。

不同公司在技术路线上会有一些差异。早期的自动驾驶公司感知以激光雷达为中心，如今大多以多传感器融合为主，也有少数公司以计算机视觉为主。

但这个世界上所有的自动驾驶创业公司+大公司，没有一家实现自动驾驶完全不用激光雷达，除了。

一种合理的猜测是，激光雷达成本居高不下，出于商业考量未选择激光雷达。实际上，上文中Karparthy的分析已经能代表AP团队的态度。还有另外一些证据表明，不喜欢激光雷达完全是出于技术层面的差异。

首先，不止一次被拍到使用激光雷达进行测试，Elon今天也提到，他并不是讨厌激光雷达。SpaceX团队自主研发了激光雷达，但对于，激光雷达是昂贵且不必要的传感器。

其次，在这之前，Elon已经解释过弃用激光雷达的原因。在成本之前，首先是感知融合的技术路线错误。

如果你坚持极为复杂的神经网络技术路线，做到了非常先进的图像识别技术，那么我认为你最大化地解决了问题。然后你需要把它和日趋复杂的雷达信息融合，如果你选择了波长在400nm-700nm的范围内的主动质子发生器，其实是很愚蠢的，因为你被动地做到了这一点。你最终会尝试在大约4毫米的雷达频率上主动发出质子，因为（该频率）可以穿透障碍物，你可以透过雪、雨、灰尘、雾……其他任何东西“看”清前方路况。令人费解的是，一些公司会用错误的波长来做主动质子发生系统。它们给武装了一大堆昂贵设备，让变得昂贵、丑陋也不必要。我觉得它们最终会自己在竞争中陷入劣势。

这是和整个行业的分歧。下一个问题是，摄像头能扮演核心传感器的角色吗？

在这个问题上，总算能和行业保持一致了。

在所有传感器中，摄像头拥有最丰富的线性密度，其数据量远超其他类型的传感器。一个行业共识是，

基于视觉的感知在整个自动驾驶体系中的重要性正在持续提升。

基于图像信息密度最高的优势，使得它处于整个感知融合的中心地位。

事实上，完全基于视觉来解决无人车的路况感知问题是可行的，但是还有很长的路要走，自动驾驶的发展过程应该是一个视觉逐步替代高端激光雷达的过程。

所以，与行业的真正分歧在于，行业普遍认可视觉潜力巨大，激光雷达也许有一天会退出历史舞台，但今天的计算机视觉和AI发展发展成熟度绝无可能独立完成感知。而Elon从第一性原理出发认为，激光雷达的加入会让技术路线误入歧途，所有人的终极目标都是摄像头实现感知。

的底气来自跑在全球各地的42.5万辆AP2.+车型。MIT按照公布的交付量、平均行驶和AP启动状态下行驶计算，到2019年，累计路测数据已经达到4.8亿英里，到2020年（估算）将突破15亿英里。按照Elon的说法，

路测数据占全行业总路测数据的99%。

此前被广泛质疑的一点是：在全车8颗摄像头全部开启参与感知后，每个月上传数据消耗流量平均仅为1-3GB，这个规模看起来很难说在进行真正有效的数据采集。

在今天的发布会上，Karparthy解释了这一问题。对于来说，最大的优势也是最大挑战来自于对海量真实数据的处理，在早期进行短暂的人工标注（labeling）后，很快大量的障碍物识别都改为本地机器自动标注提升识别率。

只有出现摄像头完全无法理解或引起混乱的图像，才会上传到云端，由工程师进行标注，导入神经网络进行训练，直到神经网络掌握对该场景的识别。

其次，全球各地不同国家有着完全不同的路况、交规、暴雨、冰雹、大雾、甚至洪水、火灾、火山等罕见的长尾场景。每一次AP启用状态下的人为介入接管，系统都会记录下该场景的信息和数据，并自行学习人类的决策和驾驶行为。

Karparthy特别提到，真实行车场景下的路况数据无法替代。对于竞品公司广泛采取的模拟器训练解决数据匮乏问题的做法，用两句话回应：

一个细节堪比真实世界的模拟器本身会比自动驾驶系统的设计难度更大；使用模拟器改进，就像自己改自己的作业，提升有限。

对于这个行业来说，手握全球最大规模的自动驾驶车队，开始计算机视觉+AI（软硬件）+海量真实数据的探索。时至今日，CruiseCOODanielKan对AP团队的评价仍然最为精准：

对用户在发布会后半段，对一些问题做出了解释。比如，AP运行状态下的最小跟车距离大概在3米左右，在中国堵车场景下这样的距离给侧方车辆强行并道提供了足够的空间。

提到了影子模式机制，即每一次此类场景下驾驶员接管加速靠近前车，系统都会记录下驾驶员的驾驶行为，上传到云端。当同一行为比例足够高的时候，神经网络的决策机制就会发生变化，并被推送给成千上万的用户。

所以，在不远的将来，AP一定会越来越好用，不断接近自动驾驶。但作为用户的你都要在任何时候都要明白，

在官方承诺全自动驾驶技术实现之前，无论系统多么好用，它都不是自动驾驶。

Elon在发布会上提到，AP在第一阶段的自动驾驶，仍然强制要求乘客坐在驾驶位上关注前方路况。听起来是不是非常矛盾？

在此前接受ArkCapital采访时，Elon做了更详细的说明。

到今年年底，将会功能性实现（FeatureComplete）自动驾驶。功能性实现的意思是，车辆能从停车场驶出找到你，接上你并把你送到目的地，这个过程中你需要注意路况并有极小的概率需要在适当的时候接管车辆，但在大多数时候根本无需驾驶员介入。

人们认为这是100%零失误的全自动驾驶，不需要任何人类监管，实际上并不是这样的。

功能性实现自动驾驶的可以应对99.9999%的场景，但在那之后需要增加更多的9。

也明确说明，在某些极端场景，如暴雨、冰雹、大雾之类的恶劣天气下，自动驾驶系统存在停止运行的风险。事实上在系统停止运行，驾驶员接管后，系统会进行学习或以镜子模式收集信息和数据。

所以，我们完全无意讨论Elon在最后放飞环节提到2020年的100万辆Robo-Taxi自动驾驶车队打车服务。真正值得关注的问题是，在车队、芯片、算法先后到位后，Autopilot从去年的完全不可用，到如今具备主流竞争力的L2，正在快速向L4逼近。

可能是全球第一家需要跟国家级监管机构谈判大规模投放自动驾驶车队的公司。

这背后需要全体AP2.+车主正确理解系统的边界，按照用户说明书使用系统。不要让技术的进步以悲剧为代价。

2016年初启动，2019年中量产。AP芯片发布后，本质上已经拼上了最后一块关键的版图。

一图总结未来十年核心竞争力。