丰色 发自 凹非寺量子位 | 公众号 QbitAI

马斯克最新直播的端到端自动驾驶：特斯拉FSD V12，是如何炼成的？传记作家Walter Isaacson在他即将出版的《Elon Musk》中，提前剧透了一部分内容。

据介绍，为了实现完全神经网络而非代码控制，该系统每天从特斯拉车队获取约1600亿帧视频用于训练。但其中最有用的视频只有不到1%，比如一些奇怪和异常繁忙的十字路口数据。马斯克称，他们设想的这个神经网络必须接受至少100万个视频训练才能work。而到今年年初，FSD V12已完成了1000万个视频分析。

除了这些数字，在实际开发过程中，马斯克也设立了一些特别的管理办法。例如，据书中描写，团队成员们所在工区装有一个85英寸的巨大监视屏，会实时显示汽车在没有干预的状态下行驶了多少英里。老马就让员工通过观看数字的刷新产生动力。更有意思的是，他还给大伙搞了一面锣，工程师们每解决掉一个干预问题，就必须去敲一把。

那么，特斯拉FSD V12背后的开发故事究竟是怎样的？我们这就来看。每天获取1600亿帧视频训练在FSD v12之前，特斯拉的自动驾驶系统一直依赖于规则判断。即先靠汽车的摄像头识别车道、行人、车辆、标志和交通信号灯等，然后通过特斯拉工程师们手动编写的数十万行C++代码来应对各种情况，比如红灯停、绿灯行、在没有足够快的车辆冲撞时才通过十字路口等等。任何一个行为都有规则和条件判断代码。但现在，作为特斯拉自动驾驶系统最重要的一次升级，FSD v12只是通过分析数十亿帧人类如何驾驶汽车的视频自学了驾驶。马斯克是从8个月前开始让员工们全力投入这一新方法的。

在团队中的一位年轻工程师Dhaval Shroff看来：这就像ChatGPT的训练，但针对的是汽车。那么，要经过多少训练，他们设想的这个神经网络才能正常工作呢？答案是至少100万个视频片段。对此，马斯克表示问题不大：我们拥有天然的优势。相比其他汽车厂商和AI公司，特斯拉在全球各地总共拥有近200万车队，可以每天收集驾驶片段。书中也披露，特斯拉每天从该车队中获取约1600亿帧视频用于训练。不过，马斯克在推特回应：管理这么多数据太困难了，其实大多数最终都被丢掉。重要的是那些占比不到1%的稀有视频，比如一些奇怪或者车流量异常大的十字路口数据。

但不管怎么说，今年年初的时候，V12的神经网络规划器就已经完成了1000万个视频片段的分析。一个问题是：由于它全部模仿人类，是不是只能达到人类驾驶员的平均水平？对此，年轻工程师Dhaval Shroff告诉大家：并不，因为特斯拉只使用人类好好处理情况时的数据。因此，数据标注员的工作功不可没。在纽约州的“水牛城”布法罗，他们被马斯克告知：寻找一些“五星级优步司机”的行为。“没有分数的电子游戏很无聊”在V12的开发过程中，马斯克经常去往特斯拉总部、直入一线工作区，和工程师们来一些即兴讨论。按照书中的描写，是跪在他们旁边。

值得一提的是，由于马斯克坚信“永远不应该使用巡航导弹来杀死苍蝇、苍蝇拍即可”，所以他也产生过质疑：我们是否真的需要神经网络？会不会有点过？团队用神经网络比代码法效果更好的例子，打消了他的“杂念”。在那场演示中，道路上散落着各种垃圾、被放倒的锥形等等障碍，神经网络规划器顺利引导汽车绕过它们、越过车道线并在必要时违反一些规则实现成功穿越。员工一边演示一边告诉马斯克：从代码法转向神经网络后，即使在非结构化环境中，汽车也永远不会发生碰撞。这让老马很是满意，并产生了一些“007式”幻想：炸弹在四面八方爆炸，不明飞行物从天而降，而汽车却疾驰而过，没有撞到任何东西。

正如 “没有分数的电子游戏很无聊”，为了激励员工，马斯克还给大伙儿设立了一个指标：全自动驾驶模式下，车在没有人类干预的情况下行驶的英里数。马斯克希望员工每天观看这一指标，看它不断刷新，产生动力。因此，大家工作的区域安装了一块85英寸的巨型监视器，实时显示里程数。而每产生了一个干预事件，员工就要去解决问题根源，解决掉之后，他们还必须去敲锣以示祝贺。这个锣也安装在办公桌附近。可以说是相当独特的一个管理办法了。只待监管批准后发布V12进展飞速。

今年4月中旬，马斯克就首次测试了该系统。随行的是特斯拉自动驾驶软件总监Ashok Elluswamy，以及后排也坐满了三名团队成员。老马双手移开方向盘，从地图上选好了目的停车场，从特斯拉总部办公大楼出发。测试全程25分钟，历经快速路和社区街道，遇到了复杂转弯，也包括自行车、行人和宠物。结果是除了几次他认为车辆过于谨慎之时进行了干预，全程都没碰过方向盘。马斯克称，甚至有一次，系统产生了比他还要好的处理方法。

这次测试后的Autopilot例行周会上， 20名几乎都穿着黑色T恤的工程师围坐在会议桌旁聆听裁决。最终，马斯克宣布，他相信未来就是该方法的天下，特斯拉应该动用资源来推动这一计划的发展。然后，故事就是四个月后，马斯克正式对外宣布了FSD V12，它将取代旧方法。而眼下，就等监管机构批准后就可立即发布了（可能是今年年底，也可能是明年）。只不过，有一个问题需要监管机构好好考虑：新的FSD V12完全是通过模仿人类进行驾驶，但人类驾驶员，即使是最优秀的那种，有时也会篡改交通规则。我们应该允许自动驾驶汽车也这样做吗？One More Thing关于马斯克要造一辆只售25000美元（约合人民币18万元）特斯拉汽车的消息传了很久。在这本传记中，作者终于带来了一点新消息，那就是它将采用类似赛博皮卡的外形设计。

另外，自动驾驶出租车也仍在马斯克的愿景之列。马斯克透露：它的诞生，会让特斯拉价值直接通往十万亿美元之列。