毫末发布中国自动驾驶最大智算中心MANA OASIS 每秒浮点运算67亿亿次

2023 年 1 月 5 日，第七届 HAOMO AI DAY 在北京举办。

本届 AI DAY 上，毫末分享了 2022 年三大战役稳健收官成果，展望 2023 年全球自动驾驶发展趋势，并发布毫末技术、产品最新成果。

毫末智行智算中心「雪湖·绿洲」（MANA OASIS）重磅发布，这是中国自动驾驶行业最大智算中心，每秒浮点运算达到 67 亿亿次。有了 MANA OASIS 的加持，毫末 MANA 五大模型全新亮相升级，车端感知架构实现跨代升级，毫末的技术栈布局继续保持完整领先的态势，尤其在感知、认知等层面领跑行业，引领大模型、大算力、大数据发展方向，冲刺进入自动驾驶 3.0 时代。

产品层面，2024 年上半年，毫末城市 NOH 落地将达到 100 城，这是中国第一个可大规模落地的城市导航辅助驾驶，以重感知、大模型的技术路线及技术应用、

毫末智行 CEO 顾维灏表示，「MANA OASIS 让毫末拥有了超级计算能力，数据、算力充沛，毫末的技术产品能力将更加强大。在『MANA OASIS』加持下，毫末将冲刺进入自动驾驶 3.0 时代。」

火山引擎总裁谭待表示，「我们很荣幸与毫末智行一道在智算中心领域达成深度合作，共同推动自动驾驶智能训练平台跨越式发展，加速自动驾驶技术敏捷迭代和商业化落地。」

数据驱动是自动驾驶发展的方向与趋势，海量的产品数据、超大规模的数据训练、大模型的应用等，都对算力提出了更庞大的需求。基于火山引擎丰富的大数据积累和底层技术，MANA OASIS 实现的计算、存储、通讯能力，让数据更快速转化成知识，以实现将本增效的目的。

在数据管理能力方面，为充分发挥智算中心价值，让 GPU 持续饱和运行，毫末历经两年研发，建立了全套面向大规模训练的 Data Engine，实现了百 P 数据筛选速度提升 10 倍、百亿小文件随机读写延迟小于 500 微秒。在算力优化方面，毫末与火山引擎合作，部署了 Lego 高性能算子库、ByteCCL 通信优化能力、以及大模型训练框架。软硬一体，把算力优化到极致。在训练效率方面，基于 Sparse MoE，通过跨机共享，轻松完成千亿参数大模型训练，且百万个 Clips（毫末视频最小标注单位）训练成本只需百卡周级别，训练成本降低 100 倍。

在 MANA OASIS 的加持下，毫末 MANA 五大模型全新亮相升级，助力毫末自动驾驶高速发展：其中，视觉自监督大模型，让毫末在中国首个实现 4D Clip 的自动标注；3D 重建大模型，助力毫末做数据生成，用更低成本解决数据分布问题，提升感知效果；多模态互监督大模型，则可以完成通用障碍物的识别；动态环境大模型则进一步使用重感知技术，降低对高精地图依赖；人驾自监督认知大模型让毫末的驾驶策略更加拟人化，安全及顺畅。

首先，视频自监督大模型，让毫末 4D Clip 标注实现 100% 自动化，人工标注成本降低 98%。为了更低成本、更高效获取更多高价值数据，需要解决从离散帧自动化扩充到 Clips 形态的问题。毫末首先利用海量 videoclip，通过视频自监督方式，预训练出一个大模型，用少量人工标注好的 Clip 数据进行 Finetune（微调），训练检测跟踪模型，使得模型具备自动标注的能力；然后，将已经标注好的千万级单帧数据所对应的原始视频提取出来组织成 Clip，其中 10% 是标注帧，90% 是未标注帧，再将这些 Clip 输入到模型，完成对 90% 未标注帧的自动标注，进而实现所有单帧标注向 Clip 标注的 100% 的自动转化，同时降低 98% 的 Clip 标注成本。毫末视频自监督大模型的泛化性效果极佳，即使是在一些非常困难的场景，例如严重遮挡的骑行者，远处的小目标，恶劣的天气和光照，都能准确地完成自动标注。

其次，3D 重建大模型，让毫末实现了数据「无中生有」，获得海量 corner case（长尾场景）不再是难事。面对「完全从真实数据中积累的 corner case 困难且昂贵」的行业难题，毫末将爆火的三维重建 NeRF 技术应用在自动驾驶场景重建和数据生成中，它通过改变视角、光照、纹理材质的方法，生成高真实感数据，实现以低成本获取 normal case，生成各种高成本 corner case。3D 重建大模型生成的数据，不仅比传统的人工显式建模再渲染纹理的方法效果更好、成本更低，增加 NeRF 生成的数据后，还可将感知的错误率降低 30% 以上。

第三，多模态互监督大模型，让车辆长出「火眼金睛」，精准识别异形障碍物。在成功实现车道线和常见障碍物的精准检测后，针对城市多种异形障碍物的稳定检测问题，毫末正在思考和探索更加通用的解决方案。多模态互监督大模型引入了激光雷达作为视觉监督信号，直接使用视频数据来推理场景的通用结构表达。通用结构的检测，可以很好地补充已有的语义障碍物检测，有效提升自动驾驶系统在城市复杂工况下的通过率。

第四，动态环境大模型，可以精准预测道路的拓扑关系，让车辆始终行驶在正确的车道中。在重感知技术路线下，毫末为了将对高精地图的依赖度降到最低，面临着「道路拓扑结构实时推断」的挑战。为此，毫末在 BEV（鸟瞰图）的 feature map（特征图）基础上，以标精地图作为引导信息，使用自回归编解码网络，将 BEV 特征，解码为结构化的拓扑点序列，实现车道拓扑预测，让毫末的感知能力，能像人类一样在标准地图的导航提示下就可以实现对道路拓扑结构的实时推断。毫末认为，解决了路口问题实际就解决了大部分城市 NOH 问题，目前在保定、北京，毫末对于 85% 的路口拓扑推断准确率高达 95%。即便是非常复杂、非常不规则的路口，毫末也能准确预测。

第五，人驾自监督认知大模型，掌握高水平司机的开车技法，让驾驶决策更聪明。在探索「使用大量人驾数据，直接训练模型做出拟人化决策」方面，毫末为了让模型能够学习到高水平司机的优秀开车方法，全新引入了用户真实的接管数据，同时用 RLHF（从人类反馈中强化学习）思路先训练一个 reward model（奖励模型）来挑选出更好的驾驶决策。通过这种方式，使毫末在掉头、环岛等公认的困难场景中，通过率提升 30% 以上。这与 AGI 领域爆火的 ChatGPT 的思路相同，通过人类行为反馈来选出最优答案。

MANA 五大模型全面提升了毫末感知和认知层面系统化的底层技术能力。「在五大模型助力下，MANA 最新的车端感知架构，从过去分散的多个下游任务集成到了一起，形成一个更加端到端的架构，包括通用障碍物识别、局部路网、行为预测等任务，毫末车端感知架构实现了跨代升级。」顾维灏表示。这也意味着毫末的感知能力更强，产品力更强，向全无人驾驶加速迈进。

2023 毫末城市 NOH 大规模量产落地，2025 全面迈入全无人驾驶时代

现场顾维灏正式公布了毫末辅助驾驶产品 HPilot 的发展计划：预计到 2024 年上半年，毫末将完成 HPilot 落地中国 100 个城市的计划，实现点点互达。到 2025 年，更大规模全场景的 NOH 将更快落地，全面迈入全无人驾驶时代。

顾维灏表示，毫末城市 NOH 是中国首个可大规模量产的城市导航辅助驾驶。毫末城市 NOH 的领先性表现在：重感知技术路线领先，大模型的技术应用领先，用户闭环数据建设领先。

顾维灏在演讲最后表示：「凡是经历，皆为馈赠。毫末最为制胜的武器，是毫末同学们在一起而形成的迎难而上的创业精神，这种无敌的创业精神是我们面对挑战，取得领先，不断向前的最大法宝。毫末希望携手更多同路人，一起做更多有意义的事情。」张凯在演讲最后全新发布毫末愿景：「让机器智能移动，给生活更多美好。」这也是第七届 HAOMO AI DAY 的主题。本届 HAOMO AI DAY 所展现的信心及发布内容，在严寒冬日里，以温暖的力量，努力为行业照亮着火种。2023 年伊始，毫末将向新的三年全力迈进。