深度揭秘OPPO自研影像专用NPUAI能效比暴涨40倍，秀四

　　芯东西（公众号：aichip001）
　　作者云鹏
　　编辑心缘
　　如今，自研芯片已经成为科技巨头们的兵家必争之地，通过芯片自研实现人无我有的产品特性，或许才能在内卷严重的市场中杀出一条路，对于手机行业来说，这一需求尤为迫切。
　　就在今天的OPPO未来科技大会上，OPPO带来了自家首个影像专用NPU芯片马里亚纳MariSiliconX。
　　该芯片基于DSA架构和台积电先进6nm工艺制造，通过AI算力与算法的结合，在高分辨、高色数无损成像、AI算法和HDR动态范围等方面，将手机计算影像的表现推上了一个新的台阶。
　　4K20bitRAWAIUltraHDR的影像能力第一次被带到了移动设备上。
　　今天发布的这个马里亚纳X将作为影像专用NPU，与手机SoC一起构成手机核心运算的左右大脑，OPPO将这种设计称之为一机双芯。
　　OPPO如何实现这枚影像专用NPU与SoC的高效协同，在AI性能方面取得突破性提升？他们又是如何将这样一款自研芯片从图纸上做到手机里？通过深挖马里亚纳X的核心技术及研发历程，我们试图瞥见OPPO芯片版图一隅。
　　一、影像NPU到底是什么？一机双芯时代已经到来
　　提及手机自研芯片，苹果的A系列芯片一直在性能侧引领着行业，随着M1系列移动芯片的落地，整个科技行业都愈发强烈地感受到了自研芯片能够给产品带来的强大优势。
　　目前高通、联发科等主流芯片厂商的通用移动SoC性能随着工艺、架构、算法的提升，都有显著提升，但即便如此，智能手机厂商们依然在近几年积极布局自研芯片。
　　事实上，通用芯片为了保证更好的适用性，势必会做出一定的平衡取舍，每家厂商的产品其实都会根据产品特性，对于某方面性能有着更专用的需求，此时通用芯片就有些力不从心。
　　想要做出人无我有的独特产品优势，光靠吃通用芯片大锅饭是不够的。
　　一直以来，OPPO的智能手机产品都非常注重影像能力，计算摄影时代，手机影像能力的提升需要强大AI算力的支持，通用芯片已经无法满足计算影像对芯片提出的AI算力和能效要求。
　　OPPO要实现自己的影像目标，就必须需要通过自研专用NPU的形式，最大化地解决算力和能效的问题，这也是OPPO要做马里亚纳X的根本原因。
　　为此，OPPO做出了全球首个专门为手机影像打造的专用NPU。
　　马里亚纳X芯片实拍图
　　AI计算涉及大量的神经网络模型，而NPU（神经网络处理器）也就应运而生，相比传统CPU和GPU，专门针对神经网络计算进行特殊优化设计的NPU，在处理AI任务时，性能和能效比都会高很多。
　　需要特别注意的是，虽然现在主流移动SoC中都有设计ISP模块，但ISP的主要作用是对于传感器采集到的图像信息进行处理，而并不具备马里亚纳X这样的强劲AI性能，这也是影像专用NPU区别于ISP的重要一点。
　　在OPPO看来，通过影像专用NPU这种专芯专用的方式，才能解决目前ISP和通用芯片算力不足的难题，这将是未来手机计算影像发展的主流方向。
　　得益于马里亚纳X芯片的加入，OPPO首次完成了影像链路的垂直整合，马里亚纳X将通用平台、图像传感器和影像算法三者整合贯通，实现软硬件生态的打通。
　　二、AI能效比暴涨40倍，影像四大核心领域关键突破
　　作为一个影像专用NPU，马里亚纳X主要在AI计算能效、UltraHDR、实时RAW计算、RGBWPRO四个关键技术领域实现了突破，其中AI能效比表现尤其突出。
　　苹果一直被认为是手机AI算力领域的天花板，而这次马里亚纳X，其18TOPS的AI算力已经可以比肩苹果A15，而在峰值算力强劲的同时，实现较好的能效比才是关键，这一点在手机这类移动设备上显得尤为重要。
　　马里亚纳X能够实现11。6TOPSW的能效比。值得一提的是，该结果是基于真实落地商用的复杂AI算法和随机生成图片得来，实际上，如果基于现实世界的人像、风景等真实图片进行处理，马里亚纳X的能效比还会更高。
　　为了更直观的感受这一能效比，OPPO也将搭载马里亚纳X的机型与搭载骁龙888的FindX3Pro进行了对比，能够发现，马里亚纳X运行OPPO自研AI降噪模型的性能可以达到40FPS，大约是OPPOFindX3的20倍。
　　而在此基础上，马里亚纳X的功耗仅有800毫瓦，仅为OPPOFindX3上骁龙888的一半，因此能效比达到了40倍。
　　要知道，应用在视频拍摄中，最低性能门槛也要有30FPS，可以说，马里亚纳X让算法在视频端的应用从不可能变为了可能。
　　基于这样的AI性能及高能效比，马里亚纳X在手机影像领域实现了诸多突破。
　　比如在成像的动态范围方面，马里亚纳X最高能够支持20bitUltraHDR成像、覆盖100万：1的最大亮度范围，这样的能力已经媲美人眼级，也是目前行业中如骁龙8、天玑9000这类主流移动SoCHDR能力的4倍。
　　同时值得一提的是，在无损成像方面，OPPO这次将所有复杂的算法和运算都放在RAW域上进行处理，并且是实时进行的。
　　马里亚纳X最高支持20bit的RAW计算，将传统模式下只能在后处理完成的计算推向了最前端，为整个影像链路输出无损计算后的高质量数据，从而带来后期成像的更高画质输出。
　　从本质原理上来看，手机摄影是一个采集事物表面反射的光转换成数字图片的过程，在这个转换过程中会有大量的信息损失，比如从原始的RAW信息转换为RGB信息，再转换为YUV信息。
　　马里亚纳X则可以重塑转换链路，将处理节点前置在信息量100的RAW域直接做实时计算。
　　RAW有更原始的信息，线性度、色彩更好。当然，在RAW上处理，对算法复杂度、实际相应的硬件投入各方面都会要求更高，但这恰恰是马里亚纳X的强项。
　　值得一提的是，OPPO这次将马里亚纳X自研芯片与此前的定制化RGBW图像传感器进行了深度耦合，通过与马里亚纳X进行协同，RGBW传感器的能力也被最大化地释放了出来，OPPO将其称之为RGBWProMode。
　　具体来看，马里亚纳X针对RGBW传感器收集图像信息的特点，针对性地优化了RAW信息的处理管线，在HDRAI降噪这类典型应用场景中，根据OPPO实际测试，马里亚纳X通过双链路的设计和2xRAW计算，能够实现8。6dB信噪比和1。7倍解析力提升。
　　OPPO认为，无损计算将是计算影像的必然趋势，因此他们也会在该技术领域继续深耕。
　　在强劲AI性能和对影像体验的直观改善背后，马里亚纳X芯片在架构和工艺制程层面也进行了大胆突破。
　　马里亚纳X采用了AI时代的DSA架构理念，通过AI芯片化的专芯专用，弥合了传统硬件和AI算力鸿沟。
　　在芯片工艺方面，马里亚纳X成为了全球首个采用台积电6nm的移动端独立影像专用NPU。
　　更先进的制程工艺，是高能效比的基础，同时6nm的产能也相对稳定，能够一定程度上避免了缺芯情况的发生。
　　总体来看，得益于马里亚纳X在AI、HDR处理、无损计算、图像传感器深度耦合四大核心技术领域的突破，OPPO将智能手机计算影像推向了4K20bitRAWAIUltraHDR的新极限。
　　三、历时三年、千人团队，影像专用NPU是一次阅兵
　　从这些核心技术和优势中我们能看到，马里亚纳X这个专为影像设计的NPU芯片，能够从源头强化手机拍摄的整个链路，从而实现拍摄质量和体验的提升。
　　今天，我们能够看到马里亚纳X出色表现，这背后是OPPO历时三年，投入上千人团队的艰辛研发历程所结出的果实。
　　早在2019年，OPPO就开始在自研芯片领域加大布局力度，此前OPPO的马里亚纳计划也多次引起业内的广泛热议。
　　近两年，手机百瓦快充大战激战正酣，而OPPO是最早发布120W有线充电的厂商，当年的充电5分钟，通话2小时也成为了脍炙人口的OPPO宣传语。
　　而在这样的快充技术背后，实际上OPPO已经在多年前就实现了快充全链路芯片自主定义、自主研发设计。
　　可以看到，自研芯片对于产品竞争力的显著提升是不言而喻的，因此OPPO也一直在自研芯片的路上坚持走下去。
　　此次马里亚纳X的诞生，并不是一蹴而就，更不是昙花一现，对于OPPO来说，这只是自研芯片之路上的一次阅兵。
　　目前，除了高通、联发科、展锐等三方移动SoC厂商，有能力为自家手机产品做SoC的科技公司只有苹果、三星和华为。毫无疑问，自研芯片就是技术研发实力的直观体现，也是后续各家厂商角逐的重点赛道。
　　OPPO马里亚纳X的落地，证明了OPPO具有芯片设计、完成芯片生产、将其落地在终端产品中并真正实现应用体验直观提升的全链路能力。
　　OPPO的自研芯片版图，基本框架已经搭好，而接下来OPPO要做的，就是补齐更多技术模块，向着更高的目标进发。
　　结语：瞄准SoC，OPPO自研芯片之路趋稳
　　这次OPPO带来的马里亚纳X自研影像专用NPU芯片，以出众的AI能力为基础，切入手机影像领域，将手机影像体验带到了4K20bitRAWAIUltraHDR的水平。
　　当下，自研芯片对于手机厂商的重要性愈发凸显，尤其是专用自研芯片，在特定领域性能、功耗方面的优势是传统通用芯片无法相比的。而OPPO能够将马里亚纳X落地，也是多年来积累的芯片技术的一次集中展示。
　　未来，自研芯片仍将是科技公司的核心战场，OPPO的马里亚纳X明年在FindX系列中表现如何，OPPO的首款SoC芯片又将何时到来，我们拭目以待。