新闻中心

EEPW首页 > 嵌入式系统 > 业界动态 > 发布首个自研NPU芯片,与ISP有何区别?

发布首个自研NPU芯片,与ISP有何区别?

作者:时间:2022-06-01来源:宿艺收藏

  2021年12月14日举行的2021 未来科技大会上,面向未来十年宣布品牌“焕新”,并亮出了技术与产品的“创新肌肉”。

本文引用地址:http://www.amcfsurvey.com/article/202206/434746.htm

发布首个自研芯片

  在OPPO之前,已有多家手机厂商推出了自研影像芯片,高通在最新发布的新骁龙8处理器也重点提升了性能,甚至改变了命名方式。

  马里亚纳MariSilicon X立项于2019年。OPPO芯片产品高级总监姜波本人是芯片行业“老兵”,之前也是OPPO的核心芯片供应商(高通)的从业人员。在回忆来OPPO从事芯片之初时,姜波有两个很深的印象:一是当时春笋(OPPO深圳办公大厦)中有一个办公室贴了一张A4打印室,上面写着“马里亚纳”四个字,团队还刚刚搭建。另一个就是这帮人都坚信“OPPO既然打算做芯片,就一定会将影像这条赛道做到极致”。

  也就是说,OPPO从做芯片之初,就坚定将“影像”能力进阶作为自己未来十年的重点投入的长技术赛道。

  马里亚纳MariSilicon是OPPO首颗自研芯片,也是全球第一颗6nm影像专用芯片。其具备四大技术突破:

  第一,强劲的AI计算性能与领先能效。

  马里亚纳MariSilicon X集成了自研的MariNeuro AI计算单元,提供高达18TOPS的最大有效算力(iPhone 13 Pro Max搭载的苹果A15 Bionic芯片AI算力为15.8TOPS)。AI算力强劲同时,业界领先的11.6TOPS/W的能效表现也同样重要,这依赖于OPPO自研芯片与AI算法的高效融合与软件一体优化。

  例如在运行OPPO自研的AI降噪算法时,马里亚纳MariSilicon X能够以4K的规格,实现40fps的处理速度,相比于此前Find X3 Pro通用支持的2fps速度,实现了20倍的性能跃升,同时功耗降低超过50%,体现了越专用越高效的优势。

  马里亚纳MariSilicon X还采用了双层存储架构,其集成的片上内存子系统,可提供高达每秒万亿比特的超大吞吐量,保障海量的AI数据在计算时无需离开AI计算单元,避免内外部数据交换带来的读写功耗。此外,马里亚纳MariSilicon X还配备了独立DDR带宽,传输速度高达8.5GB/秒,为芯片内各个计算单元提供独立带宽,让超强算力不会被读写速度所限制。独立DDR带宽的加入,也为手机系统总带宽带来了17%的增量。

  第二,行业领先的影像性能。

  马里亚纳MariSilicon X集成了自研的MariLumi影像处理单元,支持最高20bit的处理位宽,并支持惊人的20bit Ultra HDR,是目前旗舰平台HDR能力的4倍。在即时呈现出的画面中,最亮与最暗之处的亮度对比极值达到100万比1,几乎与人眼真实的感受无异,实现了手机影像的、HDR性能新突破。

  第三,20bit实时RAW计算,计算影像无损处理的新范式。

  马里亚纳MariSilicon X的强大性能帮助OPPO重塑无损影像链路,将传统链路只能在后端完成的AI计算推向了拥有最多原始信息的最前端——RAW域,为计算摄影的未来发展带来革新。

  传统计算摄影的视频处理基本是在影像链路的最末端,即YUV域执行,但链路中的多次转换会导致图像数据丢失了大量的信息和细节,这也导致传统计算摄影只能对有损的信息进行处理,无法实现最佳的效果。

  马里亚纳MariSilicon X引领性地将复杂的AI算法以及20bit HDR融合全部前置到RAW域进行,让AI计算不再受限于信息量的损耗,为整个影像链路输出高质量的图像数据。与传统后端计算相比,马里亚纳MariSilicon X的实时RAW计算能够带来8dB的图像信噪比提升。

  第四,专属的RGBW Pro模式,实现传感器能力的最大化。

  拥有马里亚纳MariSilicon X之后,OPPO第一次完成了影像垂直链路整合,RGBW Pro模式就是最好的例证。通过双通路设计,马里亚纳MariSilicon X首次实现了对RGB和W像素的分隔处理,最大化利用每一种像素特性,释放出RGBW阵列的全部潜力。马里亚纳MariSilicon X的RGBW Pro模式带来了8.6dB的信噪比提升,以及1.7倍的解析力提升,在传感器尺寸规格都没有变化的前提下实现大幅的影像效果增强。

  在四项前沿技术突破的加持下,马里亚纳MariSilicon X以同时支持4K+20bit RAW计算+AI+Ultra HDR的全新规格,为计算影像树立了全新标准,让安卓AI视频,首次拥有了4K表现;也让4K视频,第一次拥有了AI能力。

  以上四点,实际上也是OPPO将马里亚纳MariSilicon X定义为“自研NPU影像芯片”,而不是其他厂商所推出的“自研芯片”的重要原因。

  姜波对《壹观察》表示:马里亚纳MariSilicon X的主要设计目标,是聚焦通过NPU去解决释放计算影像潜力这一主要问题。OPPO认为未来手机影像最重要的创新方向就是计算影像,而计算影像的上限又是AI算力。如今手机照片的计算影像各家企业实际上做的都不错,但针对影像的专用AI算力各家差异很大,导致在夜景拍摄等极限场景的“所见即所得”与视频拍摄过程中的体验扔不够好,这就是OPPO决定投入巨大资源打造像专用NPU芯片的重要原因。

  对于与ISP的区别,整个影像单元其实功能非常多,ISP往往只能解决一部分问题,并且ISP封装之后很难再通过算法进行性能提升。而“自研NPU影像芯片”可以很好地完整解决这两大问题。

手机厂商究竟要不要自己做芯片?

  手机厂商要不要自研芯片?一个观点是,芯片产业已有非常成熟的解决方案,自研模式投入周期长、风险高。

  高通产品管理副总裁Judd Heape12月初在骁龙技术峰会上谈到,手机厂商在如今打造的ISP芯片特性,后续将会被集成在骁龙旗舰主芯片中,取代目前额外增加硬件的方式。高通全球CEO安蒙在接受《财经》记者专访时评论称,手机厂商的专长在于打造完整的手机终端交付体验,如果芯片与终端两头兼顾,要耗费不小的精力。

  但从另一个角度来看,全球高端手机厂商,苹果、华为、三星无一不具有自主研发的芯片实力。苹果手机的创新力近年来屡遭诟病,但其在A系列芯片的发布依然备受瞩目,并被认为是苹果手机能保持强有力竞争优势的关键。华为更是依靠对麒麟芯片的长期投入,打造了与其他手机品牌不同的差异化能力与影像护城河。

  更重要的是,如果没有自研能力,在外部形式充满不确定的情况下,谁也无法绝对保证不会发生类似华为芯片“卡脖子”之痛。即使退一万步来讲不谈供应链风险,公开市场的通用SoC芯片产品,无法做到对特定品牌、特定人群与特定机型进行精准优化。手机企业一是很难打造差异化产品,二是很难将自身用户需求进行底层精准定义与功能创新。导致的结果,就是产品高度同质化,再加上某些手机品牌热衷于“抢首发”从而导致行业不断催生“内卷”。

  OPPO创始人兼首席执行官陈明永在今年OPPO未来科技大会上的表态也正面回答了这一问题:科技公司必通过关键技术解决关键问题,如果没有底层核心技术,就不可能拥有未来。而没有底层核心技术的旗舰产品,更是空中楼阁。

  陈明永强调称:“OPPO会持续投入资源,用几千人的团队,脚踏实地地做自研芯片”。

  《壹观察》了解到,为了开发马里亚纳MariSilicon X,OPPO组建的芯片研发团队高达2000人(不排除同时有研发其他芯片),其中很多核心人员都是来自于一线的半导体大厂。

OPPO拥有“马里亚纳”意味着什么?

  从马里亚纳MariSilicon X这颗NPU芯片本身定位来看,很有意思。

  首先,其定位从设计之初到如今量产都非常坚定:打破手机影像如今的天花板。

  姜波对此表示:OPPO智能手机业务此前10来年的发展历程中,已经在影像领域有大量的积累,且在长期采用第三方通用平台的过程中,也有很多AI与CV(计算机视觉)算法的经验,当业界都公认计算影像是未来10年影像领域的发展方向时,如何更好地凝聚这些积累并继续演进就成为关键,这也是OPPO打算自研影像处理芯片的初衷。

  手握“马里亚纳”的OPPO也在本届未来科技大会上公开宣布:MariSilicon X这颗NPU芯片不仅是过去十年的总结,也是OPPO未来十年影像的新开篇之作。

  第二,首款自研芯片即挑战6nm制程,并且一次流片成功。

  6nm制程已经与如今主流的智能手机5G SoC,如高通骁龙778G/778G+,联发科天玑1200/1100处于同一梯队,并且还“挤进”了台积电产能排期。

  国外媒体曾报道过一个数据:28nm节点的芯片开发成本约为5130万美元;16nm节点则需要1亿美元;7nm节点需要2.97亿美元;5nm节点,开发芯片的费用将达到5.42亿美元;3nm的开发费用有可能超过10亿美元。

  考虑到这是数年前的数据,再加上MariSilicon X并不是一款SoC芯片,其开发费用可能并没有那么高,但业界估计也需要到1亿美元以上级别。而从2018年INNO DAY上OPPO创始人陈明永宣布2019年“研发投入100亿人民币”,再到短短一年后的INNO DAY上“3年500亿人民币”的迅速攀升,还有很大一部分比例都为芯片研发业务所占据。

  同时越先进的制程工艺,往往意味着设计的难度越高,可以用到的第三方的成熟IP也就越少,面临的“流片”风险也就越大。

  姜波在与《壹观察》对话中也透露称:采用6nm制程工艺的MariSilicon X不仅一次流片成功,而且测试表现也完全达到了开发团队的预期,从前期研发到后期流片的所有投入都算是扎扎实实落了地。这一方面可以说是“极其幸运”,但更说明了OPPO如今这个芯片团队的技术能力与成熟度。与之对比的是,某国产手机品牌在2019年的第二代芯片打造中“流片失败五次,资金就烧了几十亿”,可谓教训惨痛。

  姜波认为手机企业做芯片必须掌握三个关键要素:时间、投入、人才,而后者更为重要。OPPO在芯片领域是一个“后来者”,同时切入角度比较陡峭,对标的芯片技术含量比较高,从客观上来讲难度是非常大的。但OPPO不同团队之间协同性非常好,比如芯片与影像打通,算法与硬件的协同都极其高效与流畅,对MariSilicon X芯片在短短不到三年就取得技术突破、流片成功与产品量产可以说同样至关重要。

  第三,MariSilicon X芯片已经量产,将于2022年一季度的新一代Find X系列上首发搭载上市。

  也就是说,新一代Find X系列将会是OPPO近年来在手机影像上的一次重要突破。这点还要考虑另外一个变量,也就是一加在回归OPPO之后,哈苏战略合作带来的光学、算法与调教的明显提升。开启“双芯时代”的OPPO,由此也将真正踏上未来十年影像的新开篇。

OPPO新品牌主张:微笑前行

  在此次大会上,OPPO正式升级了全新品牌主张——微笑前行。

  陈明永在大会上表示,“微笑前行”,源自OPPO本分价值观,也来自OPPO打造首款笑脸手机以来一直坚持的“为用户创造惊喜感”的产品思维。

  陈明永表示,社会上有很多奋发向上的平凡个体,他们是这个时代的爬坡者。“微笑前行”,代表着OPPO与所有爬坡者的共同行动。OPPO作为微笑前行的爬坡者,未来希望通过科技创新,推动行业与社会发展。让每一位爬坡者在前行路上,有伙伴、有力量。即使置身风雨,也能心向光明,微笑前行。

  2020-2021年对于OPPO来说是充满挑战的一个周期,包括重新梳理产品线、调整组织架构、优化渠道体系,提出“科技为人,以善天下”品牌信仰,并明确“3+N+X”的科技跃迁战略。

  2021年底举行的OPPO未来科技大会,更像是对OPPO技术、产品与新品牌理念的一次“检阅”。除了发布马里亚纳MariSilicon X芯片之外,OPPO还推出了其第三代AR眼镜:OPPO Air Glass,已经具备量产能力,并具备高携带性与较强的实用性。其首款折叠屏手机——OPPO Find N系列也于12月15日正式发布,成为OPPO展示产品创新实力与冲击期间的新利器。

  面向未来十年,OPPO的定位是“微笑前行的爬坡者”,这说明OPPO选择的是一条充满挑战,但乐于拼搏之路。就像陈明永所说:“坚持做正确的事情,对的路,就不怕远,不怕难”,“未来的OPPO一定会有更多原创技术如繁星般涌现”。



关键词: OPPO NPU ISP

评论


相关推荐

技术专区

关闭