查看原文
其他

CIS的新玩法

畅秋 半导体行业观察 2021-01-17


近两年,由于智能手机用的摄像头数量成倍增加,使得CIS(CMOS图像传感器)的市场需求量大涨,索尼、三星、豪威科技等几大CIS厂商已经加足研发和生产马力,但依然是供不应求。在这样的形势下,擅长CIS的晶圆代工和封测厂也大为受益,产能都非常吃紧。甚至有些中国本土的功率器件、LED驱动等IC设计厂商在2019下半年一度找不到足够的晶圆代工产能,调查后发现,有些晶圆代工厂原本用于功率器件、LED驱动IC等的产能,转向了CIS。同时,这种形势也在“逼迫”一些专注于CIS的IC设计厂商开始布局自有的封测厂,甚至是晶圆厂。

以上是CIS在手机应用领域的玩儿法,除此之外,CIS还在另外两大领域有着越来越大规模的应用:汽车和安防,它们的市场规模在当下也是仅次于手机的,发展前景非常广阔,汽车自不必说,随着电动车,以及ADAS功能的普及,汽车用的各种芯片元器件都是潜力股,芯片厂商们都在跃跃欲试。而安防、道路交通和工厂应用的终端数量更是海量,每一个都需要CIS。更重要的是,与手机有所区别,这些应用大都是To B(商用)的,其对CIS的像素分辨率要求不像智能手机用那么高的“噱头”,但是其对低延时,以及图像信息处理的准确性和精度的要求较高。而在安防、道路交通和工业应用领域,特别是安防,是人工智能(AI)的主要落地点。

还有一点很重要,那就是应用生态不同于手机,手机是To C(消费者)的,多是以独立的存在形式,而安防等则不同,多数终端(主要是摄像头)都要与数据中心或云联网。而这些就催生出了CIS的新玩儿法。

将AI融入CIS


新玩儿法就是将CIS与AI更紧密地结合在一起,而引领者就是CIS行业老大索尼。

AI在手机中的应用也越来越多,大都是与AP(应用处理器)整合在一起的协处理器。而面对安防和工业应用,索尼将CIS和AI处理单元整合在了一起,令人耳目一新。

下面简单地介绍一下这款芯片。

IMX500(未封装版本)和IMX501(采用LGA封装的),它们不仅包括支持4K分辨率视频的1230万像素CMOS,还包括可以进行机器学习工作的专用AI处理器。

从芯片结构上来看,IMX500的像素芯片堆叠在逻辑芯片的顶部,而逻辑芯片不仅执行常规的图像传感器操作,还具有用于图像信号处理的ISP和专用于AI信号处理的DSP,并且还有专门供AI模型使用的内存。这种配置消除了对高性能处理器和外部存储器的需求。


如前文所说,To B应用的CIS设备多数都要与数据中心或云联网,而终端的数据量与日俱增,这就带来了一个问题,即数据和指令在终端和云之间的频繁传输,会带来延迟和信息的安全性问题,而且随着应用的逐步落地和数据量的暴增,这种问题愈加突出。而为了应对这一挑战,一些传统网络处理器、网络存储和通信芯片提供商,会提供用于边缘侧计算的协处理器,这样就可以缩短数据通信距离和延时,不过,由于是分立的,这些问题并没有彻底解决。而索尼的方案在摄像头内集成了AI协处理功能,意图彻底解决与云的通信和延时问题。

该方案处理信息的过程是:像素芯片获取的信号通过传感器上的AI处理,传感器输出元数据(属于图像数据的语义信息)而不是图像信息,从而减少了数据量并解决了隐私问题。

使用传统的图像传感器记录视频时,必须为每个单独的输出图像帧发送数据以进行AI处理,从而导致数据传输增加,并且难以提供实时性能。索尼的这款新传感器在逻辑芯片上执行ISP处理和高速AI处理(MobileNet V1的处理时间为3.1毫秒),从而在单个视频帧中完成了整个过程。这种设计可以在录制视频的同时提供对对象的高精度实时跟踪。

此外,用户可以将自己选择的AI模型写入嵌入式存储器,并可以根据其要求或使用系统的位置条件对其进行重写和更新。

是传统的SoC吗?


了解这款芯片的功能和性能之后,再回过头来看一下它的构造和工艺。但是,从公开的信息来看,索尼并未在这方面给出过多细节,只说是传感器芯片在逻辑芯片的上边,采用堆叠结构。

不过,在今年2月,索尼曾经宣布过一项合作,即和一家法国科技公司Prophesee(前身为Chroncam)共同开发了一种“基于事件的堆叠式视觉传感器”,具有124dB以上的HDR性能。该传感器适于各种机器视觉应用,例如在各种环境和条件下检测快速移动的物体。

可以看出,这个合作内容与索尼最新推出的IMX500有很强的相关性。

据悉,该合作产品是通过结合索尼堆叠式CMOS图像传感器技术,并使用Cu-Cu连接和Prophesee的Metavision Event技术来实现小像素尺寸和出色的低光性能。

当堆叠背照式CMOS图像传感器(上部芯片)和逻辑电路(下部芯片)时,Cu-Cu连接技术通过连接的Cu(铜)焊盘提供电连续性。与硅通孔(TSV)布线相比,该方法通过在像素区域周围穿透电极来实现连接,与TSV相比,该方法在设计上具有更大的自由度,提高了生产率,允许更紧凑的尺寸并提高了性能。


在这种堆叠配置下,上下两个单独芯片的每个像素都通过Cu-Cu进行电连接;另外,该传感器采用了40nm逻辑工艺。

那么,这个合作项目,以及IMX500,是传统SoC,还是类似于新兴的、以英特尔和AMD为代表的、采用先进封装和内部互联技术的Chiplets呢?索尼似乎并没有明确说明。

应用


显然,IMX500并不是针对智能手机应用的,从售价也能看出这一点,IMX500的价格约为93美元,IMX501约为187美元。

这款芯片的目标应用场景是工业相机和特定任务的相机,例如在零售场所或工厂。当摄像机装有人员追踪AI时,可以发现有多少人通过商店,并分析哪些区域最受欢迎。在工厂中,它可以跟踪产品并突出生产或人员配备方面的问题。

另外就是汽车,例如,传感器能够检测到驾驶员分心或睡着了,它可以向汽车发送警告。与使用外部处理器的CIS方案相比,集成AI的方案更简单,也更可靠,且系统成本较低。

玩家不止索尼


将AI融入CIS的想法不止索尼一家有,市场上主要的几家CIS厂商,如三星、豪威、安森美、SK海力士和意法半导体等,也有正在这方面进行研发的。

以安森美为例,该公司在全球CIS市场排在前五,但就汽车应用来说,安森美处于领头羊位置。

下图所示为安森美开发的一个和AI有关的深度感知应用,具体来说就是门禁闸口的人脸识别与防伪。该用例中,用相机同时提供彩色图像和深度图像,2D相片识别后出来效果没有深度数据,是平面的。所以,该方案通过CNN(卷积神经网络)深度学习提高了感知的可靠性。


不过,总体来看,安森美的图像感知+AI方案还处于开发和尝试阶段,应用普及还需要一段时间。

而其它几家也有进行CIS+AI应用研究的,不过现阶段的公开信息较少。

边缘侧AI的落地


AI确实是个好东西,但其应用场景落地一直是一大难题,特别是在边缘侧。目前,AI主要还是应用在数据中心和云端,采用的大多是传统的GPU和CPU,另外就是专用的高性能AI处理器,不过这种案例不多,典型代表就是谷歌自研的TPU系列AI处理器。

而在边缘侧和终端,由于实际应用有限,再加上现阶段研发出来的多为专用AI芯片,其成本较高,通用性也不强,使得虽然市场上AI概念很火,但很多新创的AI公司日子不太好过,特别是研发用于边缘侧专用AI芯片的公司,在过去一年多的时间里,有不少倒掉的。

而像索尼和安森美等传统CIS厂商在其芯片内融入AI功能,并用于边缘侧,是有应用场景支持的。首先,AI在视觉和图像领域应用最广,而CIS正是用于这类领域的,另外,在物联网终端,对功耗要求极高,这是MCU+传感器的优势,而在边缘侧,既需要具备一定的计算能力,又要控制成本(成本介于云和终端之间),将数据采集和AI处理合二为一的方案,与传统方式的外挂处理器和存储器相比,集成度和系统成本是有优势的,而CIS+AI就属于这一种。

不过,类似于集成AI的CIS这种边缘侧应用方案,初创公司恐怕很难实现,主要还是要靠传统的IDM厂商才能玩儿好。


*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。


今天是《半导体行业观察》为您分享的第2316期内容,欢迎关注。

推荐阅读


国内厂商的汽车芯片布局

Nvidia安培架构深入分析:显著增加云端AI芯片门槛

中美芯片之争,一场没有硝烟的战争


半导体行业观察

半导体第一垂直媒体

实时 专业 原创 深度


识别二维码,回复下方关键词,阅读更多

美国|台积电|RISC-V|汽车芯片AI|CMOS|中芯国际|苹果|射频|



回复 投稿,看《如何成为“半导体行业观察”的一员 》

回复 搜索,还能轻松找到其他你感兴趣的文章!

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存