新闻中心

EEPW首页 > 物联网与传感器 > 业界动态 > 影像感测无所不在 全局快门赋能计算机视觉应用

影像感测无所不在 全局快门赋能计算机视觉应用

—— 成像效果更准确
作者:时间:2022-09-25来源:CTIMES收藏

大多数人每天都正在使用。举个例子来说,一个是智能型手机上的脸部辨识。如果消费者手机上有这一项功能,平时也可以用于解锁屏幕或是电子支付,这表示你正在使用。另一例子,是当平时去超市或者超商付款时,收银员会扫描所购买的产品条形码,这类日常生活情境都会用到

计算机视觉与光学感测
一次可以拍摄整幅影像,而且拍摄时间非常短,成像效果非常准确,因此完全可以用于计算机视觉领域。
意法半导体亚太区影像事业部技术营销经理林国志指出,计算机视觉是人工智能的一个分支,能够让计算机和系统从数字影像、视讯和其它的视觉所输入的数据中,提取出有意义的信息,并根据这些信息采取行动或提出分析建议。

在脸部辨识应用中,具有意义的信息就是脸,系统会对脸进行影像采集,然后进行信息处理,得出的结果就是验证使用者身份,接着解锁手机。在一般的情况下,计算机视觉都会产生信息输入和输出,就以条形码扫描机来说,扫描条形码即是信息输入,透过镜头采集条形码的影像,并由系统读取,最后加以辨识产品和价格。

一般来说,光学影像传感器分为两种主要的架构。除了全局式快门之外,还有卷帘式快门,总共分为这两种镜头架构。卷帘快门的设计目的,是为了捕捉静态影像和视讯拍摄,因此需要非常高的分辨率和色彩处理能力。目前大多数镜头都属于卷帘快门,例如智能型手机的主镜头、自拍镜头、建筑中的监控镜头,甚至数字相机等,都是采用卷帘快门技术。因为这些应用情境都需要捕捉彩色影像,因此需要相当高的分辨率。

唯一的问题在于,采用卷帘快门的计算机视觉技术,都是逐行拍摄影像。照片采用卷帘快门逐行拍摄的话,整个影像只有一帧。如果拍摄对象是车辆这样的快速移动物体,影像可能会扭曲,无法显示拍摄对象原本的样子。如果影像扭曲就无法显示物体的真实状态,也就不能用于计算机视觉,无法判断影像中的是不是另一辆车。因此,卷帘快门没有被应用于计算机视觉技术中。然而,的原理完全不同,一次可以拍摄整幅影像,而且拍摄时间非常短。只要被拍摄的对象不是快速移动的物体,成像效果就会非常准确,因此完全可以用于计算机视觉。

计算机视觉应用情境

图片.png
 
图一 : 传感器的适用情境(source:st.com)

计算机视觉的应用都会使用到全局快门感测技术。实际上,计算机视觉的应用情境无处不在,可以将其归为四大类。第一类叫做深度感测,这项应用时间比较久。透过使用两个全局快门传感器搭建一组立体视觉系统,或者是使用一个全局快门传感器搭建结构光镜头系统。通常深度感测可以用于脸部辨识和3D扫描这类的应用情境。

第二类叫做生物辨识,这项应用可以采集人体各个部位的信息,并将其用于身份辨识。人脸信息可以用于脸部辨识或者2D智慧解锁,体形信息可以用于人的存在侦测,除此之外还有手势侦测、掌纹辨识、虹膜辨识等。这些人体信息都是独一无二的,包括人脸、掌纹和虹膜等,皆可用于身份辨识。另外还有驾驶与车室内监视,采集司机与乘客的行为信息进行分析,产生的结果就是系统发出的各类警示。

第三类就是扩增实境(VR)、虚拟现实(AR)和混合现实(MR),这类应用涉及了元宇宙的概念。当戴上VR头部显示设备之后,使用者看不见周围环境,只能依靠光学传感器才能知道环境的变化。通常VR头戴式显示设备在内部和外部分别有一个镜头,内建镜头用于眼球追踪,并透过两个全局快门传感器进行眼球观测,因为在实际应用情境中需要感知你的眼睛看哪个方向,透过眼球追踪得到的信息将提供不同的反馈。外置镜头则用于外部环境的追踪,主要感知外部环境而非使用者眼球的变化。

这里有两类重要的应用情境。一类叫做6DoF,针对的是头部行为。当使用者戴上VR头戴式显示设备后,就会获得6D感知能力。头部可以做出左右、上下、前后六个角度的动作,因此被称为「6DoF」(六个自由度追踪)。另一类称为「SLAM」(同步定位与地图构建),例如使用者需要掌握所处房间的状况,墙壁在哪里、沙发在哪里、自己所处在哪个位置,戴上VR头戴式显示设备走动的时候,如何避免撞墙等。因此在使用AR/VR装置的过程中,手势侦测、掌纹辨识、脸部与情绪追踪等功能是非常重要的。

除此之外,使用VR/AR装置还可以进行生物辨识,例如手势侦测或者手势追踪。通常在这种情境下,装置可以透过用户一个手势来辨识这是哪种行为目的。例如使用者进行一场演讲,透过一个手势就可以自动翻到下一页简报或者翻回到首页,又或是透过手势告知助理单击或双击鼠标。这些应用都是透过手势侦测来加以实现,装置无需揣测用户想表达的信息,只需追踪手势即可。

最后一类应用是机器人与工业控制。例如无人机和扫地机器人在使用过程中需要避免相撞,所以要有物体侦测和情境分析能力,而这些都需要使用全局快门传感器。此外,前文所提到的条形码辨识,也属于工业控制中的计算机视觉应用一环。


图片.png
 
图二 : 全局快门与卷帘快门的技术差异(source:st.com)

车内传感器
至于汽车领域的应用,车内传感器主要包括四大类:包括车内镜头,ADAS镜头、观测镜头和售后镜头等,主要用于行车记录器。意法半导体亚太区影像事业部资深技术营销经理张程怡表示,2021年底车内镜头的市场渗透率约为10%,而到2024年就会达到50%。因此这一新兴市场发展是十分迅速的,产业生态中的相关厂商正纷纷涌入。

车内镜头并不只一种,Euro NCAP为车辆评估标准体系,曾经对车内监控系统分为两类:一类叫做驾驶监控系统DMS,另一类叫做车内乘客监控系统CMS或者OMS。驾驶监控系统的观测对象就是司机,主要监控司机是否注意力集中,是否有分神或是打瞌睡,因为这些现象会严重危及行车安全。而车内乘客监控系统则主要观测乘客状况,特别是儿童,因为有些粗心的使用者下车后会将孩子遗留在车内。

驾驶监控系统DMS镜头安装在驾驶员面前,观测对象主要是脸,镜头必须做得很大,大概50~60度,分辨率约100~230万画素。重点之一在于这里必须采用NIR镜头,因为不仅需要白天对驾驶员进行监控,晚上也是需要,因为很多人会在夜里开车。在这种漆黑的环境下,必须要有光源投射在驾驶员脸上,但肯定不能使用可见光,所以需要NIR技术。

车内乘客监控系统观测的是车内所有乘员,但不同之处在于,因为这里需要物体探测和辨识,所以需要彩色影像,而且观测范围比较宽广,因此镜头视角需要更大,分辨率需要更高,才能获取观测领域内所有细部信息。

车内乘客监控与驾驶监控二合一系统,是将CMS、OMS和DMS结合。而车内乘客监控需要RGB彩色影像,驾驶监控则需要NIR影像,因此仅需单一镜头就可以同时支持RGB和NIR,这些都是车内镜头的设计要点。

结语
全局快门传感器的应用范畴十分广泛,除了前文所提及的工业与车用之外,对于智慧家庭和智慧大楼也是非常适合的应用范畴。智慧家庭的应用需要考虑周全,使用者不希望家里有个镜头全天候监视自己,与此同时又想要镜头和传感器带来的益处,因为很多辅助功能可以让用户的生活变得更加舒适,全局快门传感器的优势就是能够实现这一点,而透过计算机视觉开发的功能,还能透过追踪技术来达到人机互动的目的。

至于笔电和个人计算机镜头,也是全局快门传感器的应用范畴。笔电和PC应用全局快门技术的意义,可以进行脸部辨识、手势控制、眼动追踪、舒适度监测和隐私保护。ToF和ALS(环境光传感器)则可进行存在侦测、电池续航、屏幕亮度自动调整和隐私保护。以目前各厂商像是意法半导体所提供的影像产品,都可涵盖上述的所有应用,包括全局快门产品、ToF、ALS等等,以及各种参考设计。

本文引用地址:http://www.amcfsurvey.com/article/202209/438543.htm


评论


相关推荐

技术专区

关闭