• 简中
    • 繁中
  • 注册
  • 查看作者
  • 转载首发「深知未嚟」完成数千其Pre-A轮融资,用深度神经网络ISP算法实现夜间全彩拍摄

    宽动态、高帧、低照度一直是图像传感器CIS嘅三个关键Feature,所有公司都想喺某一个或多个Feature上有所突破,嚟打开局面,等芯片起量、树立行业地位。但市场早已是红海,要杀出一条路嚟不容易,因为索尼等巨头一直喺CIS领域深耕,尤其是高端消费类CIS,无论从技术积累、产品成熟度、市场占有率,索尼都系统治地位。不过第啲公司都有自己嘅打法同生存空间,例如豪威OmniVision走中端消费类CIS同车载类CIS嘅路线;格科微走中低端CIS嘅路线,从下往上打;安森美则放弃   消费类,主攻车载类同安防类CIS;思特威走安防夜视路线,产品是低照度CIS;安酷智芯、睿创微纳、FIIR、Fluke产品都系非制冷红外CIS,走安防路线。

    转载记者最近认识到深圳一家用AI芯片搭载深度神经网络ISP算法,嚟实现夜间全彩拍摄嘅公司。跟第啲企业依靠低照度图像传感器芯片CIS嘅实现方式完全不同,带住好奇,记者采访   深知未嚟智能有限公司CEO张齐宁。张齐宁毕业于武汉大学计算机系,喺华为、腾讯等企业10余年技术产品经验,之前都有过创业经历,喺2017年同CTO郭奇锋一齐创业成立深知未嚟,郭奇峰喺百度、腾讯搜索部门有多年技术同产品经验。佢哋想用深度学习算法嚟解决夜间全彩成像嘅难题,绕过业界通过低照度CIS芯片从硬件上嚟解决此问题时遇到嘅瓶颈。

    转载首发「深知未嚟」完成数千其Pre-A轮融资,用深度神经网络ISP算法实现夜间全彩拍摄

    深知未嚟夜间全彩拍摄同普通相机嘅对比

    张齐宁表示:“人眼通过红色、绿色、蓝色嘅视锥细胞嚟构建彩色嘅世界,CIS正是模拟   呢一原理。但係遗憾嘅系,目前绝大多数CIS喺夜间嘅表现弱于人眼。我哋已知嘅彩色拍摄技术,几乎都基于延长曝光时间嚟获得更多光子输入嚟成像,而视频帧率下嘅全彩成像系统是一个难题,所以团队决定主攻方向是使用深度学习算法嚟打造一个全新嘅ISP成像体系,突破传统ISP图像处理体系嘅硬件限制”。深知未嚟团队30多人有20人都系软件工程师,其中10人是算法工程师。为   一个专用于极弱光环境下嘅深度神经网络ISP算法,三年磨一剑,2020年开始   喺海上、矿井、河道等场景下应用落地。喺此基础上,硬件人才嘅加入,深知未嚟开始定制搭载深度神经网络ISP算法嘅AI芯片-日枢图像处理芯片。

    低照度成像

    都就是喺极弱嘅环境光下面进行拍摄。最早嘅夜视仪基于光电放大效应,诞生于80年前,而基于热探测器嘅热成像夜视仪距今都已经有70年历史,真正嘅彩色夜视技术始于2015年索尼Starvis第一粒专门嘅低照度CIS芯片,但价格一直居高不下。目前已经成熟嘅微光成像技术同热成像技术,喺理论上无办法向全彩、更高分辨率进化。ISO12232 标准规定嘅可接受画质嘅信噪比为20dB,优秀是32dB,低照度成像(都称为极低信噪比成像)需要解决信噪比低于10dB嘅情况,此时,民用CIS配合传统ISP芯片同ISP算法已经无能为力,业界一直努力将极弱光环境下拍摄嘅人眼不可见嘅图像增强至白日一样嘅效果。

    转载首发「深知未嚟」完成数千其Pre-A轮融资,用深度神经网络ISP算法实现夜间全彩拍摄

    低照度分为星光级0.02lux以下(每单位面积下嘅光通量),超星光级0.002lux以下,黑光级0.0005lux以下,极弱光环境下引发嘅极低信噪比问题是世界性难题

     

    深知未嚟嘅解决办法

    喺极弱光环境下,CIS嘅输出中有大量噪声,包括读噪声、热噪声、暗噪声、散粒噪声等等,而信号则极为微弱,被湮没喺噪声度,极难提取,传统ISP嘅多种模块都无办法正常工作,例如喺黑暗中基于传统ISP嘅相机就极难对焦。深知未嚟以计算机视觉同深度学习技术为基础,打造   一套算法引擎,针对极低信噪比下嘅3A、降噪、宽动态、3D LUT、色彩矫正、去模糊、防抖等建立   全新嘅成像体系,喺极低信噪比下成像效果明显优于传统ISP。可惜嘅系,软件算法嘅具体构架张齐宁仲无办法提供,等我哋无从得知。

    转载首发「深知未嚟」完成数千其Pre-A轮融资,用深度神经网络ISP算法实现夜间全彩拍摄

    技术核心概念:深度神经网络ISP算法嘅作用

    据张齐宁介绍:“索尼低照度传感器IMX385嘅SNR1s为0.13Lux,经过   五年嘅优化于2020年推出嘅新一代低照度传感器IMX482嘅SNR1s都只提升   将近一倍达到   0.07Lux。而从算法上嘅改进仲有成百上千倍嘅提升空间,例如华为P40 pro手机通过7秒长时拍摄,但系以将图像亮度提升两百多倍。但华为嘅呢种技术无办法应用喺视频成像领域,而深知嘅目标是喺0.03秒嘅时间内达到类似嘅亮度提升效果。我哋而家交付畀客户嘅夜视仪用嘅就是用嘅CIS芯片+NPU+深度神经网络ISP算法这套方案。目前CIS芯片采购嘅索尼、安森美、思特威嘅,NPU采购嘅海思、瑞芯微嘅,配合自研嘅深度神经网络ISP算法,已经做到夜间环境信噪比0dB嘅情况下,曝光0.03秒就可以ISO感光度7000倍增益嘎啦。”

    转载首发「深知未嚟」完成数千其Pre-A轮融资,用深度神经网络ISP算法实现夜间全彩拍摄

    深知未嚟交付嘅夜视仪同效果对比

    深知未嚟目前嘅产品分为专用同通用夜视仪。警用夜视仪产品已经处于小批量交付阶段,无人机、矿洞、海上钻井平台夜视仪正喺度紧张进行用户测试阶段,据用户反馈效果唔错。为   降低定制化带嚟嘅高成本问题,正喺度研发做一款小型化、通用化嘅机芯,以后各种用户或场景首先推荐这款通用型全彩夜视仪,咁样都容易进行规模化生产。计划喺2021年完成定制传感器芯片,不再采购通用CIS芯片;2022年完成定制日枢芯片,搭载自研算法,同时标准化所有机芯同产品;之后继续集成化全彩夜视芯片,最终产品形态是一粒集成   传感器同ISP处理器及算法嘅低照度全功能芯片。

    呢排,深知未嚟完成数千其人民币Pre-A轮融资,领投方为梅花创投,跟投方包括耕涌资本、国宏嘉信资本、达晨财智创业资本等机构。本轮融资主要用于极弱光全彩成像产品同系统嘅研发同市场拓展。

     

     

     

     

    cantonese.live 足跡 粵字翻譯

    2021-03-15 08:07:17

  • 0
  • 0
  • 0
  • 186
  • 请登录之后再进行评论

    登录
  • 任务
  • 发布
  • 偏好设置
  • 单栏布局 侧栏位置: