在当代科技的舞台上，“视觉感知时刻”正饰演着至关首要的脚色。从自动驾驶汽车到机灵的机器东谈主，再到无处不在的智能监控系统母狗 调教，图像的推崇平直决定了这些时刻的生效与否。

可是，迎面对动态、多变且不成臆想的环境时，传统图像传感器往往力不从心，面对诸多挑战。这些挑战主要包括动态界限有限、数据冗余、感知延伸等几个主要的方面。

动态界限指在图像或视频中好像捕捉到的最暗到最亮的可见界限内的扫数像素界限。动态界限越大，开荒不错捕捉到更多的像素变化，从深黑到亮堂的细节皆不错更澄莹地展示出来。可是传统传感器的动态界限极度有限，难以在强光和弱光环境下同期捕捉到澄莹的图像。

数据冗余则是指高分辨率和高速传感器会产生多半数据，增多了处理和传输的包袱。感知延伸是指由于处理速率的放弃，传感器在快速变化的环境中容易出现感知延伸，影响决策的实时性。

由于动态界限有限，导致相机在弱光环境下（第三幅）图像中无法捕捉到澄莹的东谈主像

（图片开始：参考文件1）

在自动驾驶、机器东谈主和东谈主工智能等规模，这些问题尤为昭着。举例，在自动驾驶中，传感器必须好像赶快而准确地识别路况和潜在危急，但传统传感器在处理复杂场景（如倏得出现的行东谈主或车辆）常常时推崇欠安。

这些时刻艰涩放弃了图像传感器在复杂环境下的哄骗，也催生了对更先进的视觉感知时刻的辗转需求。科学家正在通过延续参谋东谈主类出色的视觉系统来试图寻找到不断决策。

东谈主类视觉系统的启示

东谈主类视觉系统（Human Visual System， HVS）在处理复杂视觉信息方面推崇出色。即，低级视觉皮层行为视觉信息的初步处理区域，将视觉信息领会为原始的因素，如豪情、见识和表露，并将这些信息传递到背侧流和腹侧流，然后通过两条主要旅途进行处理：

知门道径：腹侧流（Ventral stream）衔接到颞叶（temporal lobe），主要崇拜高精度的知道和细节识别，如豪情和体式。这条旅途使咱们好像澄莹地看到物体的细节和豪情，并对环境进行准确的知道。

动作旅途：背侧流（Dorsal stream）衔接到顶叶（parietal lobe），主要崇拜快速反应和表露检测，如见识和速率。通过这条旅途，咱们不错赶快识别表露的物体，并作出相应的反应，如灭绝艰涩物或追赶目的。

背侧流（Dorsal stream）、腹侧流（Ventral stream）和低级视觉皮层（Primary visual cortex）

（图片开始：VISUAL SYSTEM: CENTRAL PROCESSING）

这种双旅途的处理形势使得东谈主类好像在多样复杂环境中高效、准确地感知和反应。基于对东谈主类视觉系统的效法，清华大学的参谋团队研发出了寰球首款类脑互补视觉芯片——天眸芯片，粉碎了传统视觉感知芯片的缺欠，提供了前所未有的高效、精确的视觉感知不断决策。

天眸芯片的出身

天眸芯片的设想理念基于对东谈主类视觉系统的久了参谋，罗致了搀杂像素阵列和并行异构读出架构。

搀杂像素阵列效法了东谈主类视觉系统中的锥状细胞和杆状细胞，鉴识用于豪情和表露检测。其中，上皮细胞（Epithelial cells）复古和保护感光细胞的细胞层。锥状细胞（Cone）主要崇拜捕捉豪情信息，使咱们好像在亮堂明朗下看到丰富的豪情细节。而杆状细胞则对明朗的强弱变化极为敏锐，终点适用于低光环境，匡助咱们在黑暗要求下看到物体的笼统和表露。

锥状细胞、杆状细胞和上皮细胞

（图片开始：Seeing color）

并行异构读出架构是天眸芯片的中枢部分。它的作用是将来自不同像素（如锥体和杆状像素）的电信号以高速率和高精度调养为数字数据。这种架构的上风在于好像同期处理高动态界限和高速率的感知需求，有用减少数据冗余，并在复杂光照要求下保捏高性能。

天眸芯片的架构，包括搀杂像素阵列过甚与多条旅途的交互

（图片开始：参考文件2）

通过这些新时刻的哄骗，天眸芯片同期具备了高速感知才略、宽动态界限和带宽优化这三个特质，不断了传统传感器的缺欠。

高速感知才略：天眸芯片好像兑现每秒高达10，000帧的速率，确保在快速变化的环境中如故好像捕捉到澄莹的图。这种高帧率感知才略关于自动驾驶和机器东谈主等需要实时感知和反应的哄骗场景至关首要。

宽动态界限：动态界限的设想单元是dB（分贝），传统传感器的动态界限频繁在60至80dB之间，而东谈主眼的动态界限约为120dB。天眸芯片领有高达130dB的动态界限，好像在强光和弱光环境下同期提供澄莹的图像。这意味着即使在阳光直射和暗影并存的复杂光照环境下，天眸芯片也能提供考究的画面细节。

天眸芯片在不同光功率密度下的信噪比，通过连合动作旅途和知门道径的高增益和低增益模式，天眸芯片兑现了130dB的宽动态界限。这标明该芯片能在极强和极弱光照要求下提供高质料的图像。

（图片开始：参考文件2）

带宽优化：通过自适合时刻，天眸芯片好像减少90%的带宽需求，有用裁减了数据传输和处理的包袱。这种带宽优化时刻不仅擢升了数据传输收场，还裁减了能耗，使得天眸芯片更合适挪动开荒和物联网哄骗。

天眸芯片在快速表露和光闪干与下的高性能推崇。通过动作旅途的高速反映，芯片能赶快处理不成臆想的光闪事件，同期保捏低带宽破钞。天眸芯片在功耗和带宽方面相干于传统和神经方式视觉传感器展现了优胜的性能。

（图片开始：参考文件2）

天眸芯片的哄骗案例

天眸芯片在自动驾驶系统中的哄骗是其弘大性能的一个首要展示。它好像在复杂的谈路环境中提供准确、快速和端庄的感知，即使在边缘情况下也能作念出赶快反应。这关于擢升自动驾驶系统的安全性和可靠性具有首要兴味。

举例，天眸芯片在自动驾驶测试中展示了其在玩忽倏得出现的行东谈主和车辆时的优胜性能，显贵裁减了事故发生的概率。

除了自动驾驶，天眸芯片还不错庸俗哄骗于无东谈主机、安防监控等规模。举例，在安防监控中，天眸芯片好像在明朗变化剧烈的环境下提供高质料的视频图像，有助于实时发现潜在的安全威逼。在无东谈主机哄骗中，天眸芯片的高动态界限和高速感知才略使得无东谈主机好像在复杂地形和光照要求下进行高效的导航和监控。

天眸芯片在资料驾驶测试中的推崇。测试中，车辆遭遇昼夜、纯粹、高动态界限、特殊物体和复杂场景等极点情况。天眸芯片通过知门道径和动作旅途检测收场的无缝同步，确保了高精度感知。

（图片开始：参考文件2）

多种实验的收场标明，天眸芯片不仅具有高动态界限和高分辨率，还能在高速表露和极点光照要求下保捏优异的感知性，在极点环境下的推崇远优于传统传感器。

天眸芯片在改日科技发展中领有无穷的可能。跟着时刻延续最初，它将在更多规模中饰演不成或缺的脚色。试思在增强履行（AR）和杜撰履行（VR）中，天眸芯片带来的超高质料视觉体验，将如何绝对转换咱们的感知和交互形势？这只是是启动。

改日，今日眸芯片与东谈主工智能时刻深度和会，会为智能城市诞生、医疗影像分析、工业自动化等规模带来哪些颠覆性的变革？它将如何引颈咱们参加一个愈加智能和互联的寰球？悬念依旧，咱们翘首跂踵。

参考文件

Han， Yuqi & Yu， Xiaohang & Luan， Heng & Suo， Jinli. (2023). Event-Assisted Object Tracking on High-Speed Drones under Harsh Illumination Environment. 10.20944/preprints202312.1056.v1.Yang， Z.， Wang， T.， Lin， Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629， 1027–1033 (2024).

出品：科普中国

作家：郑胜杰（设想与神经系统学博士生）

监制：中国科普博览