图像是人类感知世界的基础，是信息获取、信息表达及信息传递的重要载体。在现实社会中，图像的应用随处可见，大到航空航天，小到日常生活，图像作为最直接的感观信息，被广泛应用在各类实景观测、安防监控、特征识别和电视娱乐等领域。在各类图像技术应用中，如何采集能够真实反映自然场景细节信息的图像，并将采集到的图像信息真实再现，是研究者永恒的目标。真实世界中自然场景明暗变化的整体动态范围为180dB，人类视觉系统能调节适应的动态范围为100dB~120dB。而目前主流的以CMOS图像传感器为基本的图像采集设备，动态范围通常只有60~70dB。这就使得图像采集时不能同时兼顾高亮和较暗的区域，出现曝光过度或曝光不足等明暗效果不佳的问题，导致图像细节信息严重丢失；另一方面，在后续的图像处理及显示中，设备还存在动态范围低导致图像显示效果较差的问题；同时，由于图像数据量大，在算法较复杂的应用时不能满足实时处理的应用需求。因此，研究能够兼顾高亮区域和黑暗区域图像细节信息的宽动态图像采集、实时处理和显示技术，具有非常重要的意义。 本项目在国家计划、国家基金、省市基金、委厅局和区市级计划等项目的资助下，主要针对宽动态图像采集及图像处理算法加速关键技术进行研究。主要技术内容如下： （1）提出并设计了一款宽动态CMOS图像传感器芯片。针对现有CMOS图像传感器动态范围与人眼视觉系统所能适应的动态范围存在较大差距的问题，首先提出了一种适用于多次曝光扩展动态范围的两步式模数转换器结构。进一步考虑光电转化的非线性特征及感兴趣区域灰度特征，提出一种自适应可配置对数转换电路。通过不同频率计数的方式，有效扩展了系统的动态范围。整体设计充分考虑CMOS图像传感器的实际应用，具有非常强的可移植性，易于集成在现有商用普通CMOS图像传感器芯片中。将以上技术应用于CMOS图像传感器芯片中，通过投片测试，可以将采集到的图像动态范围提高约24dB。 （2）提出了宽动态图像显示及图像细节信息提升算法。针对视频监控、生物成像等领域对于宽动态、超分辨率图像的需求，提出基于心理学模型的快速双边滤波的Retinex 图像色调映射算法对宽动态图像进行色调映射，使用一种半自动增益/偏移方法，根据不同的图像内容自动的计算出截取阈值的上下限，并对算法中大量参数进行了合理的整合，归结出唯一用户参数。该算法可根据不同显示设备的动态范围进行色调映射，有效提升图像的细节可见度和色彩保真度。并采用亚像素图像超分辨率图像提升算法，对低分辨率的宽动态视频图像中的运动物体进行细节提升，改善画质的同时，在极强光线条件下和较暗光线条件下，物体的正确识别率达到95%。 （3）提出了一种可重构非对称量化神经网络基础运算加速电路结构。为了提升图像质量，图像数据量不断增大，处理算法也越来越复杂，采用硬件对算法进行加速是图像实时处理的有效手段。不同应用场景需要对图像进行不同的处理，而基于神经网络的算法在各种图像处理场景中具有应用。因此，提出了一种神经网络可重构的非对称量化硬件架构。根据常见图像算法和常用运算功能，将神经网络划分为不同的硬件模块，模块之间通过开关网络连接，通过配置实现不同的网络运算结构，同时利用电路复用减小系统规模。针对神经网络运算精度进行了基于硬件实现的优化研究，采用非对称量化的方式降低系统运算量。根据不同神经网络、甚至相同网络不同网络层对运算精度的敏感度不一样的特点，动态设置多级运算精度。根据计算精度，进行非对称量化。通过设置工作模式来让芯片自主动态调整运算精度以满足不同场景需求。 （4）提出了一种多场景计算粒度可配置的硬件加速单元调度方法。针对不同的应用场景需求，并根据深度学习的神经网络的应用需求，构建了多种基础运算加速电路，作为自定义指令对应到RISC-V 预留的扩展指令集中，将加减乘和LUT查找表等基础运算作为最小细粒度指令，将图像处理中常用的运算组合作为中级或高级运算指令，根据运算需求，组合基础运算电路，通过使用高细粒度指令可以大幅提升运算效率。 项目成果已经形成了贯穿图像采集、处理、显示及算法硬件加速等图像应用全方位的综合集成技术，实现了宽动态图像技术领域的创新和突破。经科技查新表明（见附件5-1），本项目提出的发明点与现有技术明显不同。通过专利转让和技术推广，项目成果已在数字电路主板、视频监控等领域得到实际应用。特别是在黑暗成像条件下存在强光时的图像识别正确率达到90%以上，达到国际先进水平。广东庆吉电子科技公司将以上技术应用于具有断电记忆功能的DVB-T2标准数字电视主板中，大幅提升了视频图像的显示效果，提高了场景快速切换及多屏互动中的实时性；广东庆源电子有限公司在商显主板、数字电视主板和视频产品中，使用本项目提出的色调映射算法，大幅度提升了显示图像的细节可见度和色彩保真度，极大增强了产品竞争力；陕西富驰智能科技有限公司在视频监控产品中应用本项目技术，使得产品在极强和较暗光线条件下的图像识别准确度和识别速度都有很大提高；西安兴科菲电子信息技术有限公司采用本项目宽动态图像处理和加速处理算法后，解决了初代产品设计研发存在的智能识别算法强光和暗场情况下的识别率降低和识别速度慢的问题。在相同的硬件环境下，识别速度提高了60%以上，在极强光线条件下和较暗光线条件下的识别错误率降低了90%。 项目授权发明专利15余项，发表论文60余篇，其中SCI与EI论文50余篇。