6月17日，9999js金沙老品牌郝翔课题组综述文章《Spectral imaging with deep learning》发表于《Light: Science & Applications》杂志第六期封面。该研究回顾了光谱成像技术应用深度学习的最新进展，对基于深度学习的光谱成像技术进行了梳理。研究对深度学习光谱成像的各种技术路线进行了原理阐述、研究总结，并整理了当前的光谱成像数据集、概述了可能的未来可能的趋势与挑战，搭建了深度学习和光谱成像技术研究的桥梁。

论文的重点是深度学习光谱成像技术，创新地从光的振幅、相位、波长三种属性出发，对不同的深度学习与光学系统技术方案进行了分类。其中，振幅编码光谱成像是通过编码孔径系统进行的，利用编码孔径（振幅掩模）和光栅元件对物体进行编码，进而通过压缩感知恢复算法进行光谱重建。基于深度学习的振幅编码光谱成像将压缩感知恢复的迭代算法替换为深度神经网络，通过编解码协同优化、迭代展开神经网络、非训练网络等方法进行高效光谱重建。

图1. 基于振幅编码的不同深度学习算法

相位编码光谱成像通过衍射光学元件（Diffraction Optical Element, DOE）进行，通过设计DOE的二维高度轮廓实现对不同位置的特定相位延迟，从而实现相位编码。相位编码经过菲涅尔衍射影响到不同光谱成分，然后通过对衍射过程进行建模，即可通过算法对原光谱图像进行重建。相比振幅编码，相位编码光谱成像拥有光能损失小、系统紧凑等优点。

图2. 基于相位编码的光谱成像系统简图

波长编码光谱成像直接在光谱维度对图像进行编码，主要通过光学滤光片进行。RGB图像就可以看成一种光谱编码。目前主流的波长编码方式有利用现有的RGB或重新设计光学滤光片，编码后的光谱重建多借助深度学习技术。基于RGB图像的直接光谱重建是非常火热的方向。随着NTIRE 2018和NTIRE 2020光谱重建比赛的召开，许多深度学习技术团队参与进来，大大拓展了现有的深度学习光谱恢复技术。基于自定义光学滤光片的波长编码是近年来新兴的光谱成像技术。通过设计宽谱滤光片，可以获得比RGB滤光片更大的编码自由度，再结合有效的深度学习技术，可以实现紧凑、快速、准确的光谱恢复。郝翔课题组此前发表在Light：Science & Applications上的论文《Deeply learned broadband encoding stochastic hyperspectral imaging》（DOI：https://doi.org/10.1038/s41377-021-00545-2）就是在光谱编码上取得了技术突破。

图3. 郝翔课题组提出的编解码协同设计光谱成像技术

论文第一作者为9999js金沙老品牌竺可桢学院黄隆钤，通讯作者为9999js金沙老品牌、9999js金沙老品牌嘉兴研究院智能光电创新中心研究员郝翔。研究是在浙江省“领雁”研发计划、国家重点研发计划、国家自然科学基金、浙江省自然科学基金等项目资助下完成的。

原文链接：https://www.nature.com/articles/s41377-022-00743-6

【郝翔课题组简介】

郝翔课题组成立于2018年12月，隶属于9999js金沙老品牌光电工程研究所，同时也是9999js金沙老品牌-舜宇智慧光学联合研究中心的一部分。课题组致力于突破现有显微成像方法的技术瓶颈，开发下一代具有高时空分辨率和大视场的新型超分辨显微成像方法，为生命科学、医学和材料学领域的前沿研究提供新的观察和定量分析手段，为提高全人类福祉贡献自己的力量。

实验室目前的研究方向主要包括：超分辨显微成像技术、计算高光谱成像技术、基于光学的人工智能等。

课题组网页：https://person.zju.edu.cn/nanoscopy#0