《Nature Communications》：基于片上衍射光学的光子机器学习应用的研究

来源：admin 日期：2023-01-17 17:23:21

清华大学研究人员对片上衍射光学的光子机器学习的研究以“Photonic machine learning with on-chip diffractive optics”为题发表在《Nature Communications》。

随着半导体技术和新型计算架构的长足发展，人工神经网络(ANN)相关的机器学习应用被广泛应用于计算机视觉、自然语言处理、情感检测、语音识别、医学图像分析和决策等多个领域。然而，为了及时解决复杂的任务，人工神经网络需要大量的资源，包括计算速度和能源消耗。近几十年来，光神经网络(optical neural network, ONNs)由于其低功耗和超高计算带宽的优点而受到了人们的广泛关注，这是电子神经网络所无法比拟的。本文提出了一种基于绝缘体硅（SOI）平台的片上衍射光学神经网络(DONN)，以执行高集成度和低功耗的机器学习任务。为了验证所提出的DONN，研究人员制作了占地面积分别为0.15 mm²和0.3 mm²的1隐藏层和3隐藏层片上DONN，并通过实验验证了其在Iris植物数据集分类任务中的性能，准确率分别为86.7%和90%。在此基础上，设计了一种基于3层隐藏层的芯片上DONN对改进的国家标准与技术研究所手写数字图像进行分类。所提出的无源片上DONN提供了一种潜在的解决方案，可以加速未来人工智能硬件的性能增强，并促进了光子集成器件在许多其他领域的潜在应用。

为了演示片上DONN的性能，研究人员基于绝缘体硅(SOI)平台制作了片上1隐藏层DONN (DONN- I1)和片上3隐藏层DONN (DONN- I3)来解决Iris植物数据集上的分类任务。将相邻HL之间的间距设置为250 μm。芯片上的DONN-I1和DONN-I3对盲测试集的良率精度分别为86.7%和90%。此外，研究人员提出了一种算法，通过额外的相位和功率校准来实现，补偿由芯片制造和实验实现阶段引起的系统误差，这可以增加系统的抗噪声。此外，为了进一步验证所提出的片上DONN的性能，研究人员设计了一个用于改进的国家标准与技术研究所(MNIST)分类任务的3隐藏层DONN (DONN- M3)，在数值计算和实验测试中分别获得了96.3%和86.0%的盲测试集精度。

片上DONN模型由片上电磁传播、前向和误差后向传播以及神经元映射过程组成。基于限制传播条件下的惠更斯-菲涅耳原理，改进了片上电磁传播模型。在片上DONN中，如图1a所示，可训练参数为相位值，必须由衍射单元物理实现。每个衍射单元(DU)是一个槽组，由三个相同的SSSD组成的二氧化硅填充;研究人员将这个槽组记录为单个神经元。对于片上DONN，连接每个隐藏层的权值W(k)是固定的，通过设计DU的大小来获得不同HLs上的可训练相位值。

图1片上衍射光学神经网络(DONN)原理图及逻辑图。

Iris分类器

芯片上的DONN-I1和DONN-I3是通过Iris植物数据集上的分类任务进行设计和验证的。首先，将输入特征调制到输入光的相位上，然后利用光学相位编码的数据集，采用自适应矩估计(Adam)优化器对片上DONN的参数进行训练。然后，将预训练的参数映射到硅基结构上。此外，为了最大限度地提高神经元映射过程的准确性，考虑了HL之间的距离。

在这项研究中，提出的片上DONN是全光学的，用于通过透射光的干涉解决复杂的任务。激光器的工作波长为1.55µm。片上DONN-I3的原理图如图2所示。芯片上的DONN以光速和被动的方式实现推理和预测机制;此外，它还可以应用于许多领域，包括计算机视觉、自然语言处理和图像识别。片上DONN应用场景的概念图如图3所示。

图2:片上DONN-I3结构示意图。该原理图包括三个隐藏层，隐藏层中的每个神经元由三个相同的硅槽组成，其中填充了代表复值传输系数的二氧化硅。通过深度学习训练每一层的传输系数，在网络的输入和输出平面之间执行一个函数。然后，在片上制作DONN后，DONN以被动的方式以光速执行学习的功能。相邻槽d之间的中心距离为500nm，填充二氧化硅的硅槽群周期为1.5 μm，槽w的宽度为200nm，槽h的厚度为220nm，光传播层厚度t1为220nm。在x轴上，相邻HL之间的距离为250 μm;在y轴上，每个HL的长度为280 μm。

图3:用于各种任务的多通道片上DONN的概念图。不同信号的特征被提取并编码到光的相位、振幅或偏振上。然后，将包含光学信息的输入信号输入到片上的DONN中进行后续计算。

在片上DONN模型的基础上，对片上DONN- I1和DONN- I3进行了优化，并用于Iris植物数据集的分类。数据集按照8:2的比例分为训练集和测试集。通过数值计算，片上DONN-I1和DONN-I3的分类准确率分别为86.7%和90%。此外，利用2.5D变分时域有限差分(FDTD)验证了片上DONN-I1的性能;仿真结果的分类准确率为86.7%。2.5D变分时域有限差分法与数值计算的分类预测匹配度为100%。图4给出了Iris植物的仿真预测过程以及FDTD仿真的输出波形。这些理论研究包括附加的数值计算过程、相关关键参数和计算结果。

图4:提出的片上DONN-I1的仿真结果。D1、D2、D3分别代表IrisSetosa、Versicolor、Virginica的不同花种的预测。图中红色虚线表示隐藏层(HL)的位置。a Setosa的预测;也就是说，D1的幂应该大于D2和D3的幂。这里，预测结果是正确的。b (a)的输出波形，其中红色标记为检测区域，每个探测器宽8µm，相邻探测器之间的中心间距为70µm。c Versicolor预测;D2的次幂大于D1和D3的次幂。因此，预测结果是正确的。d (c)输出波形。e Virginica预测;D3的次幂大于D1和D2的次幂;因此，预测结果是正确的。f (e)输出波形。

对于Iris分类器，基于SOI平台制作了片上DONN-I1和DONN-I3，其显微图分别如图5a和图5c所示。经过加工测试后，将芯片进行包装，便于后续实验。在此基础上进行了实验试验。

图5:片上DONN-I1和DONN-I3样品结构、实验流程和测试结果。a, c片上DONN-I1 (a)和DONN-I3 (c)的显微照片。b在显微镜100 ×镜头下的部分槽阵列特写视图。d实验补偿测试过程，其中Vi+ΔVi为输入电压，用于加载输入信号，补偿系统误差。Vi为数据集原始信号对应的加载电压，ΔVi为相位补偿过程中通过优化算法得到的补偿电压，αi为输出功率补偿因子，用于补偿系统误差。e封装后的芯片示意图。f, g补偿前(f)和补偿后(g)测试集中样品的实验测试结果。样本的输入特征属于Versicolor;因此，其正确的预测结果是D2的幂应最大。F和g表示补偿后，预测结果得到修正，从错误结果为(f)到正确结果为(g); CPU是中央处理器的缩写;DAC是数模转换器的缩写;PS是移相器的缩写;P1、P2、P3分别代表不同输出端口检测到的光功率。

对于Iris分类器，片上DONN-I1和DONN-I3不加补偿的测试准确率分别为56.7%和60.0%，与理论计算的86.7%和90%有显著差异。相位误差是在制作过程中产生的，光传播过程中的误差累积对片上DONN的性能影响很大。当然，除了芯片制作过程带来的误差外，实验过程中输入信号加载和输出信号检测阶段也会带来系统误差。因此，采用相位补偿和功率补偿相结合的算法补偿方法来减小误差带来的负面影响。因此，当采用外部算法补偿时，片上DONN-I1和DONN-I3的实验测试精度分别提高到86.7%和90%。图6为引入误差补偿算法前后片上DONN-I1和DONN-I3的实验测试结果。从补偿结果可以看出，补偿方法是显著有效的，补偿结果与理论计算一致。

图6:片上DONN-I1和DONN-I3的实验测试结果。a无补偿的片上DONN-I1实验结果的混淆矩阵。b补偿后DONN-I1实验结果的混淆矩阵。c, d片上DONN-I3补偿前(c)和补偿后(d)实验结果的混淆矩阵。

片上DONN-M3对10000台盲试台的数值计算精度为96.3%。研究人员从10000个盲测试集中随机抽取100个手写数字进行实验验证，在外部误差补偿场景下，分类准确率达到86.0%。片上DONN-M3封装过程的相关图片如图7a-c所示。芯片上DONN-M3结构的显微照片如图7d所示，衍射单元的扫描电镜特写如图7e所示。实验测试结果的混淆矩阵如图7f所示。

图7:片上DONN-M3结构、实验流程及测试结果。a、b、c接线包装后的图片。d片上DONN-M3显微照片，其中黄色虚线框部分为本次实验的芯片结构。e衍射单元的扫描电镜图像。f片上DONN-M3实验结果混淆矩阵。g, h, i分别为手写数字3,5,9的识别结果。

本文提出并制作了基于SOI平台的全光学片上DONN。与传统的ANN相比，片上DONN可以以更快的速度和更低的延迟和功耗水平执行复杂的功能。需要注意的是，本研究仅在输出层中使用了非线性激活，如果在片上DONN系统的每个隐藏层中都考虑了非线性激活函数，推理任务的结果将会得到改善。因此，研究人员将在未来的工作中结合PCM来考虑非线性函数在片上的实现。此外，相对于其他ONN，所提出的片上DONN具有结构设计简单、全光学无源操作和大规模神经元集成等优点。这种片上DONN架构是加速未来人工智能硬件性能提升的潜在解决方案。

文章来源：

https://www.nature.com/articles/s41467-022-35772-7

文章评论

上一篇：《Nature》：光电应用的KTiOPO4晶体的水热法生长的研究
下一篇：富兰克林之后新的避雷针诞生？最新Nature子刊：闪电跟着激光“走”了50多米

联盟动态

News

联盟动态

《Nature Communications》：基于片上衍射光学的光子机器学习应用的研究

文章评论

最近更新