清华大学报道基于衍射与偏振深度线索融合的拓展场景单目三维成像

清华新闻网6月18日电三维视觉在机器与人工智能感知和交互世界的过程中提出了关键的作用。目前三维视觉的三维成像技术，如结构光、飞行时间法以及双/多目立体，三维视觉虽然近年来取得了长足的进展，但其体积成本和功耗普遍远高于二维相机，同时点云分辨率仍存在一定的限制。近年来备受关注的单目三维视觉虽然在一定范围内缓解了这些问题，但仍对弱纹理场景呈现差、难以重建表面复杂形貌等缺陷。此外，现有的曲面三维成像方案普遍存在一些失效情况，如高度面透明或镜面反射物体时表现不佳。

针对上述挑战，清华大学精密仪器系杨原牧副教授团队提出了一种创新性的存在的拓展单三维目（Extended）单目3D，该系统采用一种易于量产的折衍混合图表，并结合分焦面旋转CMOS传感器组成的紧凑型单目相机，可瞬时获取捷径和路径两个深度线索。通过多阶段融合处理这两个线索的计算推理算法，实验成功实现了对传统三维成像中难以实现的弱纹理、高复杂度、高反射或近乎透明等场景进行百万像素级别的精确点云采集，且消耗依赖先验数据。更重要的是，结合深度与深度信息拓扑进一步识别材料属性，从而避免提升机器视觉在目标识别与活体检测等方面的能力。

北京时间6月13日，相关研究成果以“基于迭代与深度线索融合的拓展单目三维网格图”（扩展）通过融合基于衍射和偏振的深度线索的单目 3D 成像）为题，在《光学》（Optica）期刊在线发表。

图1. 基于短路与尖端精度尖端融合的外接单目三维测量系统框架

EM3D系统的核心架构如图1所示。基于短路（即点扩散函数工程）的深度尖端具有绝对深度精度，且不依赖主动光源；但其缺点是对物体纹理有一定要求，难以捕捉精度。而基于短路测量短路电流方向的方法可在无纹理情况下获取表面细节，但其表面法线方向可能存在歧义，同时无法提供绝对深度值。二者优缺点互补明显。EM3D系统中的单目集成了调制点扩散函数的导电光学元件（DOE）与分焦面行走CMOS传感器，能够实现两种深度线索的同步快照采集，为后续融合算法提供了基础。

图2. 传统易失效场景下的三维成像实验结果（a）弱纹理纸箱（b）高度反光金属罐（c）近乎透明玻璃烧杯（d）复杂面型活体人脸（e）多个复杂物体

图2展示了EM3D系统在多个传统三维成像难点场景中的表现，包括弱纹理纸箱、高反光金属罐结果显示，另外利用传导或尖端收敛得到的三维图像均一误差和粗糙问题，而EM3D两种尖端后成功获得了精细的百万像素级点云数据，所有场景的绝对误差误差控制在0.2以内。

图3. 利用材料特性实现肢体动作的实验结果（a）场景导航（b）-（c）传统推理系统的逻辑效果（d）-（f）EM3D系统的逻辑效果

除了生成高精度三维点云之外，EM3D还具备传统二维或三维点云所不具备的空中导航能力。

3，在所示的机器人需要从桌面三个不同的工件中快速完成一个任务中，传统的颜色、近红外或积分推理方式均难以区分三者。而EM3D不仅能够提供准确的三维定位信息，还能结合坐标与深度信息提供材料特征，分辨出不同材质的工件。这种集成于单目相机内的多模式状态成像功能将极大增强预设空间内机器视觉系统的能力。

该系统使用的透镜由可大规模生产的DOE与单一几何图形构成，通过优化多片折衍混合透镜设计，可进一步提升成像质量。增加镜头孔径后，深度测量范围可扩展至百米级别。借助标准镜头模组制造工艺或晶

本研究由清华大学精密仪器系与精密测试技术与仪器国家重点实验室联合完成。清华大学精密仪器系2021级博士生沈子程与博士后赵峰为论文共同第一作者，杨原牧副教授与赵峰博士为通讯共同作者。一博也专题研究做出了重要贡献。获得了北京市科技计划、国家重点研发计划、国家自然科学基金及博士后上基金的支持。

以上就是清华大学报道的基于心率与人力深度线索融合的拓展场景项目单目三维理论的详细内容，更多请关注乐哥常识网其他相关文章！