三维视觉研究组（李坤）·天津大学导师团队

团队简介

Team Introduction

2006年6月毕业于北京邮电大学，获工学学士学位；2011年6月毕业于清华大学，获工学硕士博士学位。2012年7月至2012年9月为瑞士联邦洛桑理工学院EPFL访问学者；2014年10月至2015年10月为瑞士联邦理工学院EPFL博士后。研究团队隶属于天津大学智能与计算学部的视觉计算与高性能计算组，还隶属于天津大学智能计算成像与重建交叉学科组。近年来主持并参与了多项科研项目，包括国家自然科学基金青年项目、面上项目、国家重大研究计划重点支持项目、天津市面上项目、军工项目、企业项目等。积极推进国内外的交流与合作，与瑞士联邦理工学院（EPFL）、英国卡迪夫大学、清华大学、华为研究院、日本VRC公司等多所国际名校名企有密切的交流与合作。部分学生与清华大学联合培养，一起召开每周组会等。相关研究成果发表在CVPR、ECCV、IEEE Trans. IP、IEEE Trans. VCG、IEEE Trans. CSVT和IEEE JSTSP等知名国际期刊与会议中。获软件著作权1项，专利授权21项，并已有9项专利成功实现了技术转让。入选首批北洋学者青年骨干教师计划、北洋青年学者计划、优秀青年人才成长助推计划；入选天津市“131”创新型人才培养工程。

更多研究成果信息请参见个人主页：http://cic.tju.edu.cn/faculty/likun

QR_likun

研究方向Research Directions

计算机视觉, 计算机图形学, 多媒体处理, 人工智能, 三维重建, 运动捕捉

2. 机电结构优化与控制研究内容：在对机电结构进行分析和优化的基础上，运用控制理论进行结构参数的调整，使结构性能满足设计要求。1. 仿生结构材料拓扑优化设计, 仿生机械设计研究内容：以仿生结构为研究对象，运用连续体结构拓扑优化设计理论和方法，对多相仿生结构(机构)材料进行2. 机电结构优化与控制研究内容：在对机电结构进行分析和优化的基础上，运用控制理论进行结构参数的调整，使结构性能满足设计要求。1. 仿生结构材料拓扑优化设计, 仿生机械设计研究内容：以仿生结构为研究对象，运用连续体结构拓扑优化设计理论和方法，对多相仿生结构(机构)材料进行整体布局设计。整体布局设计。

团队展示

项目情况

近年来主持并参与了多项科研项目，包括国家自然科学基金青年项目、面上项目、国家重大研究计划重点支持项目、天津市面上项目、军工项目、企业项目等。

主要研究成果

虚拟现实智能建模技术是国家新一代人工智能关键共性技术体系的重要组成部分，而动态场景三维重建是智能建模的核心技术。视角可变与运动可变的全方位认识带给人们视觉上的立体感、沉浸感和新鲜感，在军事、医疗、体育、娱乐等领域有着广泛的应用前景。美国媒体信息处理理论的奠基者David Marr 在其1982 年出版的著作中指出：人类视觉的主要功能是复原三维场景的可见几何表面，从二维图像到三维几何结构的复原过程是可以通过计算完成的。然而，现实动态场景存在对象遮挡、非规则运动、复杂纹理等特性，给动态场景三维重建带来了诸多挑战：1. 复杂异构对象的几何与运动表示机理尚未清晰且自身遮挡严重；2. 多对象之间存在交互和运动的非规则性；3. 现有低成本降质采集条件下难以精确恢复几何运动纹理。这些挑战一定程度上制约了智能建模技术的发展和产业化应用，成为高真实感多媒体应用的主要瓶颈。美国国家艺术与科学院院士Henry Fuchs 教授在2014 年也指出，人的非刚体运动和场景中的多对象运动是动态场景三维重建中的巨大挑战。

针对这些瓶颈挑战性难题，申请人从博士阶段起围绕复杂对象、非规则运动和降质采集下的动态场景几何、运动与纹理重建开展理论和关键技术研究，坚持攻关14年，取得了创新性理论成果和关键技术突破，在虚拟现实、教育、影视制作、立体电视等领域均实现了产业化应用。研究工作的主要创新点如下：

1) 单对象几何运动重建：

单对象的复杂形状运动和自身遮挡是单对象几何与运动重建的根本难题。针对非常有挑战的大动作变形，利用多尺度编码先后解决了非刚性变形中的复杂运动、数据缺失、闭环等问题，形成了一套系统性方法，获得SHREC 2019竞赛的第一名；揭示了几何位置与变换空间的稀疏分布规律，利用稀疏优化理论建立了人体表面点的几何运动编码模型，将传统几何运动估计的求解空间维度降低90%，同时保证求解的精确性和鲁棒性；构建了多视角多光照采集系统（20个摄像机、680个LED构成），实现了视觉场高维空间的微秒级精度协同控制采集和亚像素级校准精度；探索了变分多视角几何优化方法和时空多模信息融合机制，实现了无需模板、全自动、无标记的复杂人体几何运动重建。相关技术已成功应用于产业界。

2) 多对象几何运动重建：

多对象交互遮挡造成的观测受限和运动的非规则性构成了多对象几何与运动重建的核心欠定难题。本团队建立了多对象属性的稀疏先验和非局部先验，刻画了个体相关的本质特征，实现了精确鲁棒的多对象属性特征提取与分解，获得了IEEE国际多媒体与博览会议（ICME）2017最佳论文奖（评奖委员会由42 名多媒体领域顶级学者构成，包括15 名IEEE/ACM Fellow，获奖率0.8%）；探索了高效紧致的特征表示，建立了有效的时空关系图谱，实现了实时多视角多人交互场景的运动捕捉（CVPR Oral）、紧密交互下包括人脸人手姿态在内的全身运动捕捉、室内自然场景的语义理解与三维重建；同时，针对室内多对象重建与理解，建立并发布了国际上唯一一个同时具有高分辨率高真实感的彩色图像、精确的深度图像、像素级的语义标签和数千种不同布局的室内场景仿真数据集。

3) 降质采集下的几何运动纹理重建：

现实的采集、压缩和传输过程会造成观测到的纹理和深度信息降质，如何在降质条件下精确重建几何运动纹理信息是困扰学术界和工业界的难题。本团队探索表象后所隐含的物理特性及多因素的相关性，建立了室外场景污染参数与采集图像公开数据集和几何-运动-纹理数据库，实现了可见性差条件下的精确深度估计和运动自由控制的高真实感动画视频合成。相关技术已成功应用于产业界；建立了深度-纹理相似结构引导的空域自回归表示模型，将16倍深度超分辨率重建误差降低43%，并受邀撰写了专著中的一章；构建了具有时空一致性的稀疏表示空间，将20%毁损下的三维运动恢复误差降低90%，80%毁损下的三维运动恢复误差降低70%；引入稀疏与低秩双重先验模型，将结构性缺失下的纹理重建性能（PSNR）比最好方法提高27.3%。

更多研究成果信息请参见个人主页：http://cic.tju.edu.cn/faculty/likun