在计算机视觉中,三维重建是指根据单视图或者多视图图像重建原始三维信息的过程。单视图缺少深度、多视角信息,基于单视图的三维重建效果较一般。基于多视角图像的三维重建,充分利用了多视角拍摄信息,先对摄像机进行标定,并计算出摄像机的图像坐标系与真实世界坐标系的关系,然后利用多个二维图像重建出三维信息。
广义上,三维重建是指对某些三维物体或者三维场景的一种恢复和重构。重建出来的模型,方便计算机表示和处理。在实际重建过程中,三维重建是对三维空间中的物体、场景、人体等图像描述的一种逆过程,由二维的图像还原出三维的立体物体、场景和动态人体,因此三维重建技术是在计算机中建立表达客观世界的虚拟现实的关键技术。
传统的建模方式多采用建模软件(例如3DMax、AutoCAD等)进行正向设计和建模。同时,对于已有物体、场景则可使用三维扫描仪通过逆向扫描重建后得到模型。基于计算机图形学的图像三维重建方法,因其成本低廉、真实感强、自动化程度高,在诸多场景中得到应用。
当前三维重建技术主要分成两大技术方向:
1.基于视觉几何的传统三维重建
这种三维重建方法研究时间比较久远,技术相对成熟。主要通过多视角图像对采集数据的相机位置进行估计,再通过图像提取特征后进行比对拼接完成二维图像到三维模型的转换,就像利用立体几何中的三视图还原立体图一样。
2.基于深度学习的三维重建
这种方法主要使用了深度神经网络超级强大的学习和拟合能力,可以对RGB或RGBD等图像进行三维重建。这种方法多为监督学习方法,对数据集依赖程度很高,通过各种神经网络主动学习单个或多个角度的二维拍摄照片的物体特征,例如形状扭曲、颜色变化、光感变化等,还原出物体原本的三维模型。由于数据集的收集和标注问题,目前在体积较小的物体重建方向上研究较多。
三维重建在数字城市场景下应用空间巨大。通过对实景三维重建技术的应用,可以实现城市整体、个别建筑或物件的三维实物模型可视化,为城市信息管理系统及智慧城市建设提供实景三维模型平台。