VR制作与拼接方法

一、VR视频拍摄制作方法

（1）VR视频拍摄

VR 视频拍摄以采集点为观察点拍摄包含场景所有方向的视觉画面，如 360°×360°VR 视频、180°×180°VR 视频。拍摄 VR 视频的采集装置通常由多个摄像机呈环形或球面排列组成，VR 视频由每个摄像机采集的视频拼接而成。VR 视频提供**人称视角的视觉体验，用户固定观看位置，支持头部转动，以头部为中心转动选择视角方向，观看相应方向的画面。

目前由多摄像机多镜头组成的 VR 视频采集装置虽没有达到广播级拍摄能力，但已经可以输出高质量的全景视频。配合现有高端手机具备的 8K 解码能力，以及HMD 和手机具备的灵活交互能力，VR 视频已较好地应用于直播等场景。

（2   ）计算机图形学制作

CG 制作是通过计算机实时计算、渲染出虚拟的场景和实体。CG 制作计算量大，对 CPU 和 GPU 的性能要求较高，目前主要用于 VR 动画等。

（3 ）实拍抠像结合 CG 制作

实拍抠像是在蓝、绿色抠像影棚拍摄主体影像，包括人物、道具等，后期加入CG 制作的背景和环境，或者 CG 制作的其它元素，与实拍影像进行高度融合，达到真实的效果。

二、VR视频拼接方法

常用的视频拼接算法可分为基于变换的图像拼接算法和基于拼接线的图像拼接算法。

基于变换的图像拼接算法的核心思想是通过对单应性矩阵进行调整，通过网格化的扭曲使重合区域拼接的缝隙尽可能减小，该算法适合小视角变换的情况。代表性算法有 AutoStitch、APAP、ANAP、GSP 等。

基于拼接线的图像拼接算法核心思想是通过对图像拼接线部分的重新调整，确保拼接的自然性，该算法适合大视角变换的情况。代表性算法有：Seam-Driven、Parallax-Tolerance 等。

（1   ） AutoStitch

AutoStitch （Automatic Panoramic Image Stitching）算法是 2007 年 M. Brown和 D. Lowe 提出的，该算法主要是通过单应性变换重建视场，进而完成图像拼接。

AutoStitch 算法的特点是：使用概率模型进行特征点筛选、使用光束平差进行位置优化、使用多波段方法进行图像融合。

（2   ） APAP

APAP（As-Projective-As-Possible Image Stitching with Moving DLT）算法是 2013 年 Zaragoza. J.，Chin. T. J.和 Brown. M. S.提出的，是一种基于变换的图像拼接算法。APAP 算法改进了AutoStitch 算法中默认光心不动的缺陷，从而优化了拼接后的重影/鬼影问题。

APAP 算法的特点是：引入了网格化，针对图像的不同区域进行加权计算，优化了重合处的效果。

（3） ANAP

ANAP（Adaptive As-Natural-As-Possible Image Stitching）算法是 2015年 Lin. C. C.，Pankanti. S. U.和 Ramamurthy. K. N.提出的，该算法主要是通过对单应性矩阵进行线性过渡，考虑旋转角度，尽可能地恢复图像的自然性。

ANAP 算法的特点是：对重叠区域和非重叠区域进行不同处理、采用全局相似变换提高图像自然性、对变换矩阵采用线性过渡。

（4 ） GSP

GSP（Natural Image Stitching with the Global Similarity Prior）算法是 2016 年 Chen. Y. S.和 Chuang. Y. Y.提出的，该算法主要是提高全景图自然性的同时，提高拼接的准确性。

GSP 算法的特点是：使用 APAP 增加优化的匹配点数，使用不同优化项进行优化，使用直线检测，设置旋转阈值，进行二维和三维优化。

（5 ） Seam-Driven

Seam-Driven（Seam-Driven Image Stitching）算法是 2013 年 Gao. J., Li.Y.和 Chin. T. J.提出的，该算法主要是找到两幅图片的拼接线，通过拼接线对图像进行融合。

Seam-Driven 算法的特点是：使用拼接线对两幅图片进行拼接，求解多个单应性模型并进行评估，选择**结果。

（6 ） Parallax-Tolerance

Parallax-Tolerance（Parallax-Tolerant Image Stitching）算法是 2014年 Zhang. F.和 Liu. F.提出的，该算法主要是提高大视差场景下的效果。Parallax-Tolerance 算法的特点是使用了视频去抖动方法的优化项。