Google 街景里的 360 度全景照片有时候看起来并不自然，比如建筑物边缘出现的偏移或断裂现象。如果使用手机上的街景应用（Street View app）拍摄全景照片，这种情况可能更为严重。其他拍摄全景的设备也存在这个问题。这是多张照片没有很好缝合的缘故。
拍摄街景的相机是由一组 15 个相机构成，分布在一个球形表面；用手机去拍摄全景照片时，用户是站在一个固定的位置通过旋转身体来拍摄多张不同方向照片。两者都需要软件对照片进行拼接，而拼接往往并不完美。
基于光流法（Optical flow），Google 开发出一个新的算法，试图解决街景照片无法无缝对接的问题。总体的构想是，微妙地扭曲每一张输入照片，使图片的重合区的内容可以对齐。
Google Research 在博客里介绍了具体做法。简单说，这个过程分为两步。（1）确定每一对照片的重合区的对应像素（corresponding pixel）位置。（2）全局优化。扭曲照片，同时对齐重叠区域的所有对应点。
据 TechCrunch，使重叠区像素一一对应后，有一个简化数据集的过程，消除那些没有足够视觉结构数据的对应点（比如建筑物边缘），从而准确地计算一张图片到另一张图片的光流。
这个新算法的效果显著，从示例图中可以明显感受到差别。其挑战在于：确保图片的其余部分看起来“正常”。
Google 的办法类似于之前有学者发表论文所报道的“消幻影”全景的工作。那篇论文的标题是：Construction of Panoramic Image Mosaics with Global and Local Alignment（全局和局部对齐全景图像拼接的构建）。
Google 的办法的新意在于预测了密度和平滑的对应性（dense, smooth correspondences）。研究人员还解决了一个最终扭曲非线性优化的问题。
新的算法已经应用到 Google 街景的拼接工作中，一些之前扭曲、断裂、变形的全景照片可能很快就会变得正常起来了。
1. https://research.googleblog.com/2017/11/seamless-google-street-view-panoramas.html
2. https://techcrunch.com/2017/11/09/googles-improved-image-blending-means-a-more-seamless-street-view/
 |
| 一张手机拍摄的出现错位现象的球形照片的局部 |
拍摄街景的相机是由一组 15 个相机构成，分布在一个球形表面；用手机去拍摄全景照片时，用户是站在一个固定的位置通过旋转身体来拍摄多张不同方向照片。两者都需要软件对照片进行拼接，而拼接往往并不完美。
基于光流法（Optical flow），Google 开发出一个新的算法，试图解决街景照片无法无缝对接的问题。总体的构想是，微妙地扭曲每一张输入照片，使图片的重合区的内容可以对齐。
Google Research 在博客里介绍了具体做法。简单说，这个过程分为两步。（1）确定每一对照片的重合区的对应像素（corresponding pixel）位置。（2）全局优化。扭曲照片，同时对齐重叠区域的所有对应点。
据 TechCrunch，使重叠区像素一一对应后，有一个简化数据集的过程，消除那些没有足够视觉结构数据的对应点（比如建筑物边缘），从而准确地计算一张图片到另一张图片的光流。
这个新算法的效果显著，从示例图中可以明显感受到差别。其挑战在于：确保图片的其余部分看起来“正常”。
Google 的办法类似于之前有学者发表论文所报道的“消幻影”全景的工作。那篇论文的标题是：Construction of Panoramic Image Mosaics with Global and Local Alignment（全局和局部对齐全景图像拼接的构建）。
Google 的办法的新意在于预测了密度和平滑的对应性（dense, smooth correspondences）。研究人员还解决了一个最终扭曲非线性优化的问题。
新的算法已经应用到 Google 街景的拼接工作中，一些之前扭曲、断裂、变形的全景照片可能很快就会变得正常起来了。
1. https://research.googleblog.com/2017/11/seamless-google-street-view-panoramas.html
2. https://techcrunch.com/2017/11/09/googles-improved-image-blending-means-a-more-seamless-street-view/
评论
发表评论