越来越难通过硬件来提升手机的相机性能了,计算摄影(computational photography)成为努力的一个方向。Google 和 MIT 的研究人员开发出一个算法,能够在你拍照之前,像专业摄影师一样实时地润饰照片。
软件是通过机器学习打造出来的,用 50 000 张照片训练神经网络。每张照片由 5 个摄影师进行润饰,让算法以此学习如何修饰改善图片。
使用机器学习改善图片并不新鲜,这个研究真正重要的是:把算法瘦身,从而可以有效地运行在用户的设备上而不会有任何延迟。软件相等于一张数码照片大小,且能够处理多种风格的照片。
这意味着神经网络可以用新的照片集来进行训练,甚至学习重现某个摄影师的个人风格,这类似于 Facebook、Prisma 公司所打造的“艺术滤镜”产品。
实际上,智能手机和相机本来就在实时处理图像数据,但这种新技术更微妙,更具有现场感,是根据每一张照片而做出反应,而不是应用一个通用的规则。
研究人员使用了新的办法将算法瘦身,这包括将应用于每张图片的变化转化为公式,使用网格状坐标绘制图片。换句话说,润饰照片本质上是通过数学工具完成的,而不是从整张图片的角度进行。
这项技术在移动设备上的实时图像增强方面应用潜力巨大。使机器学习服务于计算摄影本来是很有前景的,但受限于手机表现一般的计算和功率水平。
这项技术不太可能部署在 Google 下一代 Pixel 手机中。Google 从 Nexus 6 开始就使用 HDR+ 算法显现光影中的细节。对于计算摄影相机或者软件定义的相机的概念,在 Google Research 里领导计算摄影团队的 Marc Levoy 去年曾表示,“我们才刚刚摸到点皮毛”。
https://www.theverge.com/2017/8/2/16082272/google-mit-retouch-photos-machine-learning
软件是通过机器学习打造出来的,用 50 000 张照片训练神经网络。每张照片由 5 个摄影师进行润饰,让算法以此学习如何修饰改善图片。
使用机器学习改善图片并不新鲜,这个研究真正重要的是:把算法瘦身,从而可以有效地运行在用户的设备上而不会有任何延迟。软件相等于一张数码照片大小,且能够处理多种风格的照片。
这意味着神经网络可以用新的照片集来进行训练,甚至学习重现某个摄影师的个人风格,这类似于 Facebook、Prisma 公司所打造的“艺术滤镜”产品。
实际上,智能手机和相机本来就在实时处理图像数据,但这种新技术更微妙,更具有现场感,是根据每一张照片而做出反应,而不是应用一个通用的规则。
研究人员使用了新的办法将算法瘦身,这包括将应用于每张图片的变化转化为公式,使用网格状坐标绘制图片。换句话说,润饰照片本质上是通过数学工具完成的,而不是从整张图片的角度进行。
这项技术在移动设备上的实时图像增强方面应用潜力巨大。使机器学习服务于计算摄影本来是很有前景的,但受限于手机表现一般的计算和功率水平。
这项技术不太可能部署在 Google 下一代 Pixel 手机中。Google 从 Nexus 6 开始就使用 HDR+ 算法显现光影中的细节。对于计算摄影相机或者软件定义的相机的概念,在 Google Research 里领导计算摄影团队的 Marc Levoy 去年曾表示,“我们才刚刚摸到点皮毛”。
https://www.theverge.com/2017/8/2/16082272/google-mit-retouch-photos-machine-learning
评论
发表评论