首页 > IT业界 > 正文

谷歌发布球形光场捕捉方案,微美全息光场AI打造沉浸式场景体验

2020-07-03 14:24:12  来源:北国网

摘要:近日,谷歌发布了一项新的球形“光场视频”捕捉方案,以提升沉浸式媒体技术。它将传统的摄影和视频以更加身临其境的3D方式呈现,可以使用户随时改变观看视角,甚至可以观察到画面内物体的细节。
关键词: 谷歌
       近日,谷歌发布了一项新的球形“光场视频”捕捉方案,以提升沉浸式媒体技术。它将传统的摄影和视频以更加身临其境的3D方式呈现,可以使用户随时改变观看视角,甚至可以观察到画面内物体的细节。这项新技术将会在今年8月举行的SIGGRAPH上展出。从1974年开始,SIGGRAPH每年都会举办一次年会,绝大部分计算机图技术软硬件厂商每年都会将最新研究成果拿到SIGGRAPH年会上发布,大部分游戏的电脑动画创作者也将他们本年度最杰出的艺术作品集中在SIGGRAPH上展示。

  据悉,谷歌的这项光场捕捉方案是一个球型结构,这一92厘米直径大的球由46个摄像头组成。这个方案的原理类似于苍蝇的复眼,每一个摄像头可以从不同的角度捕捉周围的场景,将多方向的视角合并为一个视角。

\

  相机的视图

  相比于现有VR视频中采用的普通3D立体效果,光场摄影具备更多视角,空间立体感更强。

  在谷歌呈现出的视频中,画面可以随着用户的视角进行转变,用户可以看到不同角度的图像,这样的图像看起来更真实,并且具有动态效果。

\

  谷歌研究人员曾在SIGGRAPH 2018大会展示过类似的研究,当时他们在沉浸式VR中引入了具有图片真实感的光场静止图像。而今年推出的全新系统增加了视频要素,为用户提供了一个更为动态的虚拟环境,使用户可以浏览跨度超过180°的场景。

  据悉,该方案可拍摄6DoF场景视频,经过压缩后可在AR/VR头显或网页端播放。此外,光场视频的体积之小足以通过常规Wi-Fi传输,从而大大促进了沉浸式AR和VR领域的进步。

  谷歌这项在光领域研究的新成果,为消费者提供了一种真正的沉浸式体验。在疫情期间,大多数人不得已居家办公,因此移动设备中的图片和视频的利用率越来越高。这一成果的研究人员希望沉浸式光场图像和视频能够在未来的AR和VR平台中,能够像移动设备的图像视频那样在人们的生活中发挥重要作用。

  不止谷歌,众多巨头纷纷布局

  苹果在AR领域的布局由来已久。据外媒报道,苹果公司日前证实,已收购英国视觉效果公司IKinema。IKinema是一家主要提供为游戏和虚拟现实等行业提供动画技术的动捕公司,专业从事于支持虚拟角色实现实时动画的技术。据悉,IKinema的动作捕捉技术已经被微软、迪斯尼、福克斯和腾讯等客户使用。如今,苹果可能会利用这次收购来改进其AR(增强现实)产品,强化Animoji/Memoji等。

  近期Facebook证实正在研发增强现实(AR)眼镜,并宣布了名为“Live Maps”的项目。Live Maps使用机器视觉、本地化和众包绘图技术生成一个反映物理世界的共享虚拟地图。Facebook将利用从其24亿用户中收集的大量数据来构建Live Maps,提取带有地理标记的图像来生成“点云”,并创建精确的虚拟地球。

  无独有偶,据外媒报道,阿里同意投资世界领先增强现实美容初创公司Perfect。阿里将使用Perfect公司的YouCam虚拟试穿技术,当商家在其淘宝和天猫在线购物平台上出售口红和眼线等产品时,该技术允许消费者在购买前查看它们在自己脸上的使用效果。

  阿里还在早些时间收购了以色列初创公司Infinity Augmented Reality,后者是一家将增强现实头显转变为内容增强平台的操作系统提供商,该系统基于自内向外的同步本地化和映射解决方案。

  作为国内全息视觉AR的代表企业,微美全息(WIMI.US)专注于计算机视觉全息云服务。据介绍,微美全息覆盖从全息计算机视觉AI合成、全息视觉呈现、全息互动软件开发、全息AR线上及线下广告投放、全息ARSDK支付、5G全息通讯软件开发、全息人脸识别开发、全息AI换脸开发等全息AR技术的多个环节,是一家全息云综合技术方案提供商。其商业应用场景主要聚集在家用娱乐、光场影院、演艺系统、商业发布系统及广告展示系统等五大专业领域。自成立以来,微美全息以泛娱乐文化为切入点,其开发的微美全息全息体验馆是中国虚拟现实体验的创领者,同时还深入挖掘AR全息产业链最具商业价值的环节,围绕AR全息产品和解决方案,AR全息内容分发平台和运营及服务为重点,初步形成了完整的AR全息产业链业务布局。

  微美全息技术,简单来说就是通过AR全息科技,让观众可裸眼观看全息人物或场景在现实中的真实还原,仿真度高达98%以上,身临其境,用户体验可以用叹为观止来形容微美全息将全息技术与娱乐模式相结合,观影者能够成为电影/舞台中的角色,介入影片/舞台事先设置的环境与剧情,让观影者身临其境般感受到自己就是电影/舞台里的一分子,观影者就是影片里的主角或是其中一员,并持续与影片/舞台内容产生交互作用。

  微美领先的全息AR内容制作功能围绕图像采集、对象识别、自动图像处理和计算机视觉技术而构建。微美的软件工程团队和可视化设计团队紧密合作,不断推进这些可视化相关技术,并利用它们设计和生产创新的全息AR内容。通过提供精确姿态估计的实时计算机视觉算法,能够在几秒钟内执行场景识别和跟踪。这种尖端算法还允许微美以像素为基础执行照片级真实高分辨率渲染的可视化。Frost&Sullivan表示,虽然大多数同行公司可能会识别并捕获特定空间单位内的40到50块图像数据,微美可以收集的数据块数量达到500到550;微美的图像处理速度比行业平均水平提高了80%,从而提高了运营效率。在场景重建过程中,微美的自动图像处理工具可以对最初拍摄的图像进行噪声清除和特征增强,从而能够创建具有业界领先模拟度的同类最佳全息AR设计。

  在招股书里显示,随着5G全息通讯网络带宽条件变化,5G全息应用市场将迎来爆发,全息互动娱乐、全息会议、全息发布会等高端应用逐步向全息社交、全息通讯、全息导航、全息家庭应用等方向普及。微美全息云计划基于全息AI人脸识别技术和全息AI人脸换脸技术为核心技术,用多个技术创新的系统支持全息云平台服务和5G通讯全息应用。

  微美全息(WIMI.US)通过构建多角度拍摄实时建模系统:对采集对象进行全维度的影像扫描,实时合成为立体模型。六度矩阵式光场系统:多光源综合运用,构建全息虚拟影像的成像场。双眼视差智能增强系统:采集过程中动态跟踪对象轨迹并调整光线,保持双眼差的均衡值。多图像动态融合系统:狭窄空间中的多维图像广角采集技术,应用于云视小型化全息栈仓。全息图像高速处理算法:对图像信息进行极速处理,并保证渲染效果,处理速率达10GB/秒。隐身聚酯光学显像膜:全息成像关键构件,让全息影像完美成像显示。全息虚拟人物画音重建技术:运用人骨骼动态捕捉,图像实时渲染,语音识别技术,声音模拟技术呈现虚拟人。全息云平台:覆盖全国的影像采集和还原,具有数据存储、影像还原、全息社交属性的交互平台。微美全息通过以上系统组合构建起完整的5G全息通讯应用平台,以支持各种线上终端和个人设备应用,同时拓展全息社交通讯、全息家庭互动、全息明星互动、全息在线教育、全息在线会议等各种主流5G全息应用。

  微美全息(WIMI.US)招股书显示,全息云业务将与5G深度结合,在5G的高速率与低延时的协作下,远程通讯与数据传输,从系统终端到业务服务器传输时延平均6ms左右,远低于4G网络传输时延,保障了全息AR的远程通讯与数据传输中的无卡顿、低时延,以及多终端异地协同,时交互的丰富性和多样性。使得端+云协同的协同更加高效。增强型移动宽带(eMBB)和物联网(IoT)应用,使得微美全息云的全息AR广告业务与全息AR娱乐业务,以及全息互动娱乐、全息会议、全息社交、全息通讯、全息家庭全息等,都将基于5G+AI人脸识别技术和全息AI人脸换脸技术的核心技术获得有效增长。

  回顾4G发展历程,通信网络设备在发放牌照当年先取得显著受益,终端产业链紧随其后,4G时代爆款应用包括流媒体播放、“吃鸡”游戏、直播应用等,为大众娱乐方式带来较大变革。

  5G具备高速度、大流量、低延迟、多连接等诸多革新,在5G时代,高速率和低延时的传输特性有望显著提升VR/AR产品的用户体验。5G+云渲染大幅提升应用显示效果,降低硬件成本,助力VR/AR普及。技术创新持续取得突破,不断推动产品升级,为VR/AR的普及进一步扫清障碍。

  随着5G商用和人工智能的落地,万物互联近在眼前。视频作为核心信息和功能载体的移动互联网新入口——视联网,也孕育下一个万亿级的产业生态。视联网加速发展下,将有利于全息AR产业的成熟和升级。伴随智能硬件的不断升级、应用生态的蓬勃发展、大众认知度的不断提升,相信全息AR行业会迎来快速爆发的一天。


第三十届CIO班招生
法国布雷斯特商学院硕士班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训
责编:chenjian