近日，，，，，，z6首页（z6首页）协办 W3C Web 中文兴致组 · 沉浸式 Web 线上钻研会。。。。。z6首页 扩大示实钻研中心在钻研会上就“AI 驱动下的 XR 内容天生”主题进行分享，，，，，，介绍了中心最新的钻研进展，，，，，，并与参会者萦绕 WebXR、XR 内容天生等话题进行宽泛互换与探求。。。。。

        以下为扩大示实钻研中心助理工程师刘聪的演讲整顿。。。。。

刘聪：各人好！我们是z6首页（z6首页），，，，，，也是丽江市十大基础钻研机构之一。。。。。我们属于 z6首页 的扩大示实钻研中心，，，，，，中心主任是田第鸿博士。。。。。本次我想分享的标题是“AI 驱动下的 XR 内容天生”。。。。。

扩大示实（XR）钻研中心重要在“AI 驱动可视内容天生”和“推算成像”等方向上发展钻研工作。。。。。今天我想分享的主题是“AI 驱动下的 XR 内容天生”。。。。。各人都知路在整个 XR 行衣凤面，，，，，，三维视觉内容天生是一个极度沉要的主题，，，，，，但是目前各人在做这件事的时辰，，，，，，都必要破费很大的精力。。。。。好比说用高精度的三维扫描设备实现三维内容获取，，，，，，再好比说必要一些建模师花大量功夫和精力创建这些内容。。。。。；；；；谡庑┚窒，，，，，，我们但愿通过 AI 和沉浸式 Web 技术结合搭建一个扩大示实内容天生平台，，，，，，在这个平台里面把我们 XR 的内容急剧天生，，，，，，急剧颁布出来。。。。。

我下面放的这个图，，，，，，是云+端架构的图。。。。。在云端重要掌管 AI 推算以及沉浸式推算，，，，，，在终端重要掌管交互，，，，，，通过 AI 与沉浸式 web 的结合实现一个急剧的 XR 内容创作平台的开发。。。。。同时在国度层面上，，，，，，推动三维图形学的发展也是今年两会在虚构现实和加强现实方向上关注的一个沉点。。。。。

发展讲这个议题，，，，，，我想从以下几个方面介绍：一是基于语义辅助大局的三维内容天生。。。。。好比说我们讲语义辅助的时辰，，，，，，左边放了一个例子，，，，，，我们通过单张图像就能急剧天生出一个高精度的鸟儿的模型，，，，，，在有肯定信息缺失的情况下，，，，，，通过语义辅助的方式让整个模型天生，，，，，，这也是我们前段功夫发的一篇论文钻研工作。。。。。这个工作中央也蕴含一些细节，，，，，，好比提到了一些创新点，，，，，，蕴含 FID 的优化等其他的一系列优化方向。。。。。

我们能够看到这个尝试了局，，，，，，左边的第一列是我们输入的图像数据，，，，，，右边的这些尝试了局是分歧视角渲染出来的模型图像，，，，，，能够看出有肯定的三维可视成效，，，，，，可能实现急剧的天生。。。。。这是以鸟儿为例讲语义辅助天生的步骤。。。。。

在三维内容里面还有一个更沉要，，，，，，同时各人也可能关注更多的是虚构人体（数字人），，，，，，所以我们在语义辅助步骤上面索求的另表一个案例就是但愿通过视觉图像的规划去驱动虚构人体实现急剧的天生。。。。。这是我们做的一些例子，，，，，，好比说这上面的8张图像就能急剧天生一个高精度的虚构人体模型，，，，，，将来可能用于三维打印、虚构会议、虚构主播蹬爪用场景。。。。。PPT 上展示的是我们目前获得的一些成效，，，，，，这个“虚构人体”的钻研工作也是持续在发展，，，，，，待会我也会介绍若何驱动这些人物在视频驱动下活动，，，，，，以及它可能跟一些其他 AI 算法结合起来，，，，，，让它能智能地去理解，，，，，，跟人进行交互的例子。。。。。

除此之表，，，，，，若是把它放到一个更极端的案例上面。。。。。好比，，，，，，我们能不能通过1张图像就能急剧天生——通过输入单张的一幼我的图片去天生一个高精度的 3D 人体，，，，，，这个跟前面 3D 的虚构人体相比存在肯定的缺点，，，，，，但是也能实现急剧的天生。。。。。

我们在人体方面还做了其他尝试，，，，，，好比我们放在一个半身人像上面，，，，，，当你输入一张 2D 的人脸图像，，，，，，我们能天生一个 3D 的 Avatar，，，，，，这样的例子时时在远程通讯场景中会被提到。。。。。在这个基础上，，，，，，我们又增长了一个路线，，，，，，就是看能不能把它放到一个越发抽象的概想，，，，，，好比说针敌手绘的一些图像、图形，，，，，，AI 是否也能驱着手绘的图形图像天生一个 2D 的 Avatar，，，，，，而后再通过 2D 的 Avatar 去驱动天生一个 3D 的 Avatar，，，，，，这也是属于我们在单视角沉建上面做的一个重要索求。。。。。

介绍完第一部门，，，，，，也就是 AI 驱动基于语义辅助的部门。。。。。第二部门我想讲的是我们索求的基于语义鉴别和搜索的一套系统和系统，，，，，，好比说有一个客户端首先通过摄像头获取一些图像数据并将图像传到云端，，，，，，而后这个时辰系统可能调取我们在云端的 AI 服务，，，，，，通过 AI 服务会进行一系列的鉴别、搜索甚至天生一系列的内容，，，，，，最后将天生的 XR 内容返回给终端进行 XR 的可视。。。。。

举个例子，，，，，，好比说你拍到的这只鸟儿在我 3D 模型库里面有了，，，，，，它会返回了局，，，，，，在客户端可能可视化出来，，，，，，最后在 XR 终端上面进行交互。。。。。

当然还有第二条路，，，，，，若是你的内容在系统里面从来没有出现，，，，，，它会自动匹配系统里面出现的 XR 的图像数据，，，，，，或者是一些语义文本，，，，，，用这些语义文本去驱动天生一个 XR 的内容。。。。。再举一个例子，，，，，，好比说之前的那个单视角天生人体的案例，，，，，，一张拍摄人体的图像在云端调取了 AI 天生人体的一个服务，，，，，，通过 AI 内容实时天生系统把人体天生出来，，，，，，最后展示在我们 XR 的内容交互平台上面去，，，，，，实此刻分歧 XR 终端上进行交互。。。。。

另一个例子是我们在丽江市龙岗区做的一个优质文化项目，，，，，，这是在丽江的音乐厅里面做的一个例子。。。。。当我拍摄这些涝祺图案的时辰，，，，，，它能从云端急剧鉴别，，，，，，知路它是大提琴或者古筝这样的涝祺，，，，，，而后再返回出我们已经建好的一个 XR 的内容，，，，，，这些内容就蕴含一些可交互的伎俩，，，，，，好比说我能通过一些单一的交互，，，，，，在 AR 模式下点击屏幕就能让这些大提琴演奏出一些乐曲。。。。。

刚刚讲到了两个方面，，，，，，一个是基于视觉鉴别和搜索的 XR 内容天生，，，，，，另一个是基于一些语义驱动下的 XR 内容天生，，，，，，这两部门内容讲的都是一些静态的内容，，，，，，下面我想讲的内容是我们在动态的 XR 内容上面做的一些工作，，，，，，这个重要是放在人体的场景里面索求。。。。。好比第一个例子，，，，，，当我们有了大量的人体图像数据之后，，，，，，我们可能天生一系列高精度的三维的虚构人体，，，，，，通过这些虚构人体我们可能通过 AI 的方式去绑定它的骨骼，，，，，，可能让他自动天生属于自己的骨骼。。。。。最后得到的了局就是，，，，，，AI 可能让这幼我体模型实现自适应绑骨，，，，，，最平天生一个高精度的绑骨后的人体模型（AI绑骨）。。。。。再举另一个例子，，，，，，从视坡凤面同样能够去提取出它的一些视频的作为信息以及一些语义，，，，，，让这些语义去天生一套作为信息系统（作为捉拿与迁徙）。。。。。

得到了这个模型和作为信息，，，，，，就可能将绑定骨骼的模型与作为绑定在一路，，，，，，天然而然就天生了一个带头画的人体模型，，，，，，这个就是我们放在动态驱动里面做的一些事件。。。。。除了上面两个例子之表，，，，，，我们也做了一些搭建骨骼模型库，，，，，，以及作为库等类似的工作。。。。。

总结起来放到一个动态驱动的框架里面，，，，，，一个静态模型天生之后，，，，，，可能通过 AI 绑定骨骼以及作为迁徙，，，，，，从视坡凤面提取一些作为信息，，，，，，提取语义的方式，，，，，，让静态的内容动起来，，，，，，在 XR 的交互终端上面可视化出来，，，，，，这其实就是我们在动态内容天生上面做的一些工作。。。。。

（下图）右边这两个图是作为信息库和动画模型库，，，，，，这两个图是我们在这个过程中做的另表一件事件，，，，，，我们但愿用户使用的过程中，，，，，，能在z6首页平台上面选择一些作为信息库和动画模型库，，，，，，去造订他们自界说的一些 XR 的内容。。。。。

在这里还有两个视频，，，，，，一个是实时的 2D 动态驱动，，，，，，也就是我通过捉拿 2D 的人脸、人像、人体的作为姿势信息，，，，，，让 2D 的一些动漫人物产活泼画。。。。。第二个是放在 XR 的框架里面，，，，，，在一个三维空间里面去实时捉拿驱动。。。。。左边是z6首页一个模特在跳舞，，，，，，右边是一个虚构偶像模型，，，，，，系统可能实时提取跳舞的动画并且反馈到虚构偶像模型上面，，，，，，实现实时驱动。。。。。

我刚刚重要提到了三种 XR 内容的天生方式，，，，，，这些天生方式我们是想结合沉浸式 Web 这样一个技术去搭建一套扩大示实内容天生的平台，，，，，，把这样一些内容天生、3D 内容天生以及动态内容天生的技术用在沉浸式 Web 这样一个框架里面，，，，，，搭建一个急剧编纂创作 XR 内容的 Web 平台，，，，，，通过这样的平台去急剧地进行编纂创作，，，，，，颁布用户在分歧垂直领域的 XR 内容。。。。。

好多的工业需要就是它的使用培训流程，，，，，，以下面这个咖啡机为例，，，，，，（下图）左边这个图是一个咖啡机，，，，，，咖啡机的使用时时是人们在生涯中头疼的问题，，，，，，上面这个图是通过 XR 终端去履历我们编纂好的 XR 内容，，，，，，把一步步操作用扩大示实终端，，，，，，用 XR 内容平台去编纂颁布出来。。。。。最后的颁布大局还是通过一个网页的大局，，，，，，各人都可能很轻松地进入去获取。。。。。

右边举的这个例子其实是 HTML 的一个网页，，，，，，它上面会有一些咖啡机使用的教程以及一些动画，，，，，，都是一步一步去进行实现与提醒，，，，，，最后能通过 XR 终端方式去可视化出来。。。。。

若是把 Webrtc 远程通讯这种规划引入到里面的话，，，，，，我们还有其他有关的一些案例，，，，，，好比平行操作——通过佩带 VR 终端，，，，，，实现对远程机械人的把持，，，，，，能让机械人进行一些远程作业。。。。。；；；；褂懈飧隼嗨频，，，，，，好比远程协助和多人合作，，，，，，通过这样一些网络通讯接口能轻松实现多机互联以及多机通讯。。。。。

总体来说，，，，，，我们基于 AI 天生技术搭建了一套扩大示实内容天生的 Web 平台，，，，，，左边也是我们平台的网址和网页。。。。。同时，，，，，，我们也是 W3C 的会员单元，，，，，，目前正要成为 W3C 粤港澳大湾区代表处，，，，，，将来也会与 W3C 做一些 WebXR 等方向上的合作与索求，，，，，，我们但愿跟产业界的各位同仁一路汇集扩大示实沉浸式网络的有关力量，，，，，，推动 WebXR 沉浸式网络主题技术的发展，，，，，，一路来造订一些行业化尺度。。。。。

我的介绍大体是这样，，，，，，各人对z6首页工作感兴致的话也欢迎与我维持联系。。。。。

Q&A

邵志兢：我想问一下关于单照片转三维模型，，，，，，我们之前也看过这个方向，，，，，，会不会对姿势和体态城市有一些限度？？？？？？？好比说人是不是肯定要摆一个 pose 出来，，，，，，若是女生是长发披肩，，，，，，头发会不会被鉴别裁缝服？？？？？？？或者说穿了裙子，，，，，，裙子会被劈开造成两条腿。。。。。

刘聪：你提的是一个很好的问题，，，，，，你提到了两点，，，，，，第一个是关于它的姿势问题。。。。。我们此刻做的这个通过单视角的图像去天生人体，，，，，，用的是隐式函数的技术路线去做，，，，，，所以分歧于一些基于 Template 的规划对姿势限度较大。。。。。第二个就是你提到它的头发和衣服，，，，，，这也是在我们 AI 做天生里面的难点和痛点，，，，，，是由于它变动幅度和变动领域相对来说还是比力大的，，，，，，最新一些 AI 的论文以及它的工作方向也都是若何用 AI 的方式去进建它的衣服。。。。。在这里面我们能够看到，，，，，，这些根基的概括以及根基的衣服，，，，，，它是可能去进建到的，，，，，，可能预测到的。。。。。但是一些细节的，，，，，，好比手指以及手指更细节的一些概括，，，，，，在单视角的沉建上面还是存在肯定的局限。。。。。所以在这一点上，，，，，，我们也是但愿可能通过加一些其他的规划进行优化，，，，，，能让单视角天生的规划越发丰硕，，，，，，让它最后出现出一些更好的了局。。。。。

薛富侨（W3C）：AI 驱动的 XR 内容天生，，，，，，目前有没有什么贸易的使用案例或者产业尺度化需要？？？？？？？

刘聪：事实上，，，，，，在这个过程中我们提到两点，，，，，，一个是通过 AI 方式天生这些内容，，，，，，在这些内容评价体下凤面，，，，，，目前来看这些 AI 的论文以及 AI 这一类型推算机图形学、图像学，，，，，，对 XR 内容评价尺度以及评价系统，，，，，，临时还处于一个极度初期阶段，，，，，，也并不是很美满，，，，，，这是我们但愿推动去做的。。。。。另表一个就是，，，，，，由于它的三维数据天生出来终于还是一个比力大的数据，，，，，，像前面几位讲者也提到它的传输以及它的时延，，，，，，能不能通过 5G 方式实现更急剧地去加载以及渲染这些内容，，，，，，无论是视频数据也好，，，，，，还是三维模型、动画数据也好，，，，，，能不能在这上面做一些工作，，，，，，这也是我们但愿跟产业界各位一路去做的工作。。。。。

除此之表，，，，，，你刚才提到的第二点就是贸易化的方向，，，，，，我们此刻有跟一些三维打印以及传统的领域，，，，，，蕴含教育培训领域去做一些有关的索求与尝试。。。。。蕴含刚刚提到的，，，，，，我们主推的还是一个编纂和创作的平台，，，，，，跟一些高档院校做一些尝试，，，，，，让他们的教员通过这样的方式急剧地创建讲授培训场景的 XR 内容，，，，，，颁布到各个终端上面去，，，，，，用于培训讲授。。。。。

王子韬：华为在做无阻碍有关的场景下，，，，，，会有相应的一些诉求，，，，，，关于 AI 辅助实物，，，，，，这部门刚才您也介绍到了，，，，，，类似于交响乐团的时辰能够援手鉴别涝祺。。。。。相应的这部门不愿定齐满是对三维内容，，，，，，或者视觉内容上有多高的要求，，，，，，在一些视觉阻碍人士情况下，，，，，，他可能会通过手机，，，，，，通过拍照的这种方式来请 AI 援手他来鉴别此刻他想要意识的这个内容，，，，，，通过其他的方式，，，，，，好比说音频或者触觉也好、声音也好，，，，，，能给他介绍他想要感知的内容。。。。。所以这部门我感触也是一个潜在的机遇，，，，，，后面也但愿咱们这边能够就 W3C 无阻碍有关的内容思考潜在的利用场景。。。。。

刘聪：好啊，，，，，，感激。。。。。你刚才提到的这一个也是我们但愿做到的下一步的工作，，，，，，刚才都是从图像图形层面驱动 XR 内容的天生。。。。。但好比多模态的一些内容，，，，，，像语音、文本等这一类型的数据能不能作为驱动 XR 内容天生的方式以及步骤，，，，，，我以为这有很大的索求空间，，，，，，所以我们也很等待跟华为无阻碍团队的教员一路合作探求这件事件。。。。。

王子韬：群聊里中国移动许教员提了一个问题，，，，，，请问您演示远程协助项目是通过网页实现的吗？？？？？？？有没有对客户端设备有甚么要求？？？？？？？

刘聪：这套远程协助系统是在终端上实现的，，，，，，通过终端交互，，，，，，可能把一些远程传输的镜头或者空间标注，，，，，，这样一些三维数据可能传输到用户的扩大示实终端里面。。。。。在这个上面，，，，，，此刻做的尝试还没有放到网页的服务里面，，，，，，由于之前试了，，，，，，可能是由于时延等一些原因，，，，，，它的成效并不是很好，，，，，，所以我们还是思考用终端在做。。。。。

黄亚坤：远程协助的时辰，，，，，，这个重要是基于 AR 推算在终端上面，，，，，，即便我们不基于 Web，，，，，，我们基于移动设备的话，，，，，，如同算力还是不太够，，，，，，第一个是做实时有功耗，，，，，，还有时延，，，，，，就这两个问标题前来讲做这种天生挺难的吧？？？？？？？你这种协同的话，，，，，，若是往端侧走的话，，，，，，功耗是比力大的一个问题。。。。。用一下子，，，，，，手机遇发烫的，，，，，，这个问题我不知路你们这边有没有比力好的解决规划。。。。。若是我选取一些压缩网去做，，，，，，精杜字不能，，，，，，或者说对于天生的器材又存在一个阻碍。。。。。我不明显目前这一块有没有比力好的解决规划？？？？？？？

刘聪：在端侧推算的时辰，，，，，，若是我们思考天生，，，，，，在端侧做天生的话其实是远远不够的。。。。。这里面最大的问题还是在于网络以实时延，，，，，，将来在 5G 环境里面，，，，，，由于在这里面我提到所有的 AI 天生的内容和服务都是放在云端去做推算的，，，，，，在端侧它只必要实时渲染出来，，，，，，端侧做的一些感知交互，，，，，，好比像左边这个图里面，，，，，，箭头能够传输出来，，，，，，这个没有问题，，，，，，但是复杂的三维模型以及数据的确会出现发烫的情况，，，，，，这个我们之前也有测试过。。。。。所以我们在这个案例里面，，，，，，临时也没有把天生的一些内容放到这个系统里面去做。。。。。只是但愿将来可能把这些器材买通，，，，，，可能结合起来。。。。。

当然 z6首页 有其他的中心也在做有关的工作，，，，，，他们重要是做一些网络的优化，，，，，，通过 AI 的方式让这些 Web 的内容自适应地去出现，，，，，，自适应地渲染，，，，，，自适应地得到更好的了局，，，，，，他们也在做这样的工作，，，，，，将来我们也但愿跟他们一路探求，，，，，，往这样的方向进行一些索求。。。。。

* 本文由 W3C Web 中文兴致组整顿（https://www.w3.org/2021/07/chinese-ig-xr/minutes.html#t06）