Unity孙志鹏：AIGC时代，3D引擎可能实现“一句话建模”

ldwr · 发表于 2023-11-3 21:30

专注AIGC（生成式人工智能）范围的专业社区，存眷包罗GPT-3、百度文心一言、华为盘古等大语言模型（LLM）的成长应用和落地，以及国内LLM的成长和市场研究，欢迎存眷！
<hr/>每日经济新闻动静，近期，无论是科技范围还是成本市场，最火热的概念莫过于ChatGPT和AIGC（人工智能技术生成内容）。从文本到图片，AIGC都有丰硕的应用。
那么，在3D世界，AIGC有没有应用空间？3D引擎与ChatGPT以及GPT类东西，能否擦出火花？
针对以上问题，《每日经济新闻》记者近日采访了国际3D引擎巨头Unity的多位专家。Unity中国高级经理兼跨端移植技术负责人孙志鹏告诉记者，对应AI作画，3D引擎可能实现“一句话建模”。
3D引擎可能实现“一句话建模”
ChatGPT可实现人工智能创作文本，基于文本，AI作画可实现人工智能创作图片，即从一维的文本到二维的平面图片。那么，基于文本，能否形成三维的视频呢？即操作CG（计算机动画）技术以及3D引擎技术，进一步由AI制作微电影。如此前，艺术家团体Sagans就借助虚幻引擎5和AI算法，缔造出赛博朋克风格的MV。
对此，孙志鹏暗示，AI已被不竭集成至Unity的东西流中，主要用于强化管线的衬着能力，同时也会在法式化数字资发生成和可微衬着的部门，为AIGC的落地做能力加强和生态储蓄，并参与GPT之类的预训练模型的使用探索。在多模态、数据合成、对比学习等范围紧跟学术界成果，争取早日在3D数字资产创作范围实现AIGC。
对应AI作画，3D引擎可能实现“一句话建模”。以场景生成为例，目前看起来一个可能的路径是：首先通过GPT之类的生成模块，自动生成对一个用户需要的场景足够详细的描述，然后通过一个多模态模块进行模态融合，去驱动一个全可微的法式化建模模块来生成场景，继而通过可微衬着器衬着的成果，最后把这个成果交给类似CLIP（文末注）的模块去生成符合最初描述的图像或视频。
而类似过程可以用在很多类型的资发生成过程中，“一句话建模”也就由此实现了。在此之前，东西引擎需要在法式化和可微的标的目的上做好筹备，同不时刻紧跟AIGC相关范围的科研进展，在新锐技术落地的第一时间，让一切成为可能。
中国很可能诞生最大的元宇宙世界
三维空间除了视频，还有直播等场景。目前，虚拟人技术成长迅速，那么Unity能否进一步将自身技术应用到电视直播中，从虚拟人升级到虚拟演播室？
对此，Unity中国答复记者称，此前，由韩国开发者使用Unity打造的虚拟人SUA已经吸引了全世界的存眷。作为实时衬着的数字人类，SUA全身都基于实时衬着实现。实时衬着的衬着速度与交互性，让SUA可以与不雅观众实时互动，也就让虚拟演播室成为可能。
此外，目前虚拟人在实际应用中，遍及缺乏真实的人物表情。但在影视制作范围，却已能生成生动的面部表情。比如年前火热的电影——《阿凡达2水之道》。该影片的CG技术提供方WētāFX，和此前已被Unity收购的Wētā Digital师出同门。
Unity Wētā Tools对《每日经济新闻》记者暗示，制作中的最大打破是为影片中的数字角色制作创新地提出了APFS系统（Anatomically Plausible Facial System），这是一个基于肌肉纤维曲线的面部动画参数化系统，同时Wētā也提供了一整套与之配合的特效画面制作出产流程。
全新的APFS系统提供了一个更基于解剖学基础、更以动画师为中心的创作环境。在辅佐动画师通过肌肉曲线直接控制面部肌肉，生成高保真的面部表情的同时，也将复杂的非线性皮肤表示纳入深度神经网络（一种仿照动物神经网络行为特征，进行分布式并行信息措置的算法数学模型），继而通过大约7～10万次的高质量面部扫描来训练AI模型，旨在辅佐电影创作者更高效地制作高传神度画面。
Unity在3D引擎和CG技术范围拥有的技术实力，能给中国的相关财富成长带来哪些助力？
Unity中国暗示，公司致力于打造中国本土的、适配各类国产软硬件平台的数字出产力东西，丰硕由实时图形衬着技术支撑的AR、VR、MR以及数字孪生体验，赋能中国数字经济安全、不变、健康成长。
在Unity看来，中国拥有世界上最大的游戏市场和汽车市场，也是最大的制造业国家、基建国家。这意味着，中国拥有全球最大的数字孪生市场，也很可能诞生最大的元宇宙世界。
<hr/>本文内容来自《每日经济新闻》，如有侵权请联系删除。

		自动登录	找回密码
密码			立即注册