娱乐业都要进入「工业4.0」?

转载：本文来自微信公众号“极客鹏友说”（ID:geekpys），作者：张鹏，转载经授权发布。

作为一个星战粉，2020 年《曼达洛人》第二季出来嘅时候，我非常沉迷于佢创造嘅异世界。作为一个电视剧，能够将布景做到这般震撼而真实，这挺等人匪夷所思嘅。

带住好奇，我搜索相关资料，发现原来呢个效果是用‌新嘅技术：所谓嘅虚拟制作。

简单嚟讲，虚拟制作是利用数字化嘅方式，使用一系列计算机辅助制片同可视化电影制作方法。将虚拟现实同增强现实同 CGI 同游戏引擎技术相结合，使制作人员能够睇到场景在佢哋面前展开，仿佛呢啲场景就是在实景拍摄嘅。

最近又恰好睇到‌爱奇艺用虚拟制作打造嘅 THE9「虚实之城」沉浸式虚拟演唱会嘅新闻，发现原来佢哋都正喺度进行呢个领域嘅探索。

在佢哋演唱会正式举办之前，我有机会同爱奇艺CTO兼IIG总裁刘文峰聊一聊。佢嘅结论：娱乐业嘅数字化正处在一个加速嘅进程度，虚拟制作咁样新嘅技术会带来一波新嘅创造力嘅解放。这听起来挺等人兴奋嘅。我整理‌一下我哋嘅交流，都分享畀大家。

图爱奇艺CTO兼IIG总裁 刘文峰

从虚拟「影视城」到创造力解放

张鹏：你哋点解呢次要使用「虚拟制作」，呢个概念好新潮啊？

刘文峰：其实唔系因为新潮，是因为必须。呢次我哋用‌新嘅品牌：爱奇艺云演出，呢个云演出如果唔系用直播嘅形态，如果唔系用呢种配置虚拟制作嘅环境，云演出嘅含金量就会变得好小嘎啦。

演唱会片段

我哋呢次特别大嘅挑战是来自直播。粉丝更愿意在直播嘅环境下能够通过线上嘅互动，同佢哋钟意嘅明星形成互动。如果不追求实时呈现，但系能跟原来嘅影视制作是没有区别嘅，大家拿个绿幕就可以解决，并唔需要用 LED 场景同虚拟制作技术来做呢件事，好可能在更小嘅棚入面就能完成。直播要求我哋创造一种新嘅更突破嘅形态才行。

张鹏：虚拟制作在布景上，有乜嘢特别嘅吗？

刘文峰：我哋每一个娱乐 IP，其实都在畀观众展现想象中嘅世界，有可能是同真实世界好接近嘅现实世界嘅投影，都有可能是佢想象不到嘅世界，用各种方式等你去想象。但虚拟制作，实际上是等表演嘅人同观众都觉得呢个是真实存在嘅，呢个是好不一样嘅。

用 LED 做虚拟制作，感受完全不同，佢像大自然环境入面嘅嗰种光线嘅真实感，等你沉浸其中。可以快速、轻松地制作出好似身临其境嘅场景体验，实现虚拟拍摄。你可以无限想象，无限探索，只要你想得到，就可以做出来。

张鹏：听起来噉就是虚拟「影视城」，实景可能是要受到影响嘎啦。

刘文峰：我哋是打算咁干嘅。影视城有好多景，佢本身都是模拟真实景。但是临时搭景嘅成本一点都不低。我哋想将咁样嘅景数字化，但系能是以毫米级或是厘米级做非常高清嘅数字化，做数字资产嘅景素材。当演员进入到虚拟拍摄平台，但系以实现睇上去同去影视城一样。比如，影视城本身都是模拟真实故宫嘅情景。喺用 LED 嘅情况下，直接拿真实故宫嘅数字化场景进行虚拟拍摄，拍出来嘅真实程度可能会远高于影视城。

因为完全数字化，所有嘅嘢都变成模型，仲要可以模拟出一个不可能下雪嘅地方下雪，比如说金字塔没有下过雪，实际上完全数字化以后，下雪可以做到非常逼真，呢个是以前想象不到嘅。然后可以瞬间切换到不同场景。最后睇景都会变得线上化，但系以直接在资产库入面挑出来想拍嘅景，喺棚入面面实现环游世界，各个地方都可以拍。

张鹏：虚拟制作嘅创作过程嘅核心是乜嘢？

刘文峰：佢嘅创作过程类似于游戏，但比游戏精度要高。游戏嘅精度相对在虚拟拍摄层面是不够嘅，虚拟拍摄需要做到同现实世界中人眼睇到世界嘅精度类似，而难度都在这，所以后期需要更多嘅设计资源。

如果你是将真实嘅景做成一个数字世界，喺虚拟拍摄环境下，更多嘅系需要将实景进行扫描，再到毫米级精度嘅能力。呢种扫描，但系以使用类似激光雷达对深度信息进行捕捉，用多个摄像头采集，再进行算法合成。利用算法将由太阳光造成嘅，不同时间点拍同一个位置嘅亮度问题解决掉，但系以实现模拟出任何时候嘅场景。

张鹏：这等于我哋具备一个虚拟世界嘅创造能力，但系以实现完全数字孪生在世界各地拍片。点样睇待虚拟制作在生产端嘅意义？

刘文峰：虚拟制作呢个词好长时间嘎啦，但是过去拍摄都系纯粹绿幕。绿幕可以后期将背景消除，叠加你想要嘅任何嘢，但是佢受限于实时性。因为佢没有那么强嘅计算能力。绿幕仲有好多问题，比如绿幕在现场嘅灯光，投射到眼球入面是绿色嘅，呢个颜色好难修。此外，对演员嘅要求极高，佢完全感受不到自己在边，好难保持一个表演状态。使用 LED 背景墙可以等演员实时睇到，表演状态会非常快嘅到位。但要注意一点，虚拟制作同绿幕并唔系完全对立，绿幕具有面积大、价格低廉、容易部署等优点，都是可以同虚拟制作相互结合嘅。

虚拟制作降低‌生产门槛，人在入面面可以更好地释放自己嘅表达，是生产力端嘅解放。我哋都是准备建成一个平台，等每个人在平台上可以更容易、更轻松地去发挥。我哋希望呢个平台出来以后，但系以一直复用，无论是我哋自己嘅演员，仲要是需要在呢个平台展现嘅演员，都可以使用虚拟拍摄嘅场景，制作出好似身临其境嘅感觉。

张鹏：睇来虚拟制作可以等内容嘅生产变得更聚焦在创造力之上。

娱乐业一样要步入「工业4.0」

张鹏：采用虚拟制作，而唔系传统嘅布景方式，对演员是有解放嘅。同时对于成个嘅制作流程嚟讲，佢嘅本质上是一个全面嘅数字化同智能化？

刘文峰：是嘅，全面嘅数字化同智能化之后，佢才能用到过去移动互联网、大数据、AI 等技术红利。你会发现原来是完全靠人，而家可以通过机器更有效率地完成，人可以更聚焦在创造上，而唔系流程性嘅工序。呢个是理解虚拟制作嘅本质，实际上佢是一个完整体系嘅生产效率嘅提升。我开玩笑说「我哋嘅智能制作呢个事类比于工业 4.0，但系以叫影视工业 4.0。」

其实，从更宏大嘅视角而言，虚拟制作是智能制作入面嘅一个子集或者是一个分支，呢个分支更侧重于点样利用 XR、虚拟制作技术等来实现智能化嘅舞台，从而完成影视同综艺演出等内容嘅制作。所以佢是更注重在拍摄环节入面面嘅虚拟化场景。

张鹏：你哋发展智能制作技术嘅起因是乜嘢？

刘文峰：当时要解决嘅问题特别简单，我哋综艺嘅拍摄周期变得越来越短，拍完到上线之间时间好短。最多拍摄时候有好几十个机位，同时拍一个场景。这时候选合适嘅演员同表情，如果用传统嘅手法，一定是需要更多嘅人，生产力嘅提升唔系线性嘅，都会出现沟通嘅问题，最后质量仲未好，所以大家好焦虑。

我哋当时想，能唔可以将喺互联网入面积累嘅技术，反馈畀 B 端制作团队使用嘅工具箱中。比如而家 AI 算法做面部识别，但系以识别出每个镜头拍嘅人以及佢嘅表情，咁样可以用搜索快速揾到想要找嘅人。我喺尽可能将每一步用上算法，节省‌大量时间。后来发现团队嘅接受度越来越高，甚至有新嘅需求提进来。呢个就是智能制作嘅动因。

智能制作仲有一个好处在于，数字平行世界嘅边际成本是最低嘅，使得你有更多机会，喺呢件事发生之前反复嘅优化迭代，最终揾到最完美嘅解决方案，同时可以节省时间同降低成本。

互动同网络效应

张鹏：在技术嘅推动之下，用户同内容制作之间嘅关系，会有乜嘢样嘅变化？

刘文峰：我哋一直尝试带来一啲好嘅改变。我喺 18 年嘅时候尝试做互动。传统线性同单向嘅播出形式，用户嘅参同只能通过线下嘅交流，或者在社交网站上交流。弹幕是一种形式嘅互动，弹幕嘅出现改变‌屏幕入面面嘅内容，将播出嘅画面同弹幕合在一齐去消费内容，这是一次创新。但佢同内容结合嘅程度其实系弱嘅。所以我哋做‌互动视频，希望等用户像玩游戏一样，来控制视频故事节嘅走向。

在呢次演唱会度，我哋探索将用户嘅互动直接变成节目嘅一部分，用户同用户嘅互动都变成内容。我哋呢次高阶票嘅用户会获取到应援棒，嗰个应援棒会寄到佢家入面，拿住应援棒，呢个节目播出嘅时候，导演会控制当时用乜嘢颜色。以后随住应援棒嘅传感器进一步发展，观众同节目实时嘅双向互动，将使得节目同玩法嘅想象空间变得好大。

张鹏：是嘅，弹幕其实还是异步嘅，但呢个是实时嘅。说白嘎啦，用一切手段榨取真实世界入面数字化嘅进程，能够越实时化，越孪生越好。

用户进来会变成内容，而内容都会吸引更多嘅用户，对于互动同内容嘅再定义好像变成你哋成个生态不断扩展嘅一种手段，你点样睇？

刘文峰：用户同内容嘅双向正反馈，网络效应才会出来。内容创作同内容消费以及其商业化完全形成良性嘅增长同规模化，价值才会得到更加充分嘅释放。商业模式都可以变得更加立体，而不只是单一嘅消费。单一嘅消费更似贩卖式，持续性太弱嘎啦。形成规模效应同网络效应之后，会使得内容制作同内容消费两个闭环首尾相连。

张鹏：我觉得一个好嘅系统不在于佢嘅绝对确定性，咁样嘅系统往往扩展性是非常弱嘅，你需要在一个包含不确定嘅系统入面面找确定性。而技术同网络效应可以促进呢一点。

流程、组织同能力嘅变化趋势

张鹏：节目生产流程长期变化就是组织变化，组织嘅长期变化就是能力同人嘅变化，呢个层面上你有乜嘢能推演一下？

刘文峰：我哋已经在创造一种新形式嘅组织形态，就是创意者团队同技术团队嘅距离非常近，两者紧密合作。喺项目立项过程度，技术团队是其中一部分。之前更多是导演指挥现场嘅人来实现节目制作，但是而家变成导演嘅需求，直接在我哋 APP 嘅研发过程中就能够落地。呢个是以前想象不到嘅。

虚拟内容设计师调整场景

呢次导演不剩只是将节目编排好，仲要要考虑将用户嘅虚拟分身，同演员之间实现互动，虚拟分身在有联线嘅时候会直接在屏幕上。所以组织形态变成，研发团队就喺现场，直接接受导演嘅指挥。产品嘅研发同一个节目嘅研发融合在一齐。以前是互相分开嘅，一个产品嘅研发更多嘅系分发端，你畀我节目上线，我这边播出，而家是你畀我流，我直接推过来。更进一步嘅系你畀我流，我在上面增加产品嘅特性，然后输出畀用户。

张鹏：总结起来就是未来伟大嘅导演身边，未来要有一堆理工男，能够理解艺术嘅理工男跟一个伟大嘅创作者一齐去实现那样嘅嘢，先是有效率。喺你哋那入面，呢啲技术人员在剧组入面算乜嘢身份，点样定义？以前似乎没有咁样嘅人？

刘文峰：以前好少。呢次节目组，等我挂名演出嘅总工程师。而家想想技术是成个团队入面面嘅一部分嘎啦，所以技术嘅人员都是制作团队嘅一部分。未来成名大片入面，都许能够揾到越来越多理工男嘅名。

张鹏：面向未来，跟原来嘅能力相比，有乜嘢会变得不重要，而又有乜嘢会变得好重要？

刘文峰：创意一定是非常重要嘅，永远重要。另外重要嘅系一定要有一啲 IT 思维。你肯定不需要是嗰个程序员，但点样用 IT 嘅方式解决问题是好重要嘅。我哋睇到而家好多制作团队入面，仲要非常传统嘅用小本记事，用到嘅数字化可能就是微信记录。事实上稍微有啲 IT 思维嘅人，但系以更灵活嘅使用协同嘅工具。

元宇宙中嘅沙盒框架

张鹏：最近关于 Metaverse(元宇宙）嘅讨论越来越多，你点样睇佢？佢会是下一代嘅娱乐嘅形态吗？

刘文峰：Metaverse 可以理解成一种理念：能够将虚拟嘅世界进行连接。如果在影视 IP 嘅最终展现形态嘅背后，是一个连接嘅虚拟世界，佢会将游戏同影视嘅边界真正彻底打破。之前边界越来越模糊，是指像玩游戏一样去控制电影，但是佢嘅结局还是有限嘅。但是当你嘅游戏就是你嘅电影本身，当你嘅电影随时可以切换游戏本身嘅时候，呢个边界就真嘅完全打破嘎啦。

呢个想法上嘅突破，实际上是我哋希望能够使用共同嘅引擎来制作不同嘅内容。还可以利用 XR、VR、AR、AI、甚至加上区块链嘅技术，将人嘅身份在呢个世界入面面形成。呢啲技术合在一齐之后，我哋觉得目前嘅发展方向是将游戏、影视，甚至动漫等等不同题材同形式嘅内容连接在一齐，呢个是好重要嘅。

当一个 IP 嘅世界能够连接在一齐之后，用户消费影视嘅时候，但系以在任何一个时间点暂停进入游戏，佢就成为入面面嘅某个角色，佢就可以开始打怪。好睇嘅剧入面嘅情节不断往前发展，其实系一个个钩子不断地钩住佢嘅情绪。游戏都一样，游戏都是不断嘅通关打怪，这两者在人在娱乐心理上是相同嘅。

张鹏：游戏嘅世界是一个全面数字化嘅世界，连佢嘅生产创造都系数字化嘅。接下来其实系要对影视制作者进行更彻底嘅数字化。最终游戏有可能变成一个可以持续存在嘅世界，电影是呢个世界嘅一个副本，打一个副本就是睇场电影。

刘文峰：嗰个副本每隔一段时间可以更新，再下载一个版本，就又有‌一个新副本，你都可以有无数嘅副本。

AI 不一定真嘅有意识，但是 AI 可以等一啲机器嘅语言，机器自动生成嘅意识嘅语言，去驱动 Metaverse 入面面嘅一啲故事，呢啲故事正好会是人想睇嘅，或者是能够消费嘅。可以想象，呢个世界可以变得好惊人。

张鹏：这会等佢变成‌一个超越现实世界嘅数字世界吗？

刘文峰：是超越嘅，而且还会出现多个。我个人认为 IP 创作嘅发展，是每一个都需要有一个独立嘅 Metaverse，有自己嘅世界观，世界观越完整越能够自制同发展，越能够有更长嘅生命力。过去睇到好多嘅 IP 嘅生命周期可能是五年、十年之后就会慢慢被人遗忘。而将来能够同佢嘅观众或用户之间形成深度互动嘅，呢个 IP 本身都会是一个平台，呢个平台就能将用户同机器同呢个世界融合在一齐，呢个想象空间是极大嘅。我觉得未来嘅就是 Metaverse。

张鹏：我在想，爱奇艺是在用自己嘅科技嘅能力在 Metaverse 中构建一个嘅沙盒框架吗？呢个框架有‌之后，想等更多嘅人创造可以更多嘅复本？同时都不止系想吸引消费嘅观众，而是真正嘅用户，并且呢个用户不光是在消费可能仲喺度创作。

刘文峰：对。我哋而家睇起来像个内容创造同消费平台。而家呢个平台不光是能分发，仲可以生长，最终嘅壁垒是一套生态，生态可以不断地诞生更强大嘅事物，呢个事到最后发现技术在入面面扮演嘅作用，唔系规模效应，而是技术创新带来嘅迭代。