明星开演唱会邀请嘉宾助兴并不是什么新鲜事,但前不久周杰伦在“魔天伦”世界巡回演唱会台北站上请到的人,却把许多观众都吓了一跳。

1995年去世的台湾女唱手邓丽君忽然出现在大家面前,成了整场演唱会中尖叫声最大的时刻。她与周杰伦在台北小巨蛋舞台上相隔十几米的位置一起演唱了《你怎么说》、《红尘客栈》和《千里之外》—说实话,换成谁都不敢离得太近。媒体用“周杰伦邓丽君隔空对唱”来形容这次合作,而相关视频也在视频网站上获得了超过100万次观看。

好奇的人们会感慨现代技术又做了难以想象的事。玩新花样的周杰伦这一次的合作伙伴是好莱坞特效公司数字王国(Digital Domain),用数字特效还原了邓丽君28岁的模样,演唱曲目包括对唱,则都是事先安排好的。尽管如此,人物动作和面部表情的逼真程度,以及立体投影效果,还是让所有人都感到惊叹。

这是数字王国“虚拟人商业计划”的一部分,这家由大导演詹姆斯·卡梅隆于1993年创立的特效制作公司,制作出了《泰坦尼克号》、《终结者》等特效大片,但在好莱坞特效行业整体不景气的影响下,不得不在原有的电影特效、广告和游戏、电影的研发和制作业务之外寻找新的商业机会。

为了这次210秒的表演,数字王国组建了40人的团队,花费了近3个月时间。对于最令人印象深刻的人物面部还原技术,其实从2004年开始制作电影《本杰明·巴顿奇事(返老还童)》时就已经开始了。

“在制作《本杰明·巴顿奇事》之前,最知名的虚拟人电影(比如《最终幻想》和《极地特快》)看上去并不真实,而且显得诡异。这并非只是技术上的局限,而是特效界还没有人能有信心认为可以仅凭电脑技术创造出真实的虚拟人。”数字王国视效总监Eric Barba告诉《第一财经周刊》。

真正促成这项技术发展的是导演大卫·芬奇,他创造性地使用不同的演员扮演不同年龄段的本杰明·巴顿,在进行了一系列实验之后,数字王国的特效制作人员发现“复活巨星”的想法的确可行。

《本杰明·巴顿奇事》的主人公本杰明生来便像个80多岁的老人,被父亲当作怪物遗弃在养老院。在养老院与老人们一起生活的过程中,本杰明却实现了“逆向发育”—越活越年轻,而这个不寻常的过程也给他带来了欢乐和烦恼。

影片最大的难点在于前一小时—本杰明的中老年时期,需要将当时40多岁的主演布拉德·皮特“变成”一个80多岁的老人进行表演。之前的电影都是通过出色的化妆师来完成这个转变,但导演大卫·芬奇却拒绝了这种想法,因为他觉得无论怎样化妆都是在人脸之上进行。现在他希望那些皱纹能够深深刻进布拉德·皮特的脸上,经得起任何距离的特写和夸张的神态,因为整部电影都是围绕这个人物的年龄变化来展开。

“为了撑起这一个小时的325个镜头,我们需要让这个本杰明去做任何人可以做的事。”数字王国首席执行官Ed Ulbrich说。这个角色要能应付所有情况,比如白天上街、晚上坐在烛光前说话、出汗、哭泣,或者是近距离的大特写;需要抓住他的一些特殊行为,比如身体的小抽搐;还要让他看上去足够老,大概得(比皮特)老45岁。

在肢体动作上,尽管“动作捕捉技术”还没有完全成熟,但却是可行的选择。这种技术要求演员穿上特制连体衣,并在特定位置贴上反光标识(追踪点),然后利用红外传感器来实时跟踪和标记空间位置,在电脑中就能形成同步的虚拟形象。这种技术最彻底的应用是在2011年导演斯皮尔伯格的影片《丁丁历险记》中,“丁丁”的演出完全由演员在摄影棚中拍摄完成。

相比肢体动作,脸部运动更为细微和复杂,“动作捕捉”运用到脸部表情的效果并不好。如果你查看当时运用这种技术的电影或者大型3D游戏,会明显感觉到主角的面部十分僵硬。“我们需要的是连接点之间的信息,可以透过皮肤看到肌肉和骨骼的运动,能够表现皱纹、酒窝的变化。”Ed Ulbrich说。

一种被称为Contour的技术的出现,帮了数字王国的大忙。这种技术把磷粉涂抹在演员脸上,表情发生变化之后,磷粉中的细小颗粒的位置也就跟着变化,将表情数据记录下来。这种技术使运用在脸部表情的追踪点,从原先的100个变成了1万个,多边形数量也从100个变成了10万个(通常组成物体的多边形数量越多,模型的精度越高)。

技术人员还借鉴了1970年代的面部动作编码系统理论。该理论认为人类有10种基本表情,不同的组合可以产生无数种可能性。通过在各种表情间排列组合,得到了一个包含布拉德·皮特所有表情的3D数据库。

这样当镜头前实际年龄40多岁的布拉德·皮特带上特定设备做出各种各样的表情时,同样的表情就同步出现在计算机中80多岁的本杰明脸上,然后将这个完全由电脑制作的头部与其它替身的身体结合,也就是我们在影片中看到的那个80多岁的老人。

“事实上我们创造了一个‘数字傀儡’,或者说是可经营的布拉德·皮特的脸。”Ed Ulbrich说。这已经不是单纯的Motion Capture(动作捕捉),他把这个称为Emotion Capture(情绪捕捉)。

《本杰明·巴顿奇事》项目持续了4年,特效团队为了做得“传神”,在许多面部细节上花费了大量时间。比如用来表现眼睛自然移动的一套眼部聚焦系统的开发持续了近两年,人物的舌头也做了9个月。

这部影片最终获得了2009年第81届奥斯卡最佳视觉特效、最佳化妆和最佳美术指导奖,而在接下来的几年时间里这种技术也被更多的好莱坞影片所采用。

但这些特效的应用仅仅局限于几个电影项目中。数字王国并没有从这种新技术中获得多少商业利益,也看不到清晰的商业前景。

这一切在2012年Coachella音乐节上发生了变化。

美国最著名的音乐人Dr.Dre希望能够让已故的2Pac“复活”。而2Pac(全名Tupac Amaru Shakur)是《吉尼斯世界纪录》中销量最高的说唱歌手,在全球共卖出超过7500万张专辑,在1996年驾车时被枪击身亡。

“这完全是Dr.Dre的主意,是很特别的、以前从来没有被做过的事。”数字王国广告和游戏业务负责人、虚拟人业务主管Rich Flier告诉《第一财经周刊》。

创造虚拟的2Pac所用的技术在原理上其实和创造“本杰明”时没有本质区别,但与“本杰明”不同的是,2Pac需要站在台上,出现在几万名乐迷面前进行现场表演。这一投影过程是通过一种被称为“佩珀尔幻象”的技术所实现的。这种技术借由使用透明或者能够反射的平面材料—以前使用的是一面平坦的玻璃,现在使用的是聚酯薄膜,在台下经过45度的伸展,加上特定的光源技术,使影像呈现在舞台上。

通过研究2Pac生前的表演资料,然后让真人将这些惯用手势和动作表演出来,再用“动作捕捉”与电脑制作的2Pac身体结合,最终效果让所有人都很满意,甚至他脖子上金属项链随着动作摆动的效果也格外真实。当2Pac和另一位说唱歌手Snoop Dogg一同出现在Coachella音乐节上时,所有的歌迷都疯狂了。

其实早在2007年,《美国偶像》就让猫王利用全息投影和歌手Celine Dion进行了合唱,歌手Mariah Carey也在2011年圣诞节期间通过全息投影的方式在欧洲进行演出,但猫王使用了生前的录影,而Mariah Carey的演出内容都是事先录制好的。

2Pac成为第一个“复活”并进行现场表演的歌手。这次表演后,他的过往专辑又登上了iTunes畅销榜首。

“在虚拟2Pac出现以后我们的电话就响个不停,并且一直在持续。”Rich Flier说。

Dan Platt是数字王国的一名脸部主建模师,在那场周杰伦演唱会之前的几个月时间里,他的主要工作就是研究邓丽君的脸部。“最具挑战性的是制作还原一个死去的演员,而我们只有照片、视频和替身。”他说。在这种情况下,他需要分辨很多不同的表情,再把这些表情组织在一起之后做成动画。

Dan说他很喜欢邓丽君的圆眼睛和她嘴唇上扬的样子,而他也发现邓丽君右边的嘴角线比较明显,这证明她更喜欢右嘴角的上扬。

在这个项目的另一名参与者、动画总监和后期视觉特效制作总监Steve Preeg看来,挑战还来自语言和头发。中文发音提高了嘴形同步和对照的难度,需要让团队中懂中文的员工进行改进和校准;邓丽君还有一头浓密的黑发,数字王国为其绘制了7000幅图像,让它们能够在“邓丽君”唱歌时随着身体的移动而自然摆动。

“无论是邓丽君还是2Pac,没有人曾经精确的测量过他们身体的尺寸,所以我们没有完整数据,比如没有头部或者牙齿的铸型模型来确保人物还原的精准度。”Preeg说。为了弥补这些缺陷,他们扫描了邓丽君侄女的皮肤,用来做皮肤颜色和皮组的样本对照,还与邓丽君的哥哥进行了长达两个星期的讨论。

现在,这种“虚拟巨星”的商业前景已经变得清晰起来。

为了对邓丽君的虚拟形象进行更好的商业开发,数字王国与邓长富(邓丽君的哥哥)一起建立了合资公司;而就在邓丽君演出前几个月,尊尼获加还推出了一部由已故功夫巨星李小龙“主演”的广告,视觉特效公司The Mill为虚拟李小龙制作了120个3D表情;在差不多同一时间,特效公司FrameStore也为德芙巧克力制作了一部主要人物形象为奥黛丽·赫本的广告片。

如果有更多的观众愿意埋单,那么迈克尔·杰克逊、约翰·列侬等巨星的再次“登台”也不是什么稀奇的事情了。