- 信息时间:2021-06-09 15:42
- 浏览次数: 128
【摘要】人工智能技术与影音档案的碰撞,为我们了解历史演变提供了新的角度和体验,这是现代技术服务人类生活的生动例子。2020年5月份,一段AI修复百年前北京影像在网络上迅速走红。本案例梳理了该视频制作的历程,介绍了该视频的主要内容,对社会各界相关评价进行总结和概述。以期通过新兴科技推进档案修复的进程,为影音档案开发与利用带来一定思考和启迪。
关键词:人工智能;影音档案;档案修复
用视频和声音定格和记录历史,透过胶片的方寸之地,可以看到数倍放大的视野,既可以看到过去逾百年的光影,也可以畅想未来几十年的场景,影音档案是意义非凡的。影音档案修复让过去光华重现,不因岁月的冲刷而斑驳模糊。在这场与时间和帧数的赛跑中,人工智能技术的运用经历了一个从无到有的过程。
过去如果要完成影音档案的修复,需要经过清洁、转数、画面修复、调色、合成、鉴定和存储六道工序,专业技师手工逐帧修复、合成,用非常传统方式来进行图像处理。整个修复进程十分缓慢,需要耗费大量的物力和时间,一部时长两个小时的影片的修复,可能就要十几个修复师不眠不休20天左右[1]。人工智能技术的深度发展为档案事业发展注入时代新活力。利用人工智能技术为损毁影音档案完成智能补帧、提高分辨率、上色,成为AI技术与档案领域纵深交融的新方向。
2020年5月左右,一位名叫@大谷Spitzer的独立游戏开发者、独立艺术家和作曲人在自己的bilibili和微博账户上发布了两段AI修复百年前北京影像,带大家穿越时光隧道重回北京街头。视频在网上引发热议且受到人民网、央视新闻等官方媒体的报道,这场人工智能浪潮下的技术革新似乎标志着影音档案修复领域开辟了新篇章。
缘起:AI带来的想象力革命
大谷最初主动学习人工智能技术是为节省游戏开发的人力和时间成本。但随着学习的深入,大谷发现人工智能不仅能在训练游戏NPC、制作游戏贴图、音乐作曲素材上有着各种便捷的使用方式,在更广阔的领域,甚至社会人文科普、社会公益、艺术创作上都有着很光明的应用前景[2]。
在疫情期间,他滞留美国无法回到故乡北京过春节,偶然在网上看到一段人民日报于2016年发布的录像,该视频由法国银行家Albert Kahn于1920-1929年间在天安门城楼上拍摄,主要记录北京正阳古桥附近的街道风貌。但原视频是默声的黑白录像,且由于时间太久、保存不善,模糊且跳跃的视频画面影响观众的观影体验。于是大谷便萌生了利用AI技术修复该影像的想法,既能缓解自己的思乡之苦,又能在那段至暗时刻为故乡同胞带来一道艺术之光。
一个多月后,大谷推出了此系列的第二期,取自美国南卡罗莱纳大学视觉影像库(The University of South Carolina's Moving Image Research Collections – MIRC)的馆藏有声胶片影像。与第一期不同,此视频修复的不仅是画面,还有声音,所有一切都为时代原音,打造了一个声情并茂的感官系统。
大谷在Bilibili发布的AI修复影像视频,播放量高达228万
沉潜:AI带来的科技进步
第一段视频修复共耗时约一个星期,时长近十分钟。此次修复总共使用了三种不同的开源AI项目,首先使用DAIN软件补帧,实现从6-8帧到60帧的飞跃,让视频更加流畅不卡顿;其次使用ESRGAN软件,增加画面的分辨率的倍增,提升画面清晰度;再次应用了DeOldify软件完成画面上色,实现从黑白到彩色的视觉提升;此外用VirtualDub软件做了一些老电影降噪处理。
完成这些步骤后,大谷还选取了闫秋霞、骆玉苼等北京民乐大师的音乐作品和中国白龙观的钟声、念诵经文声音等作为配乐,开启时光之旅带大家重回百年前北京。第二段视频与第一段视频不同,还利用了DeepRemater项目自主研发的相关软件完成了视频时代原音的修复。
过去的影像作品,受到当时冲印技术的限制,加之在保存过程中会有褪色、磨损等一系列问题,导致照片中的高光或暗部细节消失,扫描成数字图像时又会产生一部分的损失, 多种原因造成老照片清晰度不够。在影像修复领域,补帧、上色、超分辨率提升的工作流逐渐成熟,在AI助力下个人也可以完成复杂的传统影片上色步骤。上色原理就是人工智能学习黑白影片与上色版的对照资料,使其了解到常见对象如食物、皮肤、植物、天空的颜色,再举一反三进行上色,还可以持续加入中国文化相关的素材进行训练进一步提升上色的准确性。AI与人类艺术家协作的方式将创造更多可能,想象力经济时代已经来临。
盛行:融媒体时代的集体欢腾
2020年5月8日,大谷首次将第一段视频发布在自己的微博@大谷Spitzer和bilibili账户@大谷的游戏创作小屋上,一经发送便引起社会巨大反响和广泛讨论,转发点赞评论等数据呈现指数式增长,并在2020年5月10日由@人民日报宣传并附加话题#AI修复百年前北京影像#达到舆论巅峰。
截止2021年3月5日,该话题阅读量超2000万,该视频累计播放量超3000万,转发点赞评论数据近百万,荣登全网站日榜榜首。与此同时,bilibili上的数据也十分可观,视频播放量破200万,转发点赞评论数据近十万。第二段视频由大谷和@央视新闻联合发布,也引发了社会各界激烈讨论。
央视新闻微博账号分享大谷制作的视频
百年前的北京几乎没有任何现代化的特征,大街上、市井小巷里人流如织、车水马龙,房屋仍保留着古代的风貌,戴着帽子留着长发织辫子的男人们都新奇又惊恐地看着相机恐被“摄去魂魄”,街上居民会面见礼、逗狗嬉戏、赶集吃食、贩夫俗子、买卖吆喝,街边民俗乐队、烧香拜佛、梵音入耳、嫁娶殡丧习俗、两段视频中出现的一系列人文地理风貌都成为大家津津乐道的话题。
不再是概念的、宏观的、文字的、被描述的、被审视的,而是具象的、细微的、生动的、鲜活的、参与式的、沉浸式的。时光相交的错乱感令人动容,穿越时空与百年前的先人们遥遥相望有所交集。一百年前的众生百态也被湮没在历史的洪流里,沧海桑田,所有一切终将成为历史,而档案会记录和铭记这一切。
大谷发布的视频下,有网友这样评论
质疑:是历史再现还是历史欺骗
然而,在赞誉中总会夹杂不同的声音,人工智能技术作为一种利用深度学习模型和大量数据训练出来的新兴工具发展还不算十分成熟。在这段视频中,有人质疑色彩审美不佳,补色异常、动态画面色彩飘忽,存在上色失真的嫌疑。而且画面整体偏黄,颜色总在或明或暗的变化,特别服装部分,衣角边襟部位发红发黄,比原黑白画面稍清晰一点,但也并没有面部轮廓清晰的特写镜头展示。尤其是衣服偏酱紫色,但是在清末民国时期此种染料被严格管控,在市面上十分少流通,因此反对者发出“这是一种哗众取宠的戏耍历史,人工智能越来越像玩具,缺乏真正的变革感”的声音。
虽然目前的AI修复还存有一定的缺陷和不足,这也就意味着新一轮的机遇和挑战。正如大谷自己所说,像DeOldify这样的上色人工智能目前仍然有很多不足的地方,最主要的问题就是颜色的历史精确性很难保证,同时片源的质量也对修复影响很大,就算是修复后使用ESRGAN进行分辨率倍增,也只能是做到保留低分辨率视频里已有的细节,而无法还原已经丢失的细节(比如过度模糊的人脸),像谍战片里那样监控录像里直接还原人物相貌,暂时还是没法做到。目前的DeOldify即使是使用三个预训练模型中最稳定的Video model,颜色抖动程度仍然很大,饱和度偏低,还远没法达到艺术家手工胶片上色的精准。
但从另一方面来说,人工修复影音档案本来也带有主观因素,审美本就是很私人且极具个体性之物,无法保证也无法用任何其余档案佐证历史真实性。但AI能使档案更易阅读,降低初步研究的门槛和精力,在人力物力成本和修复效果方面占据巨大优势。随着5G技术的日益发展和人工智能技术的逐步成熟,其蕴藏的巨大能量和光明前景不可估量。
反思:老视频背后的新价值
其实无论是人工修复还是AI修复,都只扮演着影音档案开发利用的工具,但其背后蕴藏着的巨大价值不容忽视。视频网站的相关数据很直观地反映着在这个大数据时代,怀旧的人很多。爱奇艺副总裁谢丹铭表示,爱奇艺是业界首个将 AI 技术大规模、多方面地应用在视频画质修复和增强上面的公司,而爱奇艺之所以会对老片进行大规模的修复,原因就是通过大数据分析发现:经典老片具有非常广泛的用户基础,受众规模很大。
档案部门珍贵的影音档案馆藏巨大,全球这方面的需求都是刚需,高客单价,市场可能不大,但很精准。影音档案修复,修复的是怀旧情结、是文化传承也是记忆活化。人工智能等新兴科学技术的日益崛起为档案行业注入了新活力,在此科技浪潮下,档案人更应与时俱进,做时代的弄潮儿。
意大利哲学家、历史学家克罗齐在其著作《历史学的理论与历史》中曾说过“死亡的历史会复活,过去的历史会变成现在,这都是由于生命的发展要求它们的缘故,所有的历史都是当代史”[4]。而档案真实记录历史、铭记历史,影音档案的重要意义不言而喻。修复老片不只是一种情怀,还能够产生新的商业价值和新的商业模式,弥补需求和供给之间的鸿沟,让历史获得“新生”,在岁月的长河中熠熠生辉。
科技进步和技术革新是档案工作变革的内在动力。2020年11月3日下午,在中国(深圳)综合开发研究院举行的“中国数字化之路研讨会”上有关专家指出,人工智能是数字经济的核心驱动力量。随着以高端智能芯片、第三代半导体技术的不断进步带来计算机技术的高速发展,与之相关的人工智能技术也会在2020-2030年进入一个大爆发时期[5]。人工智能赋能影音档案修复是一个新起点,新兴技术也为推进档案工作现代化进程提供了原动力。因此档案部门更要抓紧入局,在后疫情时代勇闯AI加速度,在危机中育新机,于变局中开新局。
案例思考题
大谷修复的百年前北京影像为何会受到广泛关注和社会热议?
利用新兴科学技术修复档案有什么意义?
如何看待人工智能等新兴科技带来的机遇和挑战?
此案例为档案馆档案修复带来什么启示?
来源:2021.06.05 国际档案理事会微信公众号