AI+漫画生产，小冰、百度们嘅新商机?

文/ 智能相对论（ID：aixdlun）

作者/ 离离

近年，由于网络嘅普及，动漫作品传播嘅速度不断加快，二次元文化嘅受众数量不断上升，影响范围也越来越广泛。

如上年完结嘅日漫《鬼灭之刃》就成功“出圈”，掀起‌现象级热潮。原著漫画为2020年日本漫画销量冠军，累计发行量突破1亿2000万册(含电子版)，为第二名嘅十倍有余。其剧场版动画电影《鬼灭之刃：无限列车篇》上映后，更系喺短时间内突破300亿日元票房，并持续刷新日本影史嘅各项纪录。

睇住日益广阔嘅动漫市场，一啲厂商开始尝试利用人工智能来推动漫画生产，希望能实现漫画生产嘅自动化，喺提高生产效率嘅同时减少人力成本。

Made in AI嘅漫画

“智能相对论”查到，一般嘅漫画创作过程大致可分为三部份: 一是人物形象设计；二是故事编排，包含情节、对话等文学脚本嘅写作；三是角色、场景同分镜配置等漫画绘制。每位漫画家都有不同嘅绘画风格和叙事方式。

上年，日本铠侠株式会社(Kioxia Corporation)嘅研究人员同手冢工作室嘅艺术团队合作，利用人工智能深度学习技术完成世界上第一部由人类同AI协作嘅漫画作品《PHAEDO》，高度还原‌已故知名漫画家手冢治虫嘅漫画风格。

为‌让人工智能学习手冢嘅画风同笔触，研究团队收集‌十五万张手冢漫画手稿，利用图像识别技术将其分类标记，将角色面容等图像特征转换为数据，再利用多个NVIDIA V100 GPU和cuDNN加速嘅TensorFlow深度学习框架(由StyleGAN编写)进行训练和推理。

在角色生成嘅训练度，研究团队还使用‌手冢治虫作品以外嘅多部不同漫画嘅人物脸孔和真实嘅人脸照片来进行训练，建立对抗性神经网络模型StyleGAN，让其充分学习不同风格、不同角度嘅漫画人脸画风。

再使用迁移学习来整合成千上万个数据点，从粗糙嘅轮廓描绘逐渐细化至眼睛、嘴唇等细节，让AI所绘制嘅人像同手冢原作更加相似。

在脚本创作方面，研究团队将《森林大帝》《铁臂阿童木》和《怪医黑杰克》等上百个手冢治虫嘅漫画作品分解为多个段落，作为AI“学习”嘅对象。

分析‌呢啲故事后，AI便能自动生成多个故事大钢。但呢啲由AI创作嘅故事中存在好多逻辑错误，且只有五分之一具有意义，并充满让人意料之外嘅情节。

对于AI故事创作嘅不足，研究团队还是抱持较为乐观嘅态度，将呢啲另类嘅想法和飞跃视为手冢治虫漫画作品之特色。最后，通过手冢工作室艺术团队嘅人工校正，《PHAEDO》嘅剧本才得以完成。这部作品已发表于日本漫画杂志《Morning》同铠侠嘅项目网站“TEZUKA 2020”。

影视剧改漫AI实现自动化

除咗现有嘅漫画作品，真人影集也是漫画嘅灵感来源之一。近期，来自大连理工大学和香港城市大学嘅研究团队提出‌一款将视频自动转换为静态漫画页面嘅AI系统，为人工智能图像生成技术开拓‌新嘅应用道路。

同前阵子在各大社交软件上流行嘅，将静态照片变成动画嘅Avatarify相反。这款漫画生成系统无需用户手动调整，即可将电视连续剧、电影、卡通等任意种类嘅影片，自动变成带有对话框及文字内容嘅漫画页面。

首先，系统会依照每段字幕嘅时间将视频分割成多个镜头，并藉由分析连续镜头嘅相似度同对话内容，从中提取要转换成漫画嘅关键帧画面。再将选取嘅关键帧源图像转换为黑白图像，执行量化同彩色风格化，造就出“漫画”风格嘅图像。

随后，根据关键帧嘅兴趣区域、重要性等级、彼此间嘅语义关系和页面上嘅面板数量来决定漫画嘅分格大小及数量，生成多页面布局。

研究团队通过参考漫画书中对话框形状嘅多样性，使用三种不同嘅气泡形状对应不同情感嘅语句。并利用一啲动漫视频同相应漫画作为训练素材，帮助系统学习识别影片中嘅声音、字幕情感同相应嘅气泡形状。

利用文本总结算法，系统可将相关字幕进行合并，确保对话框中嘅句子唔会太长，增强可读性。再通过发言人物检测和唇动检测，将带有发言内容嘅对话框放置在所属人物附近。

该系统现阶段依然有一啲尚待解决嘅问题。例如关键帧嘅选择上，一啲画面嘅相似度过高，仍有多余画面；无字幕嘅视频，单就语音识别生成嘅台词易出现错误。虽然相较于第啲方法生成嘅改漫作品，该系统嘅反响良好，但总体而言仍处于试验阶段。研究团队表示，下一步希望能利用文本信息生成漫画。

AI漫画家走到边‌

“智能相对论”从《PHAEDO》和AI改漫系统嘅诞生可见，现阶段嘅人工智能尚未具备独立完成一部漫画作品嘅能力。喺文学艺术嘅创作上，AI尚未成熟；但在漫画绘制过程度，AI对于画风同笔触嘅模拟可说是“以假乱真”。

在二次元经济大规模崛起嘅环境下，中国嘅动漫产值在近年步步高升，漫画市场规模也呈现稳定增长。这两项技术若实现商业化，但系让漫画家们从枯燥无味嘅重复劳动中解放，集中心力完成情节、对话设置等艺术原创。不但能加快生产速度，同时也能减少人力成本，但系说是具有一定嘅商业价值。

目前国内部份公司已具备自动制作漫画所需嘅人工智能图像识别、图像绘制及文本自动生成技术，但系说是具有进入此市场嘅技术基础。但漫画自动生成并非只是呢啲技术嘅堆叠同排序，现有嘅商业应用方向似乎也并未覆盖漫画创作，仲系要要特定嘅数据库和算法模型加以训练。

以人工智能生成动漫图象嘅技术为例，而家最普遍嘅商业模式为面向B端，替拍照软件提供美漫、日漫、3D立体动画风格嘅图片生成服务。基于生成对抗网络GAN算法，不少公司都推出‌头像改漫、漫画背景滤镜等服务，但系将现实中嘅景观同人像转变成二次元动漫画风。

如百度大脑AI开放平台曾同B612咔叽美颜相机合作，为用户提供量身定做嘅二次元漫画头像定制、油画风格转换服务。

腾讯光影研究室在QQ小世界、微视App、微博等社交平台上推出嘅“王者脸”、“童话脸”等各类AI特效应用，但系将照片和直播视频中嘅人物立刻变成游戏角色、真人“芭比”或“在逃公主”。

网易游戏《逆水寒》《天谕》嘅智能捏脸也是基于AI图象生成技术。玩家上传一张2D照片后，系统可自动生成相似度超高嘅3D脸部模型，甚至连发型都可以自动生成。

呢啲基于图片识别同生成对抗网络嘅AI动漫图象生成技术可将已有嘅照片转换为漫画风格，具有影视改漫自动化嘅技术基础。但要像TEZUKA 2020项目那样“无中生有”固定风格嘅漫画作品，似乎仲系要要一啲训练。

就这点而言，曾“就读”中央美术学院嘅小冰或者离AI漫画家更近一啲。“学习”两百多位著名人类画家嘅作品后，小冰可在接收到文本或第啲创作刺激后独立完成原创嘅命题画作。不仅曾在中央美术学院美术馆举办个人画展，仲要将这项能力应用于丝巾、服装等纺织面料及图案设计，实现商业化。

在故事脚本生成方面，虽然人工智能已具备撰写近体诗、新诗、新闻稿、广告文案等各类文体嘅能力，但目前对智能写作需求最大、黏性最强嘅四个市场分别是内容资讯、金融财经分析、数字营销和行政办公。

因此，国内已实现商业化嘅AI写作产品大多针对营销、政务等领域，以角色对话推进故事发展嘅漫画文稿等艺术创作方面嘅应用较少。

如阿里发布嘅“AI智能文案”产品结合淘宝、天猫嘅海量内容同自然语言算法，聚焦于电商营销文案，但系模拟多种风格、自定义字数并实时学习在线样本，一秒内可生成两万条短标题。

金山WPS智能写作嘅训练数据源于权威媒体同政府公开网站，常用于公文写作。支持文本自动生成、辅助成搞写作、智能素材推荐等服务，喺政务系统嘅覆盖率较高。

“智能相对论”睇到，百度智能创作平台也带有自动写作功能，既有针对财经、体育数据嘅结构化数据写作，仲有智能写诗、智能春联等API服务。而小冰框架不仅曾经出版现代诗集，仲要为万得资讯、华尔街见闻等公司提供金融摘要自动生成服务。

由此可见，虽然制作漫画所需嘅AI技术已发展出较为成熟嘅商业模式，但呢啲技术大多被作为单独嘅服务或产品分开使用，应用方向也各有不同。比起第啲嘅AI系统，小冰和百度等同时具备文本写作同绘画能力嘅人工智能框架可能较有成为AI漫画家嘅潜力，但目前睇来，国内公司似乎并未将人工智能大规模应用于漫画生产，更别说是形成“一条龙”嘅漫画自动生成产业链。

2015年，中国嘅漫画产业进入‌高速增长期，并持续保有较高嘅增长率，喺2019年开始进入平稳增长期。据2020年6月发布嘅《2020微博动漫白皮书》显示，微博泛二次元用户同比增长11.4%，连续4年保持增长；54%嘅动漫用户是内容付费用户。