1. 创业头条
  2. 前沿领域
  3. 人工智能
  4. 正文

漫画生产自动化 小冰、百度们有兴趣吗?

 2021-04-04 18:33  来源:A5专栏  我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

文/ 智能相对论(ID:aixdlun)

作者/ 离离

近年,由于网络的普及,动漫作品传播的速度不断加快,二次元文化的受众数量不断上升,影响范围也越来越广泛。

如去年完结的日漫《鬼灭之刃》就成功“出圈”,掀起了现象级热潮。原著漫画为2020年日本漫画销量冠军,累计发行量突破1亿2000万册(含电子版),为第二名的十倍有余。其剧场版动画电影《鬼灭之刃:无限列车篇》上映后,更是在短时间内突破300亿日元票房,并持续刷新日本影史的各项纪录。

看着日益广阔的动漫市场,一些厂商开始尝试利用人工智能来推动漫画生产,希望能实现漫画生产的自动化,在提高生产效率的同时减少人力成本。

Made in AI的漫画

“智能相对论”查到,一般的漫画创作过程大致可分为三部份: 一是人物形象设计;二是故事编排,包含情节、对话等文学脚本的写作;三是角色、场景与分镜配置等漫画绘制。每位漫画家都有不同的绘画风格和叙事方式。

去年,日本铠侠株式会社(Kioxia Corporation)的研究人员与手冢工作室的艺术团队合作,利用人工智能深度学习技术完成世界上第一部由人类与AI协作的漫画作品《PHAEDO》,高度还原了已故知名漫画家手冢治虫的漫画风格。

为了让人工智能学习手冢的画风与笔触,研究团队收集了十五万张手冢漫画手稿,利用图像识别技术将其分类标记,将角色面容等图像特征转换为数据,再利用多个NVIDIA V100 GPU和cuDNN加速的TensorFlow深度学习框架(由StyleGAN编写)进行训练和推理。

在角色生成的训练中,研究团队还使用了手冢治虫作品以外的多部不同漫画的人物脸孔和真实的人脸照片来进行训练,建立对抗性神经网络模型StyleGAN,让其充分学习不同风格、不同角度的漫画人脸画风。

再使用迁移学习来整合成千上万个数据点,从粗糙的轮廓描绘逐渐细化至眼睛、嘴唇等细节,让AI所绘制的人像与手冢原作更加相似。

在脚本创作方面,研究团队将《森林大帝》《铁臂阿童木》和《怪医黑杰克》等上百个手冢治虫的漫画作品分解为多个段落,作为AI“学习”的对象。

分析了这些故事后,AI便能自动生成多个故事大钢。但这些由AI创作的故事中存在许多逻辑错误,且只有五分之一具有意义,并充满让人意料之外的情节。

对于AI故事创作的不足,研究团队还是抱持较为乐观的态度,将这些另类的想法和飞跃视为手冢治虫漫画作品之特色。最后,通过手冢工作室艺术团队的人工校正,《PHAEDO》的剧本才得以完成。这部作品已发表于日本漫画杂志《Morning》与铠侠的项目网站“TEZUKA 2020”。

影视剧改漫AI实现自动化

除了现有的漫画作品,真人影集也是漫画的灵感来源之一。近期,来自大连理工大学和香港城市大学的研究团队提出了一款将视频自动转换为静态漫画页面的AI系统,为人工智能图像生成技术开拓了新的应用道路。

与前阵子在各大社交软件上流行的,将静态照片变成动画的Avatarify相反。这款漫画生成系统无需用户手动调整,即可将电视连续剧、电影、卡通等任意种类的影片,自动变成带有对话框及文字内容的漫画页面。

首先,系统会依照每段字幕的时间将视频分割成多个镜头,并藉由分析连续镜头的相似度与对话内容,从中提取要转换成漫画的关键帧画面。再将选取的关键帧源图像转换为黑白图像,执行量化与彩色风格化,造就出“漫画”风格的图像。

随后,根据关键帧的兴趣区域、重要性等级、彼此间的语义关系和页面上的面板数量来决定漫画的分格大小及数量,生成多页面布局。

研究团队通过参考漫画书中对话框形状的多样性,使用三种不同的气泡形状对应不同情感的语句。并利用一些动漫视频与相应漫画作为训练素材,帮助系统学习识别影片中的声音、字幕情感与相应的气泡形状。

利用文本总结算法,系统可将相关字幕进行合并,确保对话框中的句子不会太长,增强可读性。再通过发言人物检测和唇动检测,将带有发言内容的对话框放置在所属人物附近。

该系统现阶段依然有一些尚待解决的问题。例如关键帧的选择上,一些画面的相似度过高,仍有多余画面;无字幕的视频,单就语音识别生成的台词易出现错误。虽然相较于其它方法生成的改漫作品,该系统的反响良好,但总体而言仍处于试验阶段。研究团队表示,下一步希望能利用文本信息生成漫画。

AI漫画家走到哪了

“智能相对论”从《PHAEDO》和AI改漫系统的诞生可见,现阶段的人工智能尚未具备独立完成一部漫画作品的能力。在文学艺术的创作上,AI尚未成熟;但在漫画绘制过程中,AI对于画风与笔触的模拟可说是“以假乱真”。

在二次元经济大规模崛起的环境下,中国的动漫产值在近年步步高升,漫画市场规模也呈现稳定增长。这两项技术若实现商业化,可让漫画家们从枯燥无味的重复劳动中解放,集中心力完成情节、对话设置等艺术原创。不但能加快生产速度,同时也能减少人力成本,可说是具有一定的商业价值。

目前国内部份公司已具备自动制作漫画所需的人工智能图像识别、图像绘制及文本自动生成技术,可说是具有进入此市场的技术基础。但漫画自动生成并非只是这些技术的堆叠与排序,现有的商业应用方向似乎也并未覆盖漫画创作,还需要特定的数据库和算法模型加以训练。

以人工智能生成动漫图象的技术为例,现在最普遍的商业模式为面向B端,替拍照软件提供美漫、日漫、3D立体动画风格的图片生成服务。基于生成对抗网络GAN算法,不少公司都推出了头像改漫、漫画背景滤镜等服务,可将现实中的景观与人像转变成二次元动漫画风。

如百度大脑AI开放平台曾与B612咔叽美颜相机合作,为用户提供量身定做的二次元漫画头像定制、油画风格转换服务。

腾讯光影研究室在QQ小世界、微视App、微博等社交平台上推出的“王者脸”、“童话脸”等各类AI特效应用,可将照片和直播视频中的人物立刻变成游戏角色、真人“芭比”或“在逃公主”。

网易游戏《逆水寒》《天谕》的智能捏脸也是基于AI图象生成技术。玩家上传一张2D照片后,系统可自动生成相似度超高的3D脸部模型,甚至连发型都能自动生成。

这些基于图片识别与生成对抗网络的AI动漫图象生成技术可将已有的照片转换为漫画风格,具有影视改漫自动化的技术基础。但要像TEZUKA 2020项目那样“无中生有”固定风格的漫画作品,似乎还需要一些训练。

就这点而言,曾“就读”中央美术学院的小冰或许离AI漫画家更近一些。“学习”两百多位著名人类画家的作品后,小冰可在接收到文本或其他创作刺激后独立完成原创的命题画作。不仅曾在中央美术学院美术馆举办个人画展,还将这项能力应用于丝巾、服装等纺织面料及图案设计,实现商业化。

在故事脚本生成方面,虽然人工智能已具备撰写近体诗、新诗、新闻稿、广告文案等各类文体的能力,但目前对智能写作需求最大、黏性最强的四个市场分别是内容资讯、金融财经分析、数字营销和行政办公。

因此,国内已实现商业化的AI写作产品大多针对营销、政务等领域,以角色对话推进故事发展的漫画文稿等艺术创作方面的应用较少。

如阿里发布的“AI智能文案”产品结合淘宝、天猫的海量内容与自然语言算法,聚焦于电商营销文案,可模拟多种风格、自定义字数并实时学习在线样本,一秒内可生成两万条短标题。

金山WPS智能写作的训练数据源于权威媒体与政府公开网站,常用于公文写作。支持文本自动生成、辅助成搞写作、智能素材推荐等服务,在政务系统的覆盖率较高。

“智能相对论”看到,百度智能创作平台也带有自动写作功能,既有针对财经、体育数据的结构化数据写作,还有智能写诗、智能春联等API服务。而小冰框架不仅曾经出版现代诗集,还为万得资讯、华尔街见闻等公司提供金融摘要自动生成服务。

由此可见,虽然制作漫画所需的AI技术已发展出较为成熟的商业模式,但这些技术大多被作为单独的服务或产品分开使用,应用方向也各有不同。 比起其他的AI系统,小冰和百度等同时具备文本写作与绘画能力的人工智能框架可能较有成为AI漫画家的潜力,但目前看来,国内公司似乎并未将人工智能大规模应用于漫画生产,更别说是形成“一条龙”的漫画自动生成产业链。

2015年,中国的漫画产业进入了高速增长期,并持续保有较高的增长率,在2019年开始进入平稳增长期。据2020年6月发布的《2020微博动漫白皮书》显示,微博泛二次元用户同比增长11.4%,连续4年保持增长;54%的动漫用户是内容付费用户。

在二次元用户数量与市场规模不断扩增的今日,消费者逐渐养成为内容付费的习惯,付费商业模式助于刺激生产,创作者们也不断探索新的漫画表现形式。如介于动画与漫画之间的动态漫画、经由用户触摸或摇晃设备而推动内容情节发展的互动漫画。

无论是需要耗费大量人力的静态漫画,还是这些制作周期更长、投入成本更高的新形态漫画,若能在内容生产上降低成本、提高产出效率,不但能让作者省下重复劳动的时间精力,得以更专注于打磨作品;也能降低漫画生产门槛,迸发出更多艺术可能。

在“国漫崛起”的现在,使用AI来加快漫画生产似乎是个不错的想法。就像参与《Phaedo》项目的科学家松原仁所说的,AI和人类合作画漫画是理所当然的未来。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
ai技术

相关文章

  • 汇聚中国AI顶尖力量 云天励飞参与华为AI大模型联合创新

    2023年7月6日,第六届世界人工智能大会(WAIC2023)在上海开幕,“人工智能大模型”是本届大会的备受瞩目的话题,据悉,在昇腾AI大模型的创新研发中,华为联手26家行业领军企业,组建了一支协同创新的“AI明星队”,云天励飞作为中国人工智能企业的杰出代表,和互联网大厂、运营商、科研院所等优秀团队

    标签:
    ai技术
  • 用友大易:迈入AI招聘2.0时代,让人力资源回归本质

    这几个月来,以ChatGPT为代表的生成式AI展现出的能力令世界惊叹。自从2016年AlphaGo战胜李世石掀起了一波AI浪潮后,AI仿佛已经沉寂了很久,ChatGPT的横空出世就如同一束耀眼的光芒,让AI这个名词重回C位。过去在AI1.0时代,主要通过训练模型来实现图像识别、声音识别、语言处理等特

    标签:
    ai技术
  • 新发布的PaaS2.0,能否助力涂鸦智能再起飞?

    文:互联网江湖作者:志刚2023年的IoT需要一个新故事。6月29日,涂鸦智能在开发者大会上,发布了企业级战略PaaS2.0,希望通过一个平台+四大开发服务,建立起IoT生态。对于这场发布会,市场的态度是积极的。美东时间6月29日收盘,涂鸦智能美股股价上涨5.6%,来到1.87美元/股。近日股价稳定

    标签:
    ai技术
  • 大模型难掩AI制药的悲伤:越过山丘,无人等候

    美团曾经的二号人物王慧文对标OpenAI的创业项目光年之外,以20亿卖给美团,再度引发市场对大模型的热议。

    标签:
    ai技术
  • 拾起王慧文的AI梦,美团冲向“光年之外”?

    2020年底,王慧文在朋友圈写下这句话时,外界本以为这位伴随中国互联网发展而持续创业20年的人物即将告别创业舞台。但是,一个曾经多次创业,正值壮年的互联网老将心中的创业热情是难以熄灭的。

    标签:
    ai技术
  • 开发者怎么拥抱智能化浪潮?昇腾AI给出了“通关指南”

    在大模型代表的新一轮技术浪潮下,智能化转型已然是毋庸置疑的趋势,科技大厂们纷纷给出了智能化的“道法术”,大大小小的企业也开始更新认知,想要从创新中挖掘出驱动增长的新质生产力。但现实和智能化的美好愿景之间,仍然横亘着一片鲜有人涉足的“荒海”,脚下还没有坚实的路。3月23日在天津举办的昇腾AI开发者创享

    标签:
    ai技术
    ai智能
  • 8款AI视频生成产品实测,谁将成为中国Sora?

    ©自象限原创作者丨罗辑、苏奕编辑丨程心2024年开年,科技圈没有什么比Sora的出现更让人兴奋。如同ChatGPT在2023年初带来的LLM创业潮,Sora的发布也同样将视频生成模型推到了风口浪尖。科技巨头猛推产品,创业公司则乘风而上。3月13日,AI视频大模型公司爱诗科技完成亿元级人民币A1轮融资

    标签:
    ai技术
    ai智能
  • AI业务收入盈利双增,但百融云没有止步

    当为科学技术巡游一方的神,行至人工智能的篇章,中国公司的2023年报里,写着AIGC的前世今生。翻开科技进步的编年史,每一次技术革命都有这样一条铁律:技术革命的最大受益者,通常不是率先做出突破的开疆派,而是率先将其发扬光大的技术流。靠着工业革命超越日不落的美利坚,把同样的故事,转载到了50年代的半导

  • AI手机需要新故事

    言必称AI的时代,已经来了,尤其是随着sora等的震撼发布,以及Google、微软和国内大厂等在AI研发、大模型等方面的日新月异。就手机行业而言,在存量时代出货量连年不及预期的情况下,如何刺激用户换机,成了一道摆在所有手机厂商面前的共同命题。从三星到国内的一些手机厂商,实际上已先行一步打出了“AI手

    标签:
    ai技术
  • 智能校对大模型文修2.0重磅发布:赋能“人工智能+办公”转型升级

    3月22日,由天津蜜度文修智能科技有限公司主办的智能校对大模型文修2.0智臻发布会在津举行。发布会以“大模型赋能‘人工智能+办公’体验升级”为主题,邀请语言智能领域专家,以及各大媒体机构和合作伙伴,围绕大模型技术、应用落地发展、标准化进程进行分享交流。发布会上还发布了智能校对大模型文修2.0。天津市

  • 阿里通义千问重磅升级:免费开放1000万字长文档处理功能

    3月22日消息,阿里通义千问重磅升级,向所有人免费开放1000万字的长文档处理功能,成为全球文档处理容量第一的AI应用。即日起,所有金融、法律、科研、医疗、教育等领域的专业人士,都可通过通义千问网站和APP快速读研报、分析财报、读科研论文、研判案情、读医疗报告、解读法律条文、分析考试成绩、总结深度文

    标签:
    通义千问

编辑推荐