AI视频生成技术如火如荼,许多创作者追随潮流进行内容创作
视频生成技术及应用是2022年世界人工智能大会(WAIC)最受业内外关注的话题之一。昨日举行的论坛上,有嘉宾提及近日全网创作者运用AI视频整活的风潮。
你经常可以看到甄嬛流泪躺在床上吃腊肉,刘华强和卖瓜摊贩化敌为友,梗图中的地铁老人一口吞下手机。这些刻意搞怪的创作都是依靠各类人工智能视频生成模型实现的。
刚刚过去的6月,许多人工智能视频生成模型相继问世。快手可灵、Luma AI以及Runway的Gen-3 Alpha等热门模型接连发布,引发了广泛关注。
其中快手的AI视频生成模型可谓称作中国版Sora。该模型视频生成时长直接赶超Sora达到120秒,目前已开放图文视频、视频续写、镜头控制等功能。
可灵生成的兔子看报纸/截图
在内测用户上传的生成视频中,可灵的表现令人惊喜,它能够生成广泛的合理运动,并模拟物理世界的特性等。猎豹移动董事长兼CEO傅盛公开测评称,“我认为这个产品今天在我们能使用的范畴内,就是全世界第一,这也是国产人工智能领域的又一项重大突破”。
今年以前,文生视频是多模态人工智能生成内容的圣杯,优化和迭代速度相对较慢。而仅仅过去一年,AI生成的吃面条类视频已经从鬼畜素材级别变得流畅而自然。
视频AI生成技术正逐渐成为流行趋势。美图公司集团高级副总裁陈剑毅在WAIC论坛上表示,使静态照片具有动态效果的功能,预计在不久的将来,大约在半年到一年内,将成为所有社交平台的标准功能,就像现在所有平台都具备滤镜和美颜功能一样。
人工智能(AI)在视频领域的发展达到了怎样的水平?宣传效果看起来很吸引人,但实际效果需要进一步验证。
现阶段的视频生成模型并不完美,常见缺陷大多表现在可控性差上。比如人物的形象及视觉风格、角色场景在生成输出时不能保持稳定一致。运动轨迹、光影效果、口语自然度、音效可控性等都有待提升。
上海交通大学电子系教授倪冰冰在昨日的论坛中指出,我们现在生成类算法包括视频、图像、三维的内容,会遇到许多结构性和细节性问题。比如通常会多生成相同的物体或者缺少某些物体,或者手部穿过物体到达人体内部,有时候衣服上的LOGO变得模糊。
一些大模型生成的体操表演视频截图
陈剑毅同样预测道,当下的AI视频生成技术还在早期阶段,类似电影行业1分钟黑白电影的起点。该技术会经历快速演变,大概3—5年就能走完电影技术百年发展史。目前来看,文生视频有望在网文小说和教学内容领域率先落地。
井英科技首席执行官朱江透露,他们之前历时三年自主研发了一个视频生成模型,主要用于利用人工智能生成短剧视频。最近,井英科技推出的AI短剧应用Reel.AI已经在海外市场上线,其中一些短剧的主角是由AI生成和配音的白人演员。此前,蓝鲸新闻报道过,海外短剧制作成本较国内高出一倍,单部作品可能需要15万美元,利用AI生成是控制成本的一种方式。
关于该项技术的应用,还有一个更现实的挑战。AI生成内容的关键吸引力在于创新,正如陈剑毅所言,“AI生成的视频容易让人审美疲劳,短期内不太可能出现新的平台级产品的机会。”
因此AI生成视频终究是一种工具,内容才是竞争的根本。
盛趣游戏技术中心AI负责人李锋举例称,文生图、文生视频等技术可能会提升游戏立项和开发的效率,比如有助于游戏概念表述,方便策划、美术和程序之间交流理解。但另一方面,玩家口味多变,AI会生成哪些创意、如何及时修改创意才是开发者更看重的部分。
大型企业纷纷进入市场,然而商业化问题仍然难以解决
Sora引爆赛道后,国内互联网大厂加速布局视频生成领域。
今年2月,抖音原CEO张楠转任剪映负责人,外界认为这场调任体现了字节跳动在文生视频大模型上的期望。这一职位变动被视为公司在视频内容创作领域战略调整的重要一步,旨在推动人工智能技术在视频生成中的应用。3个月后,字节跳动旗下的AI创作工具即梦(原名Dreamina)正式上线了AI作图和视频生成功能,标志着公司在文生视频技术上的进一步进展。伴随快手可灵的上线,抖音和快手两家在AI领域的竞争愈发激烈,两者在智能视频生成技术上展开了正面的对抗。此外,阿里巴巴达摩院、百度、腾讯、美图等大厂也纷纷加入了文生视频领域的竞争,推动了整个行业技术和产品的快速发展。
在今年的人工智能大会上,如何将AI视频模型商业化是频繁被讨论的议题。业内认为AI视频模型商业化至少需要解决两个问题,一是前文曾提及的技术层面,其二则是昂贵的成本。
据垂媒量子位援引专家预估,OpenAI推出的Sora在训练环节大约需要在4200-10500张NVIDIA H100上训练1个月,并且当模型生成到推理环节以后,计算成本还将迅速超过训练环节。因此其显然不太可能依靠文生图产品同等水平的会员费覆盖成本。
倪冰冰教授认为:生成式人工智能当前阶段的成功是以计算能力和数据消耗过度为代价的,因此未来我们需要一些新的架构、新的计算方式或者新的底层技术来支持更高效优质的媒体生产力。
关于未来,可能没人说得准。井英科技CEO朱江表示,我们把这一代的人工智能生成式时代类比成寒武纪生命大爆发的时候。在当时,其实很难预测哪一个物种未来会生存下去。比如哪一类生物突然进化出了眼睛,可能取得了阶段性优势。
“但其中有两点比较确定。”朱江总结称:第一,在新的生成式时代保持Tire1技术的水准和理解;第二,入局很重要,关键要关注机会在哪里、客户需求是什么,想赚钱首先得留在牌桌上。