欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

AI终于能生成流畅3D动作片了,不同动作衔接无bug,准确识别指令

时间:2023-02-06 14:08:57 | 浏览:1993

萧箫 发自 凹非寺量子位 | 公众号 QbitAI让3D动画小人做一套丝滑的动作,需要手动渲染多久?现在交给AI,输入几句话就能搞定(不同颜色代表不同动作):看向地面并抓住高尔夫球杆,挥动球杆,小跑一段,蹲下。此前,AI控制的3D人体模型基

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

让3D动画小人做一套丝滑的动作,需要手动渲染多久?

现在交给AI,输入几句话就能搞定不同代表不同动作)

看向地面并抓住高尔夫球杆,挥动球杆,小跑一段,蹲下。

此前,AI控制的3D人体模型基本只能“每次做一个动作”或“每次完成一条指令”,难以连续完成指令。

现在,无需剪辑或编辑,只需按顺序输入几条命令,3D人物就能自动完成每一套动作,全程丝滑无bug。

这只新AI的名字叫TEACH,来自马普所和古斯塔夫·艾菲尔大学。

网友们脑洞大开:

这样以后拍3D动画电影,是不是只用剧本就能搞定了?

显然,游戏和仿真行业可以考虑一下了。

那么,这样的3D人物动作神器是怎么来的呢?

用编码器“记住”前一个动作

TEACH的架构,基于团队不久前提出的另一个3D人体运动生成框架TEMOS

TEMOS基于Transformer架构设计,利用人体真实运动数据进行训练。

它在训练时会采用两个编码器,分别是动作编码器(Motion Encoder)和文本编码器(Text Encoder),同时通过动作解码器(Motion Decoder)输出。

但在使用时,原本的动作编码器就会被“扔掉”、只保留文本编码器,这样模型直接输入文本后,就能输出对应的动作。

与其他输入单一文本、输出确定性动作的AI不同,TEMOS能通过单一文本,生成多种不同的人体运动

例如“人绕圈”和“站着走几步路停下来”这种单一指令,就能生成好几种不同的运动方式:

△转圈方式、走路步幅都不一样

TEACH的架构正是基于TEMOS设计,动作编码器直接就从TEMOS那儿搬了过来。

但TEACH重新设计了文本编码器,其中包括一个名叫Past Encoder的编码器,它会在生成每一个动作时,提供前一个动作的上下文,以增加动作与动作之间的连贯性。

如果是一系列指令中的第一个动作,就禁用Past Encoder,毕竟没有前一个动作可以学了。

TEACH在BABEL数据集上进行训练,这是一个时长43小时的动捕数据集,包含过渡动作、整体抽象动作、以及每一帧的具体动作。

在训练时,BABEL的这一系列动捕数据会被切分成很多个子集,每个子集中包含一些过渡动作,让TEACH能学会过渡并输出。

至于为什么不用另一个数据集KIT进行训练,作者们也给出了自己的看法。

例如在动词类型上,BABEL出现要比KIT更具体,相比之下KIT更喜欢用do/perform这种“模糊的”词汇。

研究人员将TEACH与TEMOS就连续动作生成效果进行了对比。

比TEMOS效果更好

先来看看TEACH生成一系列动作的效果,连续不重样:

随后,研究人员将TEMOS与TEACH进行了对比。

他们使用两种方法对TEMOS模型进行了训练,并分别将它们称之为Independent和Joint,区别在于训练用的数据上。

其中,Independent直接用单个动作训练,在生成时将前后两个动作用对齐、球面线性插值等方式融合在一起;Joint直接用动作对和分隔开的语言标签作为输入。

Slerp是一种线性插值运算,主要用于在两个表示旋转的四元数之间平滑插值,让变换过程看起来更流畅。

以生成“挥挥右手,举起左手”连续两个动作为例。

Independent的表现效果最差,人物当场坐下了;Joint效果好一点,但人物并没有举起左手;效果最好的是TEACH,在挥动右手后又举起了左手,最后才放下。

在BABEL数据集上测试表明,TEACH的生成误差是最低的,除此之外Independent和Joint的表现都不太好。

研究人员还测了测使用上一个动作的最佳帧数,发现当使用前一个动作的5帧时,生成的过渡动作效果最好。

作者介绍

Nikos Athanasiou,马普所在读研究生,研究方向是多模态AI,喜欢探索人类行动和语言背后的关系。

Mathis Petrovich,在古斯塔夫·艾菲尔大学(Université Gustave Eiffel)读博,同时也在马普所工作,研究方向是基于标签或文字说明产生真实的、多样化人体运动。

Michael J. Black,马克思·普朗克智能系统研究所主任,如今谷歌学术上论文引用次数达到62000+次。

Gul Varol,古斯塔夫·艾菲尔大学助理教授,研究方向是计算机视觉、视频特征学习、人体运动分析等。

目前TEACH已经开源,感兴趣的小伙伴们可以戳下方地址体验了~

GitHub地址:
https://github.com/athn-nik/teach

论文地址:
https://arxiv.org/abs/2209.04066

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

AI终于能生成流畅3D动作片了,不同动作衔接无bug,准确识别指令

萧箫 发自 凹非寺量子位 | 公众号 QbitAI让3D动画小人做一套丝滑的动作,需要手动渲染多久?现在交给AI,输入几句话就能搞定(不同颜色代表不同动作):看向地面并抓住高尔夫球杆,挥动球杆,小跑一段,蹲下。此前,AI控制的3D人体模型基

五部经典的韩国暴力动作片,《犯罪都市》倒数,《黄海》只能第二

第五部《犯罪都市》豆瓣:7.7主演:马东锡,尹启相影片点评:先看完第二部才来补的第一部。主要吸引的点在于很想比较一下这两部的反派区别。跟第二部可以说是不相上下的血腥暴力,也算精彩好看。让观众对这种骨子里的狠和恶感到恐惧,就算是成功了。本想着

贺岁档快来啦!《误杀2》《暗杀风暴》《古董局中局》《反贪风暴5》,今年动作片唱主角

钱江晚报·小时新闻记者 陆芳有没有感觉到,电影院里有点贺岁档的味道了!按常规,每年11月下旬开始就是贺岁档前期,不少影片会跃跃欲试。12月则是贺岁档正式开始,24日达到高潮。近年因为跨年档票房大爆,使得今年的12月31日更是堪比大年初一,热

热门动作片《速度与激情10》上映时间正式公布

热门动作片《速度与激情10》上映时间正式公布VinDiesel在最近接受Comicbook采访时,透露了下一步《速度与激情》系列大作的更多细节,第3到第6集《速度与激情》导演JustinLin将回归执导系列最结局,而《Fast&Furiou

国产动作片巅峰之作《战狼》,犯我中华者,虽远必诛

《战狼》是由吴京执导的现代军事战争片,历时七年全力打造,《战狼》真实呈现了一场中外边境战争,也让堪称“东方之狼”的特种兵战队及高能战士首次登陆大银幕。开场时是一场由吴京扮演的狙击手冷锋参加的缉毒战,他不顾上级的命令而擅自行动,危急之际利用狙

夏普(Sharp)空气清新机隐藏指令!连按按钮8次发声:“够了!“

以往的游戏好兴在游戏加上隐藏指令,可以chok出不同秘技,最经典就有KONAMI指令↑↑↓↓←→←→BA。而在家庭电器上,原来Sharp都有制作隐藏指令的历史,除了微波炉之外,最近有用户发现一部近年推出的空气加湿清新机,同样有隐藏指令,语音

郁亮“千亿市值”指令下,万科物业的资本故事猜想

每经记者:吴抒颖 每经编辑:魏文艺今日(5月13日)早间,万科集团合伙人、万科物业首席执行官朱保全发表《致全员信|新十年》,信中提及万科物业已确立CS社区空间、BS商企空间、US城市空间“三驾马车”的新规划,物业调整为公司业务层内容之一。而

希腊民航局发布最新指令允许入境的非欧盟国家增加5个

希腊民航局当地时间7月3日发布最新指令,继续延长对多个国家的航班禁令,以及对欧盟规定以外的非欧盟国家公民的入境禁令,直至7月8日上午6时。而针对飞往各岛屿的国内航班的防疫措施,将从7月5日实施至7月12日。根据希腊民航局的公告,欧盟机构规定

辨别启动方式Legacy/UEFI,没那么复杂,只需一个指令

说到重装系统,相信各位都已经不陌生了。电脑一遇到蓝屏、黑屏、中病毒等系统故障的时候,大部分的用户会尝试给电脑重装系统,以解决以上的电脑问题。不过呢,对于windows系统启动模式,很多小伙伴却有困惑。如果我们重装系统的时候没有选择正确的启动

三步操作、三条指令:89元天猫精灵智联套装体验,智能家居很简单

智慧生活或者说智能家庭离我们有多远?每当看见琳琅满目的各种产品时,似乎觉得他们很近,但想想要把家中大量的老旧设备替换掉,又觉得并不是那么值得——有几个人会只为了智能化就给用的好好的家电大换血呢?不过即便如此,我们还是可以一点点潜移默化的进行

训练营|四个动作,唤醒你沉睡的“小肉肉”

通过上一期课程,大家已经了解了运动前热身的重要性。为了提高热身效率,今天我们来为大家讲解针对性肌肉激活。一、 为什么需要肌肉激活?肌肉对关节、骨骼有支撑和保护作用,我们的每一个动作都需要有肌肉的参与。我们的身体很聪明,它会将你不常用到的肌肉

佛山照明最新动作曝光!这一次有点重磅...

6月24日,佛山照明与三亚崖州湾科技城管理局、海南省深海技术创新中心、中国科学院深海科学与工程研究所在深海科技城举行专题活动,宣布“深海照明工程技术联合实验室”揭牌投入使用。佛山照明总经理雷自合、副总经理魏彬出席活动。“深海照明工程技术联合

室外攀岩的基本技巧热身抱石动作规范

偶尔参加一些刺激性的极限运动,可以开拓我们对于世界的认知,比如蹦极、漂流、攀岩等等,掌握室外攀岩的基本技巧,才可以勇攀高峰,才可以更安全的达到自己的目标。室外攀岩技巧:一、热身在开始攀岩之前,热身这个动作是非常重要的,省略这个步骤很容易受伤

10个动作,搞定攀岩前后的热身与放松

本文作者: 纪云 来源: 岩点公众号 版权归属原作者译者注:攀岩的热身和放松是个复杂、深奥的大问题,这篇文章介绍的方法极其简单明了,每个人看完都可以马上开始做起来,尽管可能不是最全面的热身方法,但总比什么也不做要好得多。一个美好攀岩日需具备

鑫源摩托又有新动作了,多款新车亮相,其中就有烈火骑士纪念版

鑫源摩托又有新动作了,多款新车亮相,其中就有烈火骑士纪念版鑫源一家知名度并不高的老牌摩企,因为重庆山火事件被广大网友所熟知,而近日随着重庆摩博会的即将开幕,该品牌也做出了最新的战略布局,在接下来的几天中将会有多款车型亮相,其中就包括为烈火骑

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈蜈蚣养殖技术今日威海跆拳道培训网唯品会购物网丽家宝贝母婴商标注册查询官网世界首富排名网广西旅游网杭州亚运会资讯网伯爵腕表之家曲靖新闻头条网奈雪的茶会员日海南椰子种植网书法艺术官网良品铺子零食网
菲侓宾旅游网-菲律宾必吃美食排行榜、百胜滩漂流、菲律宾长滩旅游攻略、新加坡飞澳大利亚航班、菲律宾旅游攻略自助游推荐、公主港旅游攻略一日游、长滩岛水上项目、菲律宾个人旅游攻略、蓝色港湾美食攻略排名、菲律宾自由行旅游攻略、长滩岛旅游项目、普卡海滩旅游、菲律宾自驾游线路推荐。
菲侓宾旅游网 haomimi.cn ©2022-2028版权所有