一觉醒来,AI领域又迎来了新的变化!字节跳动推出了Seedance2.0视频生成模型,这款模型目前在国内外都备受关注,不少用户体验后给出了真实的反馈。很多人还不清楚如何使用【Seedance2.0】,下面为大家整理了两个使用途径,包括即梦AI、小云雀等,具体教程和实测体验如下。
目前即梦平台仅部分灰度测试的用户可以体验到,但旗下的小可爱小云雀APP却是直接支持抢先内测了呀。
还等什么铁子们,灵宝火速更新了一下手机上的小云雀APP,一重启就看到了醒目的“沉浸式短片 Seedance2.0”提示,如图:
原汁原味应该错不了,是字节刚上新的Seedance2.0视频模型了,没下载过小云雀APP,或者没更新到最新版的小伙伴,可以去下载更新一下。
早有传闻,字节在春节前后会更新一系列模型,包括语言模型Seed2.0,图片模型Seedream5.0,以及视频模型Seedance2.0。
没想到来得这么快,昨晚已经有社群的小伙伴们提前测了一波,直呼天又塌了,Seedance2.0的视频生成能力提升很明显。
小编是睡醒后才发现这AI又变天了,AI博主圈子里的都是变态来的,都不睡觉的,卷死一个算一个。
到底Seedance2.0这波能不能打,灵宝将从几个维度替各位小伙伴先测试一波,大家也可以跟上玩一玩。
对了,Seedance2.0后期正式开放之后,像即梦所有的用户,以及豆包的用户肯定都能用上,就是生成一条视频价格不便宜,大约消耗30积分,约莫3块钱。
但是实际用下来,小编发现小云雀的积分消耗有点魔幻,有时候甚至一条10秒的视频,会扣掉80积分,搞不懂。
豆包没记错一个普通用户每天是送100积分,换算下来就能用Seedance2.0生成三条视频。
复杂动作与镜头生成
之前复刻过一个抖音网红陶阿狗君的短视频,是一段在地铁扔手机的特效变换,尝试过使用首尾帧的方式,效果不是很好。
就是背身奋力朝着镜头丢过去一部手机的动作很难复刻,还有手机屏幕上显示手掌张开旋转的镜头同样实现不了,原视频如下:
现在就尝试一下,使用小云雀上的Seedance2.0模型看看复刻效果如何。首先在小云雀点击进入“沉浸式短片 Seedance2.0”,页面如图:
有3次免费体验Seedance2.0模型的机会,体验结束后就需要用积分来使用了。这里的底部菜单里有个抖音复刻功能,你只要复制想复刻的抖音视频链接,填进去解析后就能一键完成复刻,就像图里这样:
解析抖音的视频链接后,默认会生成一段提示词,然后进入视频生成流程。视频生成的速度不算太快,需要等待5分钟,最终复刻效果如下:
哇塞,真的被震撼到了!这复刻还原度绝对有九成以上。先不提人物和场景参考原视频生成得相当不错,光是那个扔手机的动作就完美还原了——虽然手掌旋转的细节没能做到完全一致,但通过另一种镜头处理同样实现了场景的自然转换。
Seedance2.0在打斗、运镜这类复杂场景里,能生成节奏合理、动作连贯、镜头调度专业(包含推、拉、环绕等手法)且富有打击感的视频,就像有专业导演在现场调度一样。不如试试用它生成一段90年代香港邵氏电影风格的武打视频?
夭寿了,实在找不到词语形容这个效果,这不比Sora2强多了,Sora2很大一个问题是模型不太理解物理世界,导致一些打斗的动作生成比较生硬,不是很自然。
Seedance2.0显然更胜一筹,先不说视频里的场景、人物和配音,单是整套武打动作就流畅自然,打击感也特别真实,尤其是最后那个聚焦人物眼睛的镜头,更是起到了画龙点睛的作用。
跨风格写实动漫混合生成
Seedance2.0能稳定生成并混合写实、动漫、短视频滤镜等多种风格,并能准确传达画面情绪与氛围。
比如生成一个真人人类小孩,跟一只卡通风格的小熊,一起去郊游的视频:
这以后孩子教育类的动画片,卡通片都能自己用AI手搓了,写真跟动漫都能完美融合,还需要CG动画设计师干嘛。
漫剧的生成同样很令人惊喜,只能说以后AI生成的漫剧,基本上已经很难分辨出来是由AI生成的了。除了目前字幕的中文文字不大行之外,画面配音都很到位:
就这效果,你只要把分镜图跟提示词弄好,控制好一致性,整部AI漫剧的质量是要翻番的节奏。
实测时还发现个小情况,小云雀存在违禁词和IP过滤机制,像钢铁侠、蜡笔小新这类知名动漫角色IP是无法生成的,这一点倒是和Sora如出一辙,净学些不好的,唉!
音画情绪分镜脚本生成
不仅是漫剧,在真人情感表演领域,Seedance2.0同样能实现台词、字幕、声音情绪与画面的整体性呈现,声音更富表演张力,字幕节奏更贴合短视频特性,有效降低了音画割裂感。
有一说一,字幕是生成了,节奏也是对的,唯一的缺陷还是中文文字渲染的问题,存在错别字或扭曲乱码的情况,这块要是解决了,那简直就是完美。
所以,AI生成短剧的质量也将迎来翻番的提升,比如下面简单做了一个片段,讲述霸道总裁爱上绝经的我:
上面视频中人物的情绪表达、动作表情、声音画面都很难让你想到,这是AI生成的,倒更像是我们在抖音上刷到某部短剧的切片视频。
为了进一步拷打Seedance2.0对于情绪表演的掌控,灵宝增加了点难度,让一个女人在十几秒的时间内同时演绎出喜怒哀乐的情绪变化:
真实感拉满了吧,不知道你以为又在看什么泡沫言情剧了吧。这效果比专注于表演视频AI生成的Gaga要好一点,主要是有运镜,配音配乐也到位。
Seedance2.0还支持上传分镜头脚本或九宫格分镜图,直接生成符合导演意图的完整视频,极大降低了专业视频制作的门槛。
这里准备了一张动漫的九宫格分镜图,加上每个镜头的描述提示词,创作了一个短剧的片段,描述女人得知丈夫出轨后的反应,九宫格分镜图如图:
将九宫格分镜图作为参考图,生成后的视频如下:
阿西吧,这配音好像是韩语吧,反正听不懂,画面都参考到了,保持一致了就行。
现实真人内容生成
在美女变装、跳舞、女团MV这类对细节要求极高的短视频领域,Seedance2.0生成的内容在视觉呈现和镜头运用上已十分贴近真人创作,很容易让观众误以为是真人拍摄的作品。
又上传了一张自己的真人写真形象照,加上一段跟韩国女团美女一起跳舞的提示词,生成后视频如下:
怎么说,效果个人很满意,发朋友圈又能装到一波,又够朋友们想半年,这小子啥时候混上韩圈了。
说到现实的场景,监控画面是大家最常见的了,但最近有一家便利店就发生了一件诡异的事情,居然有只小狗过来买烟,不信你看:
Seedance2.0总体而言,应该说已经赶上了Sora2和Grok的视频生成效果,甚至在动作方面表现更好,没有前者那么生硬和违背物理常识。
豆包这次又支棱起来了,准确地说,是字节系再度崛起了。大模型领域的竞争实在激烈,今年春节肯定又有不少新动态值得关注,让人欣慰的是,国产模型的实力越来越强,我们终于不用总看国外模型的“脸色”了。
以上就是小编为你整理的“Seedance2.0在哪里能用及亲测体验”站!