本文字数5000+,9个视频,32张图片。
最近群里的小伙伴们聊天,有个词出现的频率特别高,而且大家提到它的语气还贼兴奋,如图所示,它叫Seko,是一个国产AI视频agent。

AI视频agent确实足够让人心动,不过好奇心虽然被勾起来了,但是我这两周代班一个休假同事的工作,有点分身乏术,确实没啥力气测试,于是就放着了。
结果不知道怎么了,我在的各个AI群里都开始讨论Seko……

作为一个AI博主,讲真我有点坐不住了……
还好我这人没有别的优点,就是擅长熬夜(不要学我,珍惜自己的肝!
在我熬了四五天,追上了大家的进度之后,我只能说,群友诚不欺我,Seko确实让人快乐!
让我快乐的点有4个:
1、自然语言就能生成,不需要复杂prompt(当然如果你的需求写得更详细,成品和你的想象就越接近)但即便是很随意的描述,它也能给你一个不错的结果;
2、从概念-故事剧情-分镜-人设、场景-画面分镜-视频-配音-配乐-剪辑,全流程一条龙服务!
是的,它支持编辑!!!(大写加粗)
剧情、人设、分镜、视频都能编辑啊!!!!
3、终于终于终于!有一个视频工具能解决【主体一致性】了!Seko在这点上真的!赢!麻!了!(绝不是我吹,下面会挨个放case!)
4、性价比!(再次大写加粗大写加粗)
说实话,难得遇到一个让我觉得玩起来毫无心理负担的AI视频工具。
5、主体配音对口型(不仅是人物,奇怪的东西也可以哦!
还有一个是Seko的隐藏技能——首尾帧!(往下看,很丝滑!)
文章最后还有适用人群建议和对Seko后续迭代的一些方向探讨,有兴趣的朋友欢迎一起聊聊!
下面展开讲讲,顺便放上我的case!
老规矩,网址如下:
https://seko.sensetime.com
我先给大家展示1个简单概念生成的片子,然后拆解一下它的制作过程,你们感受一下这个【自然语言+一站式生成】的含金量!
最近有个综艺叫《一饭封神》,因为有我年少的男神小谢参加,所以关注了一下。它给了我第一个片子的灵感,结合我喜爱的一位黑暗料理界冉冉升起的新星——刘恋女士(aka小熊猫),就有了下面这个片子。
而这个片子我全程用时,不超过3分钟,是的,3分钟!
怎么说呢!就是爽!
说说我是怎么做的!
首先,打开Seko,会看到这个界面,很清爽。
默认选择【剧本创作】,在对话框里输入你的想法,可以是简单一两句话,也可以是你想得很完善的剧本内容。

比如,我就直接写了下面这段提示词,完全的自然语言描述,超级简单有木有
做一个以小熊猫(red panda) 恋恋(女生)为主角的短片,她是一个黑暗料理达人,做的菜都很有艺术性但不好吃,她力狮要努力学习,然后跟随米其林大师学艺,千辛万苦,最终学成归来,成为一代厨神,最终一饭封神。
然后Seko就展示了它作为视频agent的牛逼之处,它根据我的想法kuku出东西,包括:策划摘要、美术风格、角色主体、场景概念、音乐风格、分镜剧本。
每一趴里面都细节内容满满,我把截图给你,你体会一下。







以上我全程没有干预,全是Seko自己干出来的,细致全面的程度,我反正是自愧不如。
如果你对它生成的内容不满意,还可以在左边的对话框里告诉它你要修改哪部分,它都会按你的想法调整。

你以为这就是AI视频agent的全部实力么?
不止!
等它干完了,你只要在下面选择视频画面比例,然后点击右边的【生成视频】

它就会继续kuku干!(讲真的,生产队的驴也不带这么干的……

等到上面这个页面跑完之后,就进入一个做视频的朋友最熟悉的界面

简单来说,右边底部的时间轴上放着的是每一个分镜的画面静帧,相当于你刚刚那个分镜脚本里的图它已经帮你生成好了,也按顺序放好了,你可以单独选中每一个镜头生成视频,也可以点击右上角【一键转视频】把所有镜头一次性转完(亲测,速度非常快,快到离谱!)
生成完了不算完,它“管生也管改”!(这个真的牛逼
如果你对某一个分镜画面不满意也没关系,在左边的对话框里可以和它对话,让它修改画面分镜。(由于这个视频我没有修改过,我后面的case里可以展示一下修改过程)
同时每个镜头的画面配音也支持编辑修改,背景音乐也可以更换,真的,很方便!


等所有视频预览完没有问题,配音配乐也都OK了,就可以点击右上角【导出视频】了。
这里的【导出视频】有两种方式,非常贴心:

第一种,【导出完整视频】,也就是把你生成的这个时间轴合成一条完整的片子导出,方便快捷;
第二种呢,是给还想要精益求精和二次创作的朋友,你可以选择【导出全部分镜】,这样你就会得到一个压缩包,解压之后是这样的:他把配音、配乐和每个视频分镜都单独导出了,你可以拿到任何剪辑软件里做二次编辑。就问你够不够贴心!

然后,用同样的方式,我又做了一个打工人恋恋!这次,用到了一个新功能——【添加参考主体】,这就是Seko能够保证成片里每个镜头主体一致性的关键所在。
点击对话框里的【添加出演主体】或者左侧导航栏的【主体库】,选择【添加新主体】,就能够自定义属于你的主体形象,可以本地上传也可以让它给你生成,添加完描述之后,就可以用这个主体生成短片了。


我上传了【恋恋】的Q版形象,做了《恋恋的“万万没想到”打工日常》
你懂我看到这个视频的快乐么?
每一个为了分镜主体一致绞尽脑汁的视频创作者一定都懂!
这个短片虽然不到一分钟,只有8个镜头,但对于“恋恋”这个主角的一致性把控得相当不错。你要知道,之前想要达到这种程度,我是要在每一个分镜描述的前面都加上一遍人物一致性和风格一致性的关键词的,而且还不能确保最后的结果一定是好的。
真的,在主体一致性这件事上,Seko这波真的上大分!


这里,因为它的初版文案比较无趣,我就在策划的那个环节让它修改了文案。

当然,人嘛,总是不满足,何况我们搞AI的!
在测试完单个主体一致性的简单故事之后,我就开始捉摸着搞一个多主体的带剧情的片子了。
当然还是从我喜欢的两个女人下手,恋恋和好鱼!
形象如下:

这次,要做一个“歌手姐妹花勇闯内娱,逐梦娱乐圈”的故事!
@好鱼@恋恋 恋恋和好鱼是一对热爱唱歌的姐妹,做一个姐妹携手,逐梦娱乐圈的故事,15个镜头以内。少量旁白和配音。
这次,在画面分镜和视频阶段,我都有提出一些修改意见,挨个修改了两姐妹的配音和语速,也对一些生成效果不太满意的分镜进行了修改。



然后,同一个主题,我还做了一个更长更抓马的版本(是的,我就是很爱,如何呢,又能怎?)
在这两个片子里,十几二十个镜头下,两个主体的一致性还是相当能打的,这点,我真的,超爱!

然后,这两个短片因为比较长,又涉及一些修改,花的时间略多,但是算下来平均每个片子也就半小时不到。这就是我想说的Seko的超绝性价比之一!
众所周知,虽然我本职是干视频的,但是我很少给大家写视频类的推文,原因就是:“贵”!
这里的“贵”,不仅仅是指钱,还有时间和精力。
视频本身的token消耗就大,而且要做短片,基本就要从生图开始经历反复抽卡,碰上一些喜欢反复斟酌的朋友或者一些想法跳脱的领导和甲方,那就是无数次地推翻重来。
什么意思?
先不说在【剧本-人设场景概念图-画面分镜-视频生成】这个流程里你经历的抽卡次数了,就说说修改吧:
如果推翻脚本,你就要回到各个大模型重新跑一遍故事大纲、人设场景描述、文字分镜;
如果推翻画面,你就要回到各个生图软件里重新优化提示词,再重新一遍遍跑图;
然后再拿着刚跑好的图到视频模型里重新经历一遍编抽卡…;
如果连时长都要改,那么背景音乐、配音等等全部要重来……
费钱、费时间、费心力!
不说抽卡成本,就是来回在不同的AI工具里切换就已经筋疲力尽了(事实上我写到这就已经累了……omg)
所以本金牛座一般不推荐没有刚需的朋友这么玩。
但是,Seko的一站式成片在某种程度上,把你中间那些从文字到图片到视频的中间环节都省掉了。
想想看,你只需要在一个平台里,就可以同时做到修改故事脚本、画面分镜和生成视频。不需要在各个平台之间来回横跳,跳到——你都不记得某个画面分镜到底是哪个平台做的?你现在拿的这张图到底是这个镜头的第几稿?
这些Seko的历史记录里都存了,你甚至可以随时满足甲方爸爸提出的“我觉得还是第一稿好”这种离谱但常见的要求。
就像上面case展示的,在Seko里还可以实现针对每个镜头单独修改内容,也可以做剪辑,还可以修改配音音色、语速,不需要重新导出、合成,方便快捷不易出错。
https://seko.sensetime.com/invite/JL4CTXCJ
也就是说,送的积分已经足够做完我上面展示的所有片子了!
除了良心,我想不出来别的形容词!
说完超绝性价比,Seko还有一个我特别喜欢的功能,就是配音对口型!
说实话,这个能力很多AI视频工具都有,包括数字人啥的。但是大部分平台在对口型这件事上只能识别人物,遇到一些长相奇怪的动物之类的,就不是很友好了。但Seko在这点上做得很不错!
先放我做的两个case。
第一个是“原汤化原食”,从我自己下手,用Seko做一个Seko的产品推荐,哈哈哈哈,一点个人的小趣味!
第二个呢,是做了一个关于AI课程的推荐(产品完全虚构啊,咱不是那卖课的人)
这个是没有传参考主体,形象完全靠文案生成的。
然后说下怎么用配音对口型的功能。
前面的步骤都是一样,只是到了这个页面的时候,我们选择【配音】-【对口型模式】,然后输入你需要人物说的台词,选择声音和语速,然后点击【生成视频】即可。

注意,这里的镜头时长会根据你每个镜头给的台词长短来变化,配音对口型的积分消耗相对高一点——5秒15积分,但是效果还是可以的。
同样,在这个模式下,你也还是可以编辑画面、台词和声音。
这个功能,我觉得特别适合一些有讲述类需求但是自己不方便出镜或者不太会剪视频的朋友,做一个自己的动画形象,然后把文案kuku给Seko,再用对口型功能搞出来就行,说实话,效率贼高,从性价比上来看也很香的。
(我已经把它推荐给我司的人力行政同事了,感觉能帮他们解决不少类似需求!)
一不小心,到这又4000+了(坚持看到这里的你请给自己鼓个掌
我们来说说,Seko的隐藏技能——首尾帧吧!一些首尾宗的技术流小伙伴可能会超爱这个功能!
刚刚在视频生成页面我说过,你可以选择一键转视频,也可以一个镜头一个镜头地转,这个首尾帧的功能就隐藏在单个镜头的生成中。
选中一个镜头,点击左边对话框里的【转视频】,会出来这个视频分镜描述,如果这时候你点击【↑】就是传统的图片转视频逻辑了

但如果你点击【添加尾帧】,就会出现两个选项,一个是【生成图片】,另一个是【使用下一分镜首帧图】,选择【使用下一分镜首帧图】,你就会发现,你的尾帧自动变成了下一个分镜的画面,这就是首尾帧的实现方法。
这里默认的视频描述是“丝滑转场”,如果你对于这个视频的生成有特殊要求,也可以写你要求的变化效果。


我放两个我做的首尾帧case,最近看了些赛博废土类的东西,所以搞了两个这种风格的case,我觉得效果还行~
ps首尾帧稍微有点贵,20积分一个,所以推荐有需要的小伙伴使用。如果只是日常出短片,其实普通的视频生成功能就足够了哈!
Seko的玩法和效果说的差不多了,简单说说我觉得哪些朋友适合入手吧!
首推零基础创作者、视频小白、短片小剧场爱好者,原因是,Seko适合快速出短片,讲故事;然后就是有内容或者产品运营宣传视频制作需求,但自己没啥成片能力又没有大预算的,Seko可以用一句脚本稿,快速生成宣传片或者片段讲解,关键是性价比贼高;再来就是教育/科普创作者朋友,用自然语言就能生成结构清晰的视频脚本、一键直达分镜画面,快速转视频,课程类讲解也完全ok,不冲就不礼貌啦!最后,如果你有做多版本差异化的营销需求,也许可以用参考主体这个功能多次迭代你的产品场景,这也许是一个新的产品营销思路。
虽然我前面夸了快5000字,但是Seko其实还有不少改进空间(产品经理求放过
我先在这许个愿吧:
希望seko下个版本迭代能够增加“局部重绘”“一键换脸”,把生图的控制力再提升;希望能够有个长片生成模式,目前好像都是5分钟以内的短片;希望能够有上传音频,根据音频匹配画面分镜的功能,一些音频产品的视觉化就能再简单一点了,那估计就要有一批做视频播客的朋友疯狂冲冲冲了;以及如果后续能支持更多风格化模板,或者增加一些特定场景的预设模板就更好了!比如商务汇报风、教学讲解风、vlog日常风这种,让不同需求的创作者能更快上手!
期待Seko的持续迭代,我还是非常看好你们的!(顶锅盖跑走
最后的最后,说几个我自己实测过程中发现的实用tips和踩的小坑总结的经验吧,这个可能对你比较有帮助:
剧本、人设、场景、分镜要在策划环节修改;图片要在画面分镜环节修改;到了生成视频的环节,再用自然语言修改已有的画面内容就不太可行了;如果画面内的主体不一致,可以在左边的对话界面进行修改:如果是自己添加的主体,用@主体 的方式辅助;如果不是自己添加的主体,就回到策划环节,把生成的主体描述复制过来,粘贴在对话框里。这两个方式都能提高对主体一致性的控制。
当然如果你没有上传参考主体,只是依靠纯文本控制的话,一致性的效果可能没有那么好。我用它做了一个“LIAN”牌耳机的广告片,感受一下,有几个镜头我觉得效果还是不错的!
所以,如果希望主体一致性更好,建议还是上传自己的主体。
总的来说,Seko确实是个让创作者快乐且方便的视频Agent,特别是对于我们这些既想要好效果又不想太折腾的普通爱好者来说。
如果你也对AI视频感兴趣,可以去试试。
搞不好就会像我群里的小伙伴一样,爱不释手!哈哈哈哈哈哈哈哈!
如果你也试了 Seko,欢迎在评论区一起交流!
最后再提醒一下,如果你对Seko感兴趣,用这个邀请码注册会多送100积分哟:
👉 https://seko.sensetime.com/invite/JL4CTXCJ
好了,今天就到这了!感谢你看到这里
如果你觉得这篇文章还不错,
希望你可以点赞👍🏻、爱心❤️、评论⌨️、转发→,呜呜呜~
新来的朋友记得点个关注、星标不迷路哟!
我是Loki,一只喜欢探索AI技术,发掘AI趣味的小熊猫。
如果你有更多的想法或者疑问想要和我交流,欢迎后台扫码加我进群~
本文转载自微信公众号:赛博小熊猫Loki