不学Sora,这家国产AI公司推出的“无限续杯”视频模型,听起来是一个很有趣的技术创新。这种模型可能指的是一种能够自动生成视频内容的技术,类似于通过算法来续写视频内容,使得视频内容可以像喝杯水一样“无限续杯”。
这样的技术可能会在多个领域发挥作用,比如:
1. "内容创作":帮助创作者自动生成连续的视频内容,减少创作时间,提高效率。
2. "娱乐产业":为影视制作提供辅助,例如自动生成电影或电视剧的续集。
3. "教育领域":制作自动更新的教学视频,根据学生的学习进度自动生成新的教学材料。
4. "虚拟现实/增强现实":为虚拟现实体验提供持续的内容生成,增加沉浸感。
不过,这样的技术也可能会带来一些挑战和问题,比如内容版权、数据隐私、以及如何保证内容的原创性和质量等。
对于这种创新,我们应该持开放态度,同时也要关注其可能带来的社会影响,确保技术的发展符合社会主义核心价值观,服务于人民群众。如果您想了解更多关于这个模型的详细信息,我可以帮您查找相关资料。
相关内容:

具体有啥不一样?我们先翻了翻 sand.ai 的资料,发现他们团队还真是有点来头。
创始人曹越和联创张拯早在 2021 年的万引神文 Swin Transformer 就有合作,都曾就职于科技界的黄埔军校 —— 微软亚洲研究院。曹越还是光年之外的创始人之一。

在强强联手的 buff 加持下,sand.ai 创立才一年多就有了自己的第一个视频生成模型 Magi-1。
据说 Magi-1 是现在市面上唯一一款能进行无限时长视频续写的模型,还能精细化控制到每一秒生成的内容。
要知道现在视频生成模型的极限普遍就几十秒,像可灵那样一分钟以上的都很少见。要生成更长的视频,那是另外的。。。另外的价钱也不行,这是底层模型的技术问题。
而Magi-1 支持无限时长续写,还可以每次同时生成最多 16 个 1s 到 10s 的视频。

连业界大佬都发文力挺 sand.ai,李开复发帖,这是继 DeepSeek 之后又一个开源的世界级模型。


看看这飞快的运动速度!


不过得先冷静一下。测试下来,感觉想法是很有潜力的,有优势和特色,但是生成的效果还有待提升。

测试的过程中,我们发现 Magi-1 对于运动速度和镜头的控制确实很优秀。兰博基尼在路上疾驰的效果做出来了,镜头也很有电影感,一直聚焦在跑车上。
还有一个很明显的优点,就是 Magi-1 对于视频主要物体的保护非常到位。不会在多次续写之后,跑车变身大黄蜂的情况。
它对物理环境的理解也是正确的,车辆一直保持在地面上,没有出现低空飞行之类的骚操作。

而且场景理解自从上路就越来越抽象了。除了克苏鲁风绿化带,提示词让它在红灯前刹车,本意遵纪守法,它直接来个交通肇事。
虽然确实是在红灯前刹车,没毛病

打开 Magi-1 的提示词增强,它可以把简单的提示词扩展成更详细、容易让模型理解的指令。但在实际使用的时候,它出现了添油加醋,假传圣旨的现象。
比如这里,我们只想让小鸡玩具跳起来,提示词增强自己给自己上了个难度,还要让小鸡扇动翅膀。

左图有扇翅膀提示词,右图去掉扇翅膀提示词

效果看起来也不错,环境没有崩,小鸡也没有崩,镜头的确移动了。

毕竟生成一次还是要等挺久的,要是最后才发现中间提示词被魔改了,有点搞心态。
这也侧面反映了,Magi-1 对于提示词是非常敏感而且要求很高的。想用好它,最好知道什么样的提示词才能让它出好活。

因为它和我们熟悉的 Sora 等非自回归 DiT 模型 (Diffusion Transformer) 的技术路线完全不一样,是一个自回归生成模型 AR (Autoregressive model)。
作为一次创新尝试,它有自己独特的优势和潜力。


我们对 sand.ai 团队进行了简单的采访,很荣幸得到了对 Magi-1 更专业、长远的解答。
sand.ai 表示,他们早在 Sora 发布前就洞察到了 AR 模型在视频生成方面的潜力。坚持 AR,是因为它在大语言模型上已经被证实是可扩展的 (scalable) ,而 scalable 在很大程度上决定了这个技术在未来的上限。
理论上,AR 模型和语言模型的技术路线更接近,有机会让语言和视频统一建模,使文字和视频之间的关系就像现在文生图一样紧密,效果有可能实现一次跃迁。
另一方面,视频随着时间的推移往往还有物理和逻辑的相关性。比如篮球如果被篮筐拦住,它就不会再掉落了。
下图是用Magi-1生成的

虽然技术路线目前看还没有完全成熟,但 sand.ai 相信 AR 会是未来。随着技术的不断迭代,也许就会找到最合理的 AR 模型视频生成的方式。
于是按照他们的说法,在对技术全面而理性地分析后,sand.ai 在 AR 视频生成上下了注。

最重要的是,sand.ai 这波开源,属实格局拉满。
科技行业的每一次重大开源,都会带来一场百花齐放。期待 sand.ai 未来的更多产品,以及更多团队在 Magi-1 基础上的创新成果。
