似乎,Sora也“撞墙”了,但不是“scaling law”的墙

似乎,Sora也“撞墙”了,但不是“scaling law”的墙


万众期待的“Sora 2”或者说“Sora Turbo”终于登场了,这可能是OpenAI冗长乏味的12天嘉年华里最值得期待的一part,然而,在“sora”初次发布后的十个月的时间里,模型世界已经发生了巨大的改变,用户的期待值也随着时间的流逝而不断耗损。

正如,绝大多数人无法感受到O1模型与GPT-4o的区别一样,不是逐帧的比较,绝大多数人也看不出Sora turbo相对于Sora的进步。

OpenAI一再宣称“Scaling law”依然有效,但是,事实真是如此吗?2024年,模型确实都“撞墙”了吗?

简单而言,真的撞了,但是这个墙不是“模型墙”,不是“Transformer墙”,而是“算力墙”,“数据墙”,“成本墙”。

客观来说,即使从Sora初版惊艳登场到如今已经过去了十个月的时间,OpenAI可能依然无法准备足够多的数据和足够大的算力来实现理论上继续工作的“Scaling law”。英伟达、微软及一众供应商依然为Blackwell架构下的下一代超大集群落地加班加点,攻坚克难。OpenAI的合作团队依然在竭尽全力准备更海量的高质量训练数据。

无论算力和数据的量级,至少需要合起来一个数量级以上的提升,才能得到“Scaling law”是否继续工作的确定结论。

但是要证实或者证伪的成本都太高了,资金与时间:我们需要稳定高负荷的电力(小型核电?),需要Blackwell的超大型集群(十万GPU?),需要更多更多的数据(无论是人类数据的系统性标注,还是生成数据)……

这似乎也是一个囚徒困境,属于追逐AGI的少数玩家的困境。困境之下,沿着现有的路似乎依然是确定性最高的道路,那么,如果算力、能源,市场都给予足够的反映了,我们低估了什么?

数据。

数据还远远远远不够

← Back to Blog