一段时间以来,一直想写两个完全相反的内容,一篇是关于模型缺陷的,另一篇是关于算力需求无止境的。
今天恰逢Gemini的Gem又拒绝工作了,那就写第一篇吧。
模型从来没有真正拥有过“智能”,其实越来越多的人已经理解并且接受了这一点:我们看到的一切终究是某些数据的组合,尽管这不妨碍模型依然是有史以来最强大的创造;
无论我们做什么,其实都是提示词:思考,上下文工程,记忆,Agent,Skills。本质上只是通过越来越复杂的“注意力”组合,让模型将数据“按照要求”重组输出。但是这种方式其实非常不稳定,而且很危险;
模型必须得不断训练更新,哪怕训练用的代码不做任何修改,模型也必须每隔一段时间重新训练一次以加入更新的知识;
任何一次模型层面的更新,对基于之上的各种应用,都是“生死考验”:因为每一次更新,都会在输出上有变化;
“思考”正在毁掉模型:如今Agent看起来的“无所不能”正是建立在“思考”基础之上的,但是过度思考加强了某些特定领域能力的同时,却正在引入越来越多的灾难;
模型永远“不懂”时间:当你问它”此刻“的时候,它不会犯错,但当它在处理任务需要涉及到时间概念时,却时时刻刻可能出错,甚至于不同的模型还会犯同样的错误,在模型的认知里,“时间戳”本身是一种概率,而不是我们人认知的相对确定性(不去扯量子范畴);
我们最初理解的“模型”可能已经不再进步了,有的只是与时俱进的“知识”和更多更复杂的以数据形式存在的“人类演示”,让模型看起来可以处理更长更复杂的任务;
是的,简而言之,模型正越来越成为需要不断更新维护,输出不稳定的机器。
但正是这种越来越强的机器性带来了巨大的使用量,token。
也正是这种越来越强的机器性让我其实越来越喜欢“模型”:它至少是一个强化了很多,友好了很多的程序语言,或者,就是超级软件。
最早的程序和软件都是跑在大型机及以上的机器上的,然后,突然有一天,PC进入千家万户,然后是智能手机……