我是本地部署大模型的坚定实践者和“鼓吹者”,直到现在都是,过去一年的文章里时不时就会写一些本地部署的实践:从单机部署,到集群部署,从一键部署,到该一些源代码,重新编译,从Quickstat,到网络调优。
然而,我一直知道,这条路根本只适合少数人,对于很多“知识工作者”而言,本地部署大模型的门槛,比电脑上装一个3A游戏还低。
但是,对绝大多数人而言,日常使用的门槛,却比过往的任何一项工作的门槛都高。
感谢DS,来了一次全民大学习,但是,从开始到放弃,或许一周的时间都不需要。我试图建立一些简单的判断规则,大概任意一条不满足,都是及时止损的理由:
- 你是否拥有本地数据库或者知识库?
- 数据库或者知识库的来源是否有较高比例(超过5%?)是自己?
- 你是否有真正敏感的数据不希望被模型供应商拿到?
- 你是否每天需要处理上百个以上的本地数据或知识?
- 你是否清晰地知道这些数据该被处理成什么样子?
- 你是否已经找到一个固定的UI(应用),在这个UI里,可以完成你90%以上的工作?
- 你是否具备基本的关于操作系统的基础知识?
- 你是否愿意为了解决一个系统或者程序问题而耗费两天三天甚至更长的时间?
- 你是否已经想好你最终要呈现的产品是什么?
- 你是否能够承受:当你花了很大的心血产出的内容,却远不如商业模型“一键生成”的质量时,那种深深的挫败感?然后,可以收拾心情,继续出发?
任意匹配一条,请及时放弃,然后不断尝试最好的商业模型,不要因为不适合自己的“无形之墙”,挡住自己看天的视线。