【随笔】本地部署AI的现状和AI本地部署的价值
随便写写，本地部署AI的现状和AI本地部署的价值。
本地部署AI的最新动态
在一年以前，慕雪测试过Qwen1.5-32B模型，当时在5700x+7800xt的主机上，只跑出了6tok/sec的速度，完全处于不可用阶段。但如今，相同性能的Qwen3 30B的MoE模型，已经能非常流畅的运行，甚至能在32GB内存的Intel笔记本上纯CPU运行[1]，速度依旧不差。
现在，本地部署AI的效果和成本都比先前好了太多。根据慕雪的实测[2]，一台9800x3d+9070显卡+48GB的windows台式（全新价格约1w元），部署Qwen3-30B-A3B的Q8量化模型时，能跑出18tok/sec的速度，占用了25GB的内存。
慕雪个人认为，这个速度已经完全足够单人使用了。如果换成Q4量化的Qwen3-30B-A3B模型，Token生成速度会变成38tok/sec，拆分一下，甚至足以并发俩人一起访问。
Qwen官方也是在大力宣传之前的QwQ和这次的30B、80B两个MoE模型，主打一个“模型小小，能力大大”，能够在配置一般的机器上也跑起来，完成本地部署。
这意味着什么呢？
那么问题来了：“上面叭叭了一大堆实测数据，这和月薪3K的我有什么关系？”
对于隐私要求不高的普通个人用户而言，本地部署模型就是纯纯鸡肋。没太多用户愿意花那么大价钱买一台电脑，只是为了不让自己发送给AI的资料被人看光光。
备注：这里说的是专门买一台电脑来本地部署AI，在自己的游戏电脑上部署着玩玩不在讨论范围之内。慕雪的意思是真的一直用自己本地部署的AI。
更有不少网友在网上质疑，本地部署的模型参数不够，性能太差，完全不足以满足需要。花大价钱却只能部署一个32B、72B的“人工智障”，没有任何意义。
但，这不代表小参数模型就没有用武之地，各大厂家更不会因为“看上去没啥用”就停止继续迭代越来越好的小模型。
设想下面这样的场景：
大模型的性能提升，让家用电脑能够部署的模型参数量越来越大、速度越来越快。小型的初创企业，能够花1到2万的预算（甚至更低），采购一台高配windows电脑或Mac，无需学习服务器部署AI等等专业知识，也不需要了解算法或编程，只要有一位对电脑使用稍微熟悉的IT人员，就能直接利用LM Studio或ollama这些工具，下载+部署模型，为整个公司提供本地化AI的能力。
- 从这一天开始，文职人员不再需要苦逼地自己对比各类报表，可以直接丢给AI让他帮忙对比（至少小规模的文件肯定够用的）
- 从这一天开始，运营人员可以让AI帮忙润色公司的活动文档，不再需要把文档发送给外部AI之前把所有敏感信息都替换掉。
- 从这一天开始，HR在筛候选人简历的时候，可以放松大胆的把PDF直接发给本地AI，让他总结简历的关键词，对比不同候选者的优势，而不用担心把别人简历传云端大模型对候选者造成的隐私泄露。
- 还有很多很多……
这些小微企业不需要借助AI来编码，他们只是需要一个能辅助他们日常工作的AI，同时也不会泄露公司信息，就足够了。从这个角度出发，30B、32B的小尺寸模型已经完全能够满足需要！
在以前，需要一台机架服务器、轰鸣的暴力风扇、专门的机房才能完成的本地AI能力，现在只需要一台游戏台式机、一台MAC、甚至一台windows轻薄本，就能完成类似的工作。这便是小模型迭代的意义！
大模型的发展，就好比电脑的发展一样。以windows笔记本电脑市场为例。如果你长期关注过笔记本市场，那你肯定知道，现在的笔记本越来越便宜了。早在5年前，想用3000元买一台不坑爹的笔记本都是一件不可想象的事，基本上只能买intel的i3笔记本+低色域屏幕+8G内存，没有啥好的选择。但现在，3000已经可以买到16+512的8核CPU的笔记本了，对于办公和编程学习而言都够用了。
小结如下：
- 笔记本电脑的发展，让笔电的价格越来越低，越来越多人能够买得起一台配置尚可的笔记本，加入电脑使用者的行列。
- 大模型的发展，让大模型部署成本越来越低，越来越多的中小微企业能够部署上自己的本地大模型，让AI赋能公司的运作。提高很多事项上的效率！
科技发展的意义，就是让越来越多人，能够接触到最新的科技，能够使用上最新的能力。让科技普惠到更多人。
我想本地部署大模型，买啥设备好？
如果你只是想部署着玩玩，直接按高配游戏电脑去买就行了。能部署多少B的模型直接看显卡显存就差不多能预估出来（拿显存乘0.8预估参数量）。
但如果你想认真的学学或者折腾一下大模型部署、微调，MAC是更好的选择。目前比较推荐的起步配置是M4Pro 48GB的Mac mini。部署30B-A3B q4的速度高达60t/s，非常牛逼。
极客湾在直播中也提到了，MAC Studio针对的就是个人消费者和小微企业，对于AI部署来说，它的功耗更低，体积更小，上手更简单，这便是它的优势[3]。
不过呢，价格肯定是不美丽的。
如果你只是玩玩，还是买普通的游戏电脑吧，多少能打打游戏呢。
The end
科技的发展，永远是时代的潮流。AI时代，是近十年来最大的变革，不管是互联网大厂，还是中小微企业，都会想尽办法，拥抱这个潮流，不让自己的公司落伍。
我们个人也是一样，尽可能多的使用AI、了解AI行业动态、学习AI相关知识，让AI为我们的生活、学习、工作助力，成为AI时代的“弄潮儿”。
怎么写成了语文作文结尾了……
爱发电
