懒人适合用CPU吗?跑了半年本地模型我讲点实话
先说结论:看你要干什么。如果只是跑跑小模型、做点文字处理,CPU 对懒人其实挺友好;但你要是想玩 AI 画图或者跑大模型,CPU 会让你等到怀疑人生。
我自己就是那种典型懒人。显卡驱动、CUDA 版本、PyTorch 和 cuDNN 对不上号,光是配环境就能耗掉我一个周末。后来干脆放弃折腾,直接用 CPU 跑 llama.cpp,装完就能用,一条命令启动,到现在没报错过一次。

CPU 跑得动什么,跑不动什么
给几个我实测的数据,机器是 i5-12400 加 32G 内存,没有独显。

- Qwen2.5-7B 量化到 Q4,大概 5 到 8 token/s,聊天够用,写几百字要等半分钟
- Whisper 语音转文字,1 小时音频大概 20 分钟出稿,能接受
- Stable Diffusion 出 512x512 一张图,6 到 10 分钟,基本没法玩
- OCR、文本分类、小参数 embedding 模型,几乎是秒出结果

看出来了吧,差别不在「能不能跑」,而在「等不等得起」。文本类任务对延迟没那么敏感,你敲完字等它慢慢吐就行。图像生成是另一回事,每张图都要重算一遍,CPU 的算力差距被放大几十倍,再懒的人也忍不了。
懒人真正该纠结的不是硬件
说实话,很多人问这个问题,本质不是钱的问题,是怕麻烦。买张显卡两三千,装驱动、配环境、显存不够还得调 batch size,报错了得一个个搜。CPU 方案最大的优势就是省心:llama.cpp、Ollama 这类工具下载解压就能跑,模型文件扔进去,命令行敲一句就完事。
但省心是有代价的。内存要够,7B 的 Q4 模型大概占 5G 左右,跑 14B 就得 10G 往上,32G 算是比较舒服的底线。另外 CPU 满载时风扇会一直转,笔记本尤其明显,半夜跑任务挺吵,这点没人提前告诉你。
我的建议是这样:
- 只做文本、语音、小模型推理,选 CPU,别折腾显卡
- 想玩 AI 画图或者跑 30B 以上模型,老老实实上显卡,或者直接租云 GPU
- 预算有限又想省事,可以考虑带核显的 AMD APU 或者苹果 M 系列,内存能当显存用
- 临时需求就用在线 API,几块钱能顶你本地跑一整天
我自己现在的状态是:日常问答、文档总结、语音转写全走 CPU,画图这种活儿直接交给在线服务。折腾硬件那点时间,够我干不少正事了。
所以回到最初的问题,懒人适合用 CPU 吗?适合,前提是你别指望它干显卡的活。想清楚自己要用它做什么,比纠结参数重要得多。