用过在线大模型的人大概都有体会 —— AI 确实好用,但费用也真是不便宜。每次调用都是实打实在烧钱,用着用着就开始心疼钱包了。
所以我就琢磨:能不能自己在本地搭一个大模型呢?这样就不用再给平台交那个”过路费”。折腾了好几天,最近把目光投到了 Ollama 这一个本地部署方案上,准备试试 Ornith 35B 这个模型。
昨天先试了一下 qwen3.6:27b,跑是能跑起来,但那个速度真的让人崩溃 —— 简单用 QwenPaw 发一篇博客文章要等上一个多小时。这对于日常使用来说基本是不可接受的,等于每次操作都在考验耐心。
今天又拿 Ornith 35B 开了个头,看看它能不能扛得住这个体量。说实话,如果这个也跑不动的话差不多可以收手了:一是自己的电脑硬件有限,显卡内存都不够;二是脑子也不够用,折腾到最后发现只是在浪费时间。
两个都不行的话那就认命吧!毕竟日子还是得过下去。😅