Ollama

装完先跑一个模型

三条系统的安装都是一行的：

bash# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows（PowerShell）
irm https://ollama.com/install.ps1 | iex

也可以直接下安装包：macOS 是 Ollama.dmg，Windows 是 OllamaSetup.exe。

装完直接：

bashollama run gemma4

第一次会先下载权重，这一步慢是正常的，几十亿参数的模型是 GB 级文件。想看有哪些模型可以去 ollama.com/library。

它在 11434 上起了一个服务

很多人以为 Ollama 只是个 CLI，其实它后台常驻一个服务，默认端口 11434：

bashcurl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{ "role": "user", "content": "Why is the sky blue?" }],
  "stream": false
}'

Python 和 JS 都有官方库，不用说 HTTP：

pythonfrom ollama import chat
response = chat(model='gemma4', messages=[
    {'role': 'user', 'content': 'Why is the sky blue?'},
])
print(response.message.content)

javascriptimport ollama from "ollama";
const response = await ollama.chat({
  model: "gemma4",
  messages: [{ role: "user", content: "Why is the sky blue?" }],
});

容器里用官方镜像 ollama/ollama，注意把 11434 暴露出来，否则别的容器连不上。

接给编码代理

不想把代码发给云端时，把它接给本地 agent：

bashollama launch claude      # Claude Code
ollama launch openclaw    # 挂到 WhatsApp / Telegram / Slack 的个人助手

支持的集成还包括 codex、copilot-cli、deepseek-harness、droid、opencode。

什么时候不该用它

Ollama 的定位是让本地模型跑起来，不是把本地模型服务好。它不做连续批处理、不做 PagedAttention 那类显存管理、也不做多卡并行。

如果你的场景是「多个用户同时请求」「要榨干一张卡的吞吐」「要做生产级 SLA」，那是推理引擎（vLLM 一类）的活，Ollama 会在并发上撞墙。

另一个现实约束：本地跑得动的是几十亿参数级别的小模型，回答质量与云端前沿模型有差距。拿它替代 Claude 或 GPT 做复杂推理任务，多半会失望。