本地部署 - AI 学习指南

Ollama 本地大模型

Ollama 是一个本地大模型运行工具，支持多种开源模型。无需联网，数据完全本地处理，保护隐私安全。

安装 Ollama

在 macOS 上使用 Homebrew 安装，或从官网下载安装包。

                            # macOS 安装
brew install ollama

# Linux/WSL
curl -fsSL https://ollama.ai/install.sh | sh
                        

Python 集成

使用 Python SDK 与 Ollama 交互。

                            pip install ollama

import ollama
response = ollama.chat(
    model='llama2',
    messages=[{'role': 'user', 
              'content': '你好！'}]
)
                        

常用模型推荐

CodeLlama

专门为代码生成和理解优化的模型。适合编程任务。

ollama run codellama

Llama 2

Meta 开源的通用大模型，综合能力强。

ollama run llama2

Mistral

高性能混合专家模型，推理速度快。

ollama run mistral

中文模型

Qwen、Yi 等中文优化模型，中文效果好。

                            ollama run qwen
ollama run yi
                        

使用示例

1

下载并运行模型

使用 ollama run 命令下载并启动模型首次运行会自动下载模型文件。

2

交互式对话

模型下载完成后，直接在终端输入内容即可与大模型对话。

3

REST API 调用

Ollama 提供 REST API，可以集成到自己的应用中。

                    # REST API 示例
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'
                

优势与注意事项

隐私安全

所有数据在本地处理，不会发送到外部服务器。适合处理敏感信息。

成本控制

一次性投入硬件成本后，无限次使用。适合高频使用场景。

离线可用

模型下载后无需网络连接，随时随地使用。

硬件要求

建议 8GB+ 内存，16GB 更好。需要足够的磁盘空间存储模型文件。