Python 调用大模型（LLM）全教程

Python 调用大模型主要分两种场景，我直接给你最常用、最简单、能马上跑通的方案，包含完整可复制代码。

一、最常用：调用在线大模型 API（推荐新手）

不用本地部署，直接调用大厂 / 开源模型的云端接口，比如：

• OpenAI GPT
• 通义千问（阿里）
• 文心一言（百度）
• 讯飞星火
• DeepSeek、Zhipu GLM 等
• 也可以调用模型库等中转站如：https://tokenbox.cloud/register?aff=10CJ
• 

1. 通用标准方式（OpenAI 格式，90% 模型都支持）

现在几乎所有大模型 API 都兼容 OpenAI SDK，一套代码通用所有模型。

第一步：安装依赖

bash

运行

pip install openai

第二步：调用代码（直接复制改 key 和地址）

python

运行

from openai import OpenAI

# 1. 创建客户端（不同模型只需要改 base_url 和 api_key）

client = OpenAI(
    api_key="YOUR_TOKENBOX_API_KEY",
    #插入你的Key
    base_url="https://tokenbox.cloud/v1"
)

resp = client.chat.completions.create(
    model="YOUR_MODEL_NAME",
    #插入你所选用的模型
    messages=[{"role": "user", "content": "你好，北京有什么好玩的地方？"}]
    #询问：你好，北京有什么好玩的地方？
)


# 3. 打印结果
print(response.choices[0].message.content)

2. 国内模型快速替换（以DeepSeek / 通义千问为例）

只需要改 api_key、base_url、model 三个地方：

✅ 阿里通义千问

python

运行

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
)
response = client.chat.completions.create(model="qwen-turbo", ...)

✅ DeepSeek

python

运行

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://api.deepseek.com/v1"
)
response = client.chat.completions.create(model="deepseek-chat", ...)

✅ 智谱 GLM

python

运行

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://open.bigmodel.cn/api/paas/v4/"
)
response = client.chat.completions.create(model="glm-4", ...)

---

二、本地调用：开源大模型（Llama 3 / Qwen / Mistral）

适合想本地运行、不上传数据的场景，需要一定显卡（CPU 也能跑但慢）。

最简单方案：使用 ollama（1 分钟部署）

1. 安装 Ollama

官网：https://ollama.com/安装后打开终端运行：

bash

运行

ollama run qwen2  # 下载并启动阿里通义千问2

2. Python 调用本地 Ollama

python

运行

import requests

# Ollama 默认本地地址
url = "http://localhost:11434/api/chat"

data = {
    "model": "qwen2",
    "messages": [
        {"role": "user", "content": "介绍下Python"}
    ],
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()["message"]["content"])

---

三、进阶：流式输出（像 ChatGPT 一样逐字输出）

python

运行

from openai import OpenAI

client = OpenAI(api_key="sk-xxx", base_url="https://xxx/v1")

stream = client.chat.completions.create(
    model="qwen-turbo",
    messages=[{"role": "user", "content": "写一个Python爬虫教程"}],
    stream=True  # 开启流式
)

# 逐字打印
for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

---

四、你只需要记住的 3 个核心参数

六、常见错误排查

1. api_key：模型平台给你的密钥
2. base_url：API 地址（国内模型必须改）
3. model：模型名称（如 gpt-3.5-turbo、qwen-turbo、glm-4

   五、常用模型名（参考）

4. gpt-3.5-turbo

5. gpt-4

6. claude-3-sonnet

7. qwen-turbo（通义千问）

8. glm-4（智谱）

9. 401 Unauthorized：检查 api_key 是否正确、是否有空格

10. 404 Not Found：确认 base_url 是 https://api.tokenbox.cloud/v1

11. 429 Too Many Requests：调用超限，稍后重试或升级额度

---

总结

1. 新手首选：用 OpenAI 兼容 SDK 调用在线 API，代码通用、零配置
2. 隐私需求：用 Ollama 本地运行开源大模型
3. 体验更好：开启 流式输出
4. 国内模型：只需要替换 base_url + api_key + model

你如果告诉我具体想用哪个大模型（比如 GPT、通义千问、文心、Llama 3），我可以直接给你一键运行的专属代码。

python如何调用tokenbox.cloud的大模型

tokenbox.cloud 是兼容 OpenAI 接口格式的聚合平台，直接用 openai 库就能调，不用改核心代码。下面给你可直接复制运行的完整示例。

---