AI API 成本优化：如何省钱又高效地使用大模型

每日调用 1000 次，每次 1000 tokens 输入 + 500 tokens 输出
使用 GPT-4o：
- 输入：1000 × 1000 × $2.5/1M = $2.5/天
- 输出：1000 × 500 × $10/1M = $5/天
- 总计：$7.5/天 = $225/月

# 不是所有任务都需要最贵的模型

简单任务（分类、提取）→ GPT-3.5 / Haiku
中等任务（问答、翻译）→ Sonnet
复杂任务（推理、创作）→ GPT-4o / Opus

# 差的 Prompt（~200 tokens）
你是一个专业的 Java 开发专家，拥有 10 年以上的经验，
精通 Spring Boot、微服务、数据库优化等领域。
请根据你的专业知识，帮我分析以下代码的问题，
并给出详细的改进建议，包括代码示例。
代码如下：...

# 好的 Prompt（~50 tokens）
审查 Java 代码，指出问题并给改进建议：
...

# 差
"Please analyze the following Java code and provide suggestions for improvement"

# 好
"Review Java code, suggest improvements"

# 限制输出长度
Prompt：用 100 字以内回答：什么是微服务？

# 指定格式
Prompt：用 bullet point 列出 Spring Boot 的 5 个优势，每个不超过 20 字

import hashlib
import json

cache = {}

def cached_ai_call(prompt, model="gpt-4o"):
    cache_key = hashlib.md5(prompt.encode()).hexdigest()
    
    if cache_key in cache:
        return cache[cache_key]
    
    result = ai_call(prompt, model)
    cache[cache_key] = result
    return result

# 差：多次调用
for item in items:
    result = ai_call(f"分析：{item}")

# 好：批量调用
items_text = "\n".join(items)
result = ai_call(f"分析以下项目：\n{items_text}")

def smart_model_selection(task_type, complexity):
    if task_type == "classification" and complexity == "low":
        return "gpt-3.5-turbo"  # 最便宜
    elif task_type == "qa" and complexity == "medium":
        return "claude-sonnet"   # 中等
    else:
        return "gpt-4o"         # 最强

# 简单任务用本地模型
ollama run qwen2:7b

# API 调用
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2",
  "messages": [{"role": "user", "content": "你好"}]
}'

def ai_call(prompt, complexity="medium"):
    if complexity == "low":
        # 用本地模型
        return ollama_call(prompt)
    elif complexity == "medium":
        # 用便宜的云端模型
        return openai_call(prompt, model="gpt-3.5-turbo")
    else:
        # 用最强模型
        return claude_call(prompt, model="claude-sonnet")

# OpenAI 预算设置
# 在 platform.openai.com 设置月度预算

# 代码中监控
daily_cost = 0
DAILY_LIMIT = 10  # $10/天

def ai_call_with_budget(prompt):
    global daily_cost
    estimated_cost = estimate_cost(prompt)
    
    if daily_cost + estimated_cost > DAILY_LIMIT:
        raise Exception("超出每日预算")
    
    result = ai_call(prompt)
    daily_cost += estimated_cost
    return result

Prompt：分析以下 AI API 调用日志，找出成本最高的场景：
[粘贴调用日志]

给出优化建议。

import tiktoken

def count_tokens(text, model="gpt-4o"):
    encoding = tiktoken.encoding_for_model(model)
    return len(encoding.encode(text))

# 中文大约 1 个字 = 1.5 tokens
# 英文大约 1 个单词 = 1 token