LLM-enabled 客服系統 LLM token fee 估算

場景一

以下是關於 GPT-4o、GPT-4o-mini、GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 等模型的成本估算，以心臟外科 AI 助手作為編列預算參考。

使用情境假設

• 用戶數量：1,000 人
• 每位用戶每月平均對話輪數：100 輪
• 每輪對話的平均 token 數：輸入 10,000 個 token，輸出 1,000 個 token

計算過程

• 每月總對話輪數：1,000 位用戶 × 100 輪/用戶 = 100,000 輪
• 每月總輸入 token 數：100,000 輪 × 10,000 個 token/輪 = 1,000,000,000 個 token
• 每月總輸出 token 數：100,000 輪 × 1,000 個 token/輪 = 100,000,000 個 token

模型成本估算

• GPT-4o：
  • 輸入成本：1,000,000,000 個 token ÷ 1,000,000 × 2.50 美元 = 2,500 美元
  • 輸出成本：100,000,000 個 token ÷ 1,000,000 × 10.00 美元 = 1,000 美元
  • 每月總成本：2,500 美元 + 1,000 美元 = 3,500 美元
• GPT-4o-mini：
  • 輸入成本：1,000,000,000 個 token ÷ 1,000,000 × 0.15 美元 = 150 美元
  • 輸出成本：100,000,000 個 token ÷ 1,000,000 × 0.60 美元 = 60 美元
  • 每月總成本：150 美元 + 60 美元 = 210 美元
• GPT-4.5：
  • 輸入成本：1,000,000,000 個 token ÷ 1,000,000 × 75.00 美元 = 75,000 美元
  • 輸出成本：100,000,000 個 token ÷ 1,000,000 × 150.00 美元 = 15,000 美元
  • 每月總成本：75,000 美元 + 15,000 美元 = 90,000 美元
• Claude Sonnet 3.7：
  • 輸入成本：1,000,000,000 個 token ÷ 1,000,000 × 3.00 美元 = 3,000 美元
  • 輸出成本：100,000,000 個 token ÷ 1,000,000 × 15.00 美元 = 1,500 美元
  • 每月總成本：3,000 美元 + 1,500 美元 = 4,500 美元
• Gemini 2.0 Flash 和 Flash-Lite 模型成本估算：
  • Gemini 2.0 Flash：
    輸入成本：1,000,000,000 個 token ÷ 1,000,000 × 0.10 美元 = 100 美元
    輸出成本：100,000,000 個 token ÷ 1,000,000 × 0.40 美元 = 40 美元
    每月總成本：100 美元 + 40 美元 = 140 美元
  • Gemini 2.0 Flash-Lite：
    輸入成本：1,000,000,000 個 token ÷ 1,000,000 × 0.075 美元 = 75 美元
    輸出成本：100,000,000 個 token ÷ 1,000,000 × 0.30 美元 = 30 美元
    每月總成本：75 美元 + 30 美元 = 105 美元

成本總覽表

---

注意事項

• 實際成本可能因多種因素而異，包括所選的 AI 模型、每輪對話的實際 token 使用量、用戶和互動的總數以及是否使用模型微調等。
• 更強大的模型通常具有更高的 token 價格，而更長、更複雜的對話將消耗更多的 token。
• 在選擇模型時，應權衡性能需求與預算限制，選擇最適合您應用場景的模型。