關於 OpenAI API 的 Rate Limit

API 使用限制是什麼?

就是系統會限制使用者在特定時間內,能呼叫 API 的次數。

為什麼要設定這些限制呢?

主要有幾個原因:

  • 避免有人惡意濫用:像是有人故意狂發送大量請求,想要讓系統當機或是造成服務中斷。設定使用限制就可以防止這種情況發生。
  • 讓大家都能公平使用:如果有人一直瘋狂發送請求,可能會讓其他人的使用速度變慢。透過限制每個使用者的請求次數,可以讓更多人都能順暢地使用這個服務。
  • 管理系統負載:如果突然間有太多請求進來,伺服器可能會負荷不了。設定使用限制可以讓系統維持穩定的運作。

那這些限制是怎麼計算的呢?

系統會從五個面向來計算

  • 每分鐘可以發送幾次請求(RPM)
  • 每天可以發送幾次請求(RPD)
  • 每分鐘可以處理幾個 token(TPM)
  • 每天可以處理幾個 token(TPD)
  • 每分鐘可以處理幾張圖片(IPM)

重要提醒

  • 這些限制是針對整個組織或專案設定的,不是針對個別使用者
  • 不同的模型會有不同的使用限制
  • 系統也會限制每個組織每個月在 API 上的花費總額
  • 有些模型系列是共用同一個限制的,例如說如果共用限制是每分鐘 350 萬個 token,那所有在這個系列的模型加起來就不能超過這個數字

使用等級

你可以在帳號設定裡面的 Limits 頁籤中看到你的使用限制。當你用得越多、花的錢越多,系統就會自動把你升級到更高的等級,通常也會提高你的使用限制。


目前有區分成以下幾個等級:

  • 免費版:限制每月 $100
  • 第一級:要付 $5,限制每月 $100
  • 第二級:要付 $50 而且第一次付款後要過 7 天,限制每月 $500
  • 第三級:要付 $100 而且第一次付款後要過 7 天,限制每月 $1,000
  • 第四級:要付 $250 而且第一次付款後要過 14 天,限制每月 $5,000
  • 第五級:要付 $1,000 而且第一次付款後要過 30 天,限制每月 $200,000

至於 o1 模型的部分,因為現在還在測試階段,所以使用限制可能會常常改變,建議要去看官方的說明頁面,才能知道最新的情況。

Leave a Comment

Your email address will not be published. Required fields are marked *