API 使用限制是什麼?
就是系統會限制使用者在特定時間內,能呼叫 API 的次數。
為什麼要設定這些限制呢?
主要有幾個原因:
- 避免有人惡意濫用:像是有人故意狂發送大量請求,想要讓系統當機或是造成服務中斷。設定使用限制就可以防止這種情況發生。
- 讓大家都能公平使用:如果有人一直瘋狂發送請求,可能會讓其他人的使用速度變慢。透過限制每個使用者的請求次數,可以讓更多人都能順暢地使用這個服務。
- 管理系統負載:如果突然間有太多請求進來,伺服器可能會負荷不了。設定使用限制可以讓系統維持穩定的運作。
那這些限制是怎麼計算的呢?
系統會從五個面向來計算
- 每分鐘可以發送幾次請求(RPM)
- 每天可以發送幾次請求(RPD)
- 每分鐘可以處理幾個 token(TPM)
- 每天可以處理幾個 token(TPD)
- 每分鐘可以處理幾張圖片(IPM)
重要提醒
- 這些限制是針對整個組織或專案設定的,不是針對個別使用者
- 不同的模型會有不同的使用限制
- 系統也會限制每個組織每個月在 API 上的花費總額
- 有些模型系列是共用同一個限制的,例如說如果共用限制是每分鐘 350 萬個 token,那所有在這個系列的模型加起來就不能超過這個數字
使用等級
你可以在帳號設定裡面的 Limits 頁籤中看到你的使用限制。當你用得越多、花的錢越多,系統就會自動把你升級到更高的等級,通常也會提高你的使用限制。
目前有區分成以下幾個等級:
- 免費版:限制每月 $100
- 第一級:要付 $5,限制每月 $100
- 第二級:要付 $50 而且第一次付款後要過 7 天,限制每月 $500
- 第三級:要付 $100 而且第一次付款後要過 7 天,限制每月 $1,000
- 第四級:要付 $250 而且第一次付款後要過 14 天,限制每月 $5,000
- 第五級:要付 $1,000 而且第一次付款後要過 30 天,限制每月 $200,000
至於 o1 模型的部分,因為現在還在測試階段,所以使用限制可能會常常改變,建議要去看官方的說明頁面,才能知道最新的情況。