The pricing of generative AI foundation models
基本上，在 AWS 上要能夠成功執行起 Llama 2 Chat (7B) #7B而已呦不是70B呦 的 Hello World 沒開個 g5.4xlarge 是跑不起來的，一個月不關機器採用 on-demand 的話要燒掉 37,968.84 TWD，反之用 AWS 的 Bedrock 你開個 Llama 2 Chat（70B）每
Meta AI seamlessM4T_v2_large 實驗
我實驗環境是部署在 GCP 上，Compute Engine 選用的 GPU 是 NVIDIA T4 1 x GPU，登入主機後第一件事當是是要先確定你啟用的 Instance 真的有 GPU 沒出意外的話，CLI 上會顯示 再來就是要確保你的主機有安裝好 CUDA，這邊基本上就是按照 Nvidia 官網上的教學一步一步的完成安裝 CUDA Toolkit 12.3 Update