將語料作向量化時，高維度？還是低維度？最適`Embedding`維度是多少？
做RAG的時候總會遇到一個頭痛問題：向量維度要設多少？現在主流都衝到4,096維了，像阿里雲Qwen3、Salesforce SFR都是這個規格，感覺不跟上就落伍。但說實話，維度不是越高越好啦！太低會壓縮語義、太高又會成本爆炸還可能過擬合。根據JL定理和實務經驗，甜蜜點大概在2K-4K之間，但還是要看你的資料量和硬體預算。這篇文章就是要告訴你怎麼在資訊保真、運算成本和過擬合風險之間找到最划算的平衡點，而不是盲目追高維度。