來自 YC 對人類文明發展下一階段的使命召喚
本篇的內容來自 YC 今年夏季招募新創團隊的 RFS,我挑選了我很感興趣的領域,不感興趣或跟我專業差太遠的我就只把他們列出來而已,像是『新的防禦技術』、『將製造業帶回美國』、『新的太空公司』、『氣候技術』、『穩定幣金融』以及『終結癌症的方法』等等就跟我們現階段團隊技能組成幾乎完全沒相關,至於其他的幾項我都會沿著脈絡去探索我們公司的機會點在哪裡,我最後會就我目前最愛且最相關的那五個方向做深度的研究。
本篇的內容來自 YC 今年夏季招募新創團隊的 RFS,我挑選了我很感興趣的領域,不感興趣或跟我專業差太遠的我就只把他們列出來而已,像是『新的防禦技術』、『將製造業帶回美國』、『新的太空公司』、『氣候技術』、『穩定幣金融』以及『終結癌症的方法』等等就跟我們現階段團隊技能組成幾乎完全沒相關,至於其他的幾項我都會沿著脈絡去探索我們公司的機會點在哪裡,我最後會就我目前最愛且最相關的那五個方向做深度的研究。
LLMOps(Large Language Model Operations)是一個涵蓋了大型語言模型(如 OpenAI 的 GPT 系列、Google 的 PaLM 以及眾多如 Meta 的 LLaMa 這樣的開源 LLMs)開發、部署、維護和優化的一整套實作的方法論和資料管理流程。LLMOps 的存在目標是確保讓開發者甚至一般使用者能夠高效能、高擴展性且安全地使用這些強大的 AI 模型來建構和營運能夠解決使用者問題的應用程式。整個架構牽涉到 #模型訓練、#微調、#RAG、部署、監控、版本控制、更新、安全性、可協作性、可轉移性以及合規性等各個面向。
農曆年之前,AI 領域『御三家』最為人們所關注的題材在於各家擁有的三神器:Gemini Ultra、GPT-5 與 Llama-3。但出乎所有人意料的是,單就在 2/15 這一天,御三家不約而同的都直接領域展開『無量空處』直接癱瘓了一大批新創。
Sora 是一種由『資料驅動的物理引擎』,其底層是一個端到端的 Diffusion Transformer Model,它可以直接將文字或圖片輸入轉化成影片像素輸出。通過對大量影片數據的梯度下降學習,Sora 在神經網絡的參數中隱性的學習到了一個物理引擎該有的運作方式。
通過有效的品牌定位和創新的市場策略,即便是在一個充滿同質化產品的市場中,也能創造出顯著的市場價值和用戶認同。對於 AI 新創來說,這意味著創辦人思維高度必須要著需要超越技術本身,深入挖掘使用者需求(特定利基市場)和市場趨勢,並通過獨特的品牌故事和用戶體驗來吸引和留住用戶。
Retrieval-Augmented Generation(RAG)與其說是一項技術,我認為稱它是某種一系列方法論的集合名詞或許更為適切,他的核心精神是通過從外部來源獲取事實與即時資訊來提高生成式 AI 模型在進行推論時的準確性和可靠性。
在 Transformer 架構和 GPT 模型中,超參數是在訓練模型之前設定的參數,它們控制著模型的結構(如層數、隱藏單元的大小等)和訓練過程(如學習率、批次大小等)。這些參數不會在學習過程中被模型自動調整,而是需要由研究人員或開發人員事先決定。例如,在 GPT 模型中,超參數可以包括編碼層的數量、每個層中的注意力頭數量、學習率等。
關於 RAG(檢索增強生成)這個用來強化 LLM 推論品質的方法論是個非常熱門的議題,網路上已經有無數篇文章與論文在討論這主題,這篇會是我們一個新系列文章的開頭,先系統性的整理在實踐 RAG 時會遇到的主要失敗點,進而從如何一一克服這些問題來展開我們的系列文章。
在探索完 OpenAI 的「提示詞工程」最佳實務後,本篇文章將聚焦於 Google 的 Gemini 提供的官方「提示詞工程」建議。雖然兩者的基礎原則相似,但由於系統設計上的差異,為完善本系列並便於未來跨系統比較,我們將深入解析一下 Gemini 是否有其獨有的見解。
當一項新技術出現時,大家往往會對他如何用在增強既有任務上所產生讀影響更為關注,畢竟,這些改善是立即可見且容易理解的。然而,隨著時間的推移,如何用它來推動文明的邊界,也就是創造先前不可能的事物卻往往對世界產生更深遠的影響。然而,綜觀歷史,推動時代巨輪的關鍵軸承永遠都是來自後者。