新時代的基礎建設研究：NVIDIA
前幾天『NVIDIA』發佈財報之後市值整個暴漲 3,000 億美元，創下美股單日最高市值漲幅。因為本身就打算長期投入人工智慧的領域做深耕，所以多少都有部署些資金在我口中的新時代基建上，我今天就想透過這篇簡短的文章來理清一下為何我認為 NVIDIA 這家公司砸長期上值得我們持續關注，不管你是否要買入，一樣的，我這絕對絕對不是投資建議，大家當做是一篇我如何透過 NVIDIA 去一窺 AI 未來 5~10 年發展可能的一篇筆記文就好。
關於 LLM 我只是略懂：Gemma 筆記
Gemma 是一系列輕量級、先進的開放大語言模型，建立於與創造 Gemini 模型相同的研究和技術之上。由『Google DeepMind』和Google 其他團隊開發，Gemma 靈感來自 Gemini，名字反映了拉丁文 gemma 的意思，即「寶石」。除了模型權重外，Google 也發布了工具來支持開發者創新、促進合作，並指導如何負責任的使用 Gemma 模型。
如何用 GTM + GA4 實作 YouTube 影片觀看數據追蹤
文章介紹如何使用Google Tag Manager (GTM)和Google Analytics 4 (GA4)來追蹤YouTube影片的觀看數據。文中提到，若使用YouTube block嵌入影片，事件無法被GTM觸發；而使用Custom HTML block並在URL上添加enablejsapi=1參數，則可成功觸發事件。詳細步驟包括在GTM中配置觸發器和標籤，並在GA4中查看和分析相關數據。此方法可使YouTube影片追蹤更精確和有效。更多詳情請見原文。
來自 YC 對人類文明發展下一階段的使命召喚
本篇的內容來自 YC 今年夏季招募新創團隊的 RFS，我挑選了我很感興趣的領域，不感興趣或跟我專業差太遠的我就只把他們列出來而已，像是『新的防禦技術』、『將製造業帶回美國』、『新的太空公司』、『氣候技術』、『穩定幣金融』以及『終結癌症的方法』等等就跟我們現階段團隊技能組成幾乎完全沒相關，至於其他的幾項我都會沿著脈絡去探索我們公司的機會點在哪裡，我最後會就我目前最愛且最相關的那五個方向做深度的研究。
LLMOps 的探索之路（序章）
LLMOps（Large Language Model Operations）是一個涵蓋了大型語言模型（如 OpenAI 的 GPT 系列、Google 的 PaLM 以及眾多如 Meta 的 LLaMa 這樣的開源 LLMs）開發、部署、維護和優化的一整套實作的方法論和資料管理流程。LLMOps 的存在目標是確保讓開發者甚至一般使用者能夠高效能、高擴展性且安全地使用這些強大的 AI 模型來建構和營運能夠解決使用者問題的應用程式。整個架構牽涉到 #模型訓練、#微調、#RAG、部署、監控、版本控制、更新、安全性、可協作性、可轉移性以及合規性等各個面向。
AI 御三家的最新動態（2024年2/15 updated）
農曆年之前，AI 領域『御三家』最為人們所關注的題材在於各家擁有的三神器：Gemini Ultra、GPT-5 與 Llama-3。但出乎所有人意料的是，單就在 2/15 這一天，御三家不約而同的都直接領域展開『無量空處』直接癱瘓了一大批新創。
關於 OpenAI Sora 我依舊只是略懂
Sora 是一種由『資料驅動的物理引擎』，其底層是一個端到端的 Diffusion Transformer Model，它可以直接將文字或圖片輸入轉化成影片像素輸出。通過對大量影片數據的梯度下降學習，Sora 在神經網絡的參數中隱性的學習到了一個物理引擎該有的運作方式。
當你將 AI 從你的募資簡報中移除後，你的護城河是什麼？
通過有效的品牌定位和創新的市場策略，即便是在一個充滿同質化產品的市場中，也能創造出顯著的市場價值和用戶認同。對於 AI 新創來說，這意味著創辦人思維高度必須要著需要超越技術本身，深入挖掘使用者需求（特定利基市場）和市場趨勢，並通過獨特的品牌故事和用戶體驗來吸引和留住用戶。
企業級 RAG（檢索增強生成）系統開發的實踐過程系列 – 什麼是 RAG？
Retrieval-Augmented Generation（RAG）與其說是一項技術，我認為稱它是某種一系列方法論的集合名詞或許更為適切，他的核心精神是通過從外部來源獲取事實與即時資訊來提高生成式 AI 模型在進行推論時的準確性和可靠性。
關於 Prompt engineering 我只是略懂：徹底解析什麼是超參數？
在 Transformer 架構和 GPT 模型中，超參數是在訓練模型之前設定的參數，它們控制著模型的結構（如層數、隱藏單元的大小等）和訓練過程（如學習率、批次大小等）。這些參數不會在學習過程中被模型自動調整，而是需要由研究人員或開發人員事先決定。例如，在 GPT 模型中，超參數可以包括編碼層的數量、每個層中的注意力頭數量、學習率等。