這篇文章介紹如何結合大型語言模型（LLM）生成範例 Q&A 的合成資料，並使用 Google App Script 將資料自動化匯入 Google 試算表。透過這樣的自動化流程，使用者能快速建立高效且視覺化的 Q&A 範本，尤其對於需要大量數據管理的情境十分實用。文章詳細說明了使用 LLM 生成範例資料及 Google App Script 自動處理資料的具體步驟，並展示了實際應用的效果。
Large Language Models（LLMs）已成為 AI領域的核心推動力。然而，伴隨著這些進步，LLMs 也帶來了一個令人頭痛的問題：「幻覺」（hallucinations）。這種現象指的是模型在缺乏足夠資訊或理解的情況下，仍然自信地生成錯誤或不準確的內容，誤導使用者。為了應對這一挑戰，Google 推出了 DataGemma，其目標是想要將 LLMs 與龐大且可靠的真實世界數據資料庫『Data Commons』相結合的創新嘗試。
OpenAI 新推出的 o1 系列模型，厲害的地方是可以做很深入的推理。它在科學推理方面表現特別好，像是在程式競賽和數學比賽中都拿到很高的成績。這個模型最特別的是，它會先想一想再回答，而且可以產生很長的內部思考過程。現在有兩種版本：o1-preview 適合需要用到廣泛知識的難題，o1-mini 則比較適合程式和數學任務。不過要注意，用這個模型時要給它足夠的空間來思考喔！
Gemma 是一系列輕量級、先進的開放大語言模型，建立於與創造 Gemini 模型相同的研究和技術之上。由『Google DeepMind』和Google 其他團隊開發，Gemma 靈感來自 Gemini，名字反映了拉丁文 gemma 的意思，即「寶石」。除了模型權重外，Google 也發布了工具來支持開發者創新、促進合作，並指導如何負責任的使用 Gemma 模型。
基本上，在 AWS 上要能夠成功執行起 Llama 2 Chat (7B) #7B而已呦不是70B呦 的 Hello World 沒開個 g5.4xlarge 是跑不起來的，一個月不關機器採用 on-demand 的話要燒掉 37,968.84 TWD，反之用 AWS 的 Bedrock 你開個 Llama 2 Chat（70B）每 1k tokens 的推論成本只要 0.00195 USD，也是就 0.061 TWD，不得不說 IaaS 的經濟規模化真的是非常強大，做 model routing 不用 IaaS 的解決方案勢必是非常沒有效率的，除非有很特殊的需求必須徹底從模型的原始權重開始訓練起，不然自己部署 foundation model 幾乎是沒有任何好處。
在去年十一月 ChatGPT 出現在我眼前之後，第一個想法就是 LLMs 勢必將會快速的掃除 Chatbot 這樣一個應用領域在過去遇到的許多問題，毫無意外的，聊天機器人現在嚴然是最多開發者實踐 LLMs 的 downstream task。根據 Gartner 的一些報告，他們預期到 2027 年，聊天機器人將成為所有組織中 25% 的主要溝通渠道。 這種採用速度相當驚人，但也存在危險。聊天機器人可以非常有說服力地杜撰事實，而要像對真人一樣給聊天機器人設置指引也更加的困難。所以，如果你客服渠道後面部署了一群真人客服，他們會受過關於如何談論你的公司、不該說什麼、應該說什麼以及要禮貌等各方面的培訓。但對於 LLM-based 的聊天機器人來說在實務上是一件相當困難的事情，實作過你就會清楚的知道開發出一個 ChatGPT 的體驗跟直接與 OpenAI 的 API 串接完全是兩碼子難度的事情。 所以，當我們想要聊天機器人真正代表一個組織時，僅僅是串接上 chat completion API 絕對是組織自殺的最快路徑之一。真要導入 LLM-based 客服，中間要做的事情實在是太多了，我們需要更多技術與方法論來真正部署有用的 AI。因此，這就跟我接下來想要跟各位一起探索的 #Guardrails 有關。 Guardrails 是 NVIDIA 釋出的一個函式庫，主要用來幫助我們能夠更加安全地部署 LLM-based Chatbot。但實際上，我們可以用它做很多更多的事情。我們可以將其用於安全性、主題指引等，也可以將其用於更高階的使用。我們可以用它構建 Agents，用它進行 #RAG，當然也可以用它定義更加明確的對話流程。簡言之，如果一家公司要投資並部署聊天機器人卻不使用 Nemo Guardrails 或某種類似的 Guardrails 系統，我想都不敢想其下場會如何。就現階段我的實驗結果來說，如果你沒有這些機制，事情很容易就會 mess up。 在 LLM-based Chatbot中，最直接的作法就是讓我們的 Conversational
這幾天真的是非常的忙，總算在週末時騰出了些時間來看看 Andrej Karpathy 近期非常火的一段 YouTube，如果說他之前在微軟的活動上所進行的那場 State of GPT 是一場對開發者講述什麼是 LLM 的經典演說的話，那他這一次這段時長一小時的分享影片就是一場面向一般大眾介紹什麼是 LLM 的經典。 一個小時的內容全部都是非技術介紹，涵蓋了 #模型推理、#模型訓練、#模型微調 以及 LLM 的發展趨勢,以及安全挑戰。影片的內容非常的新，基本上還有涵蓋到了近一個月在 LLMs 上的相關發展，有些關於 LLMs 的觀念與知識我也是因為看了這次的分享才知道，同時也釐清了一些我對 LLMs 原本不甚瞭解的地方。 Andrej 本人真的是非常擅長簡化複雜的問題，Andrej 還說影片是他在感恩節假期的度假飯店中進行錄製的。而影片的內容大都是他最近在 #人工智慧安全高峰會 上的演講內容，不過為了讓影片內容去適合大多數一般的聽眾，他對原本演講的內容進行了一些微調。 在影片的第一章節中他主要是對大模型的整體概念進行了一些解釋。Andrej 解釋 LLM 在本質上其實就是兩個檔案，一個是 #參數檔案，一個是包含執行這些參數的程式碼檔案。前者是組成這個類神經網路的權重，後者是用來部署這個類神經網路的程式碼，可以是用 C 語言或者是其他任何程式語言進行撰寫。有了這兩個檔案，搭配上一台筆記型電腦，我們就不需要任何網路連線和其他東西就可以與這個 LLM 進行交流。 比如要求 LLM 寫首詩，他就開始為你生成文字。那麼接下來的問題就是，參數是從哪裡來的呢？ 這就要提到模型訓練了。本質上來說，LLM 訓練就是對網路資料進行 #有損的壓縮。比如大約 10TB 的文字，這就需要一個巨大的 GPU cluster 來完成。以 7B 參數的 GPT-3 為例，要進行預訓練就需要 6,000 張
主要的亮點 API Tools API Tools 使用是 Claude 2.1 的一個新beta功能，它允許 Claude 整合到用戶現有的流程、產品和 API 中。這意味著 Claude 不僅僅是一個獨立的 AI model，而是可以成為用戶現有工作流程的一部分，從而提高日常操作的效率和效果。 擴展互操作性：透過這個功能，Claude 允許開發者撰寫 #自定義函數、API、搜尋網際網路來源，並從 Private Knowledge Base 中檢索資料做 RAG。這意味著 Claude 可以與更廣泛的資料源和工具進行互動，明顯看出 Anthropic 有意在 Agents 領域上大力的推進。使用者在執行與 Claude model 進行互動的過程中可定義上述提及的多項工具，model 會根據使用者輸入的語料與脈絡資訊來決定要啟用哪些工具去輔助模型推論的進行。 這個功能讓 Claude 可以執行多種操作 開發者體驗 Console experience 為了簡化開發者的 UX，Claude 的 developer console 經過了重構。這包括使 prompt engineering 更加快速和簡單，從而加速學習和迭代過程。 New Workbench 開發者可以在 playground 的環境中迭代提示詞測試。開發者可以建立多個提示，並在不同的專案間輕鬆的轉換，同時進行的任何校正都會被保存下來，以保留
