November 2023

在去年十一月 ChatGPT 出現在我眼前之後，第一個想法就是 LLMs 勢必將會快速的掃除 Chatbot 這樣一個應用領域在過去遇到的許多問題，毫無意外的，聊天機器人現在嚴然是最多開發者實踐 LLMs 的 downstream task。根據 Gartner 的一些報告，他們預期到 2027 年，聊天機器人將成為所有組織中 25% 的主要溝通渠道。 這種採用速度相當驚人，但也存在危險。聊天機器人可以非常有說服力地杜撰事實，而要像對真人一樣給聊天機器人設置指引也更加的困難。所以，如果你客服渠道後面部署了一群真人客服，他們會受過關於如何談論你的公司、不該說什麼、應該說什麼以及要禮貌等各方面的培訓。但對於 LLM-based 的聊天機器人來說在實務上是一件相當困難的事情，實作過你就會清楚的知道開發出一個 ChatGPT 的體驗跟直接與 OpenAI 的 API 串接完全是兩碼子難度的事情。 所以，當我們想要聊天機器人真正代表一個組織時，僅僅是串接上 chat completion API 絕對是組織自殺的最快路徑之一。真要導入 LLM-based 客服，中間要做的事情實在是太多了，我們需要更多技術與方法論來真正部署有用的 AI。因此，這就跟我接下來想要跟各位一起探索的 #Guardrails 有關。 Guardrails 是 NVIDIA 釋出的一個函式庫，主要用來幫助我們能夠更加安全地部署 LLM-based Chatbot。但實際上，我們可以用它做很多更多的事情。我們可以將其用於安全性、主題指引等，也可以將其用於更高階的使用。我們可以用它構建 Agents，用它進行 #RAG，當然也可以用它定義更加明確的對話流程。簡言之，如果一家公司要投資並部署聊天機器人卻不使用 Nemo Guardrails 或某種類似的 Guardrails 系統，我想都不敢想其下場會如何。就現階段我的實驗結果來說，如果你沒有這些機制，事情很容易就會 mess up。 在 LLM-based Chatbot中，最直接的作法就是讓我們的 Conversational

這幾天真的是非常的忙，總算在週末時騰出了些時間來看看 Andrej Karpathy 近期非常火的一段 YouTube，如果說他之前在微軟的活動上所進行的那場 State of GPT 是一場對開發者講述什麼是 LLM 的經典演說的話，那他這一次這段時長一小時的分享影片就是一場面向一般大眾介紹什麼是 LLM 的經典。 一個小時的內容全部都是非技術介紹，涵蓋了 #模型推理、#模型訓練、#模型微調 以及 LLM 的發展趨勢,以及安全挑戰。影片的內容非常的新，基本上還有涵蓋到了近一個月在 LLMs 上的相關發展，有些關於 LLMs 的觀念與知識我也是因為看了這次的分享才知道，同時也釐清了一些我對 LLMs 原本不甚瞭解的地方。 Andrej 本人真的是非常擅長簡化複雜的問題，Andrej 還說影片是他在感恩節假期的度假飯店中進行錄製的。而影片的內容大都是他最近在 #人工智慧安全高峰會 上的演講內容，不過為了讓影片內容去適合大多數一般的聽眾，他對原本演講的內容進行了一些微調。 在影片的第一章節中他主要是對大模型的整體概念進行了一些解釋。Andrej 解釋 LLM 在本質上其實就是兩個檔案，一個是 #參數檔案，一個是包含執行這些參數的程式碼檔案。前者是組成這個類神經網路的權重，後者是用來部署這個類神經網路的程式碼，可以是用 C 語言或者是其他任何程式語言進行撰寫。有了這兩個檔案，搭配上一台筆記型電腦，我們就不需要任何網路連線和其他東西就可以與這個 LLM 進行交流。 比如要求 LLM 寫首詩，他就開始為你生成文字。那麼接下來的問題就是，參數是從哪裡來的呢？ 這就要提到模型訓練了。本質上來說，LLM 訓練就是對網路資料進行 #有損的壓縮。比如大約 10TB 的文字，這就需要一個巨大的 GPU cluster 來完成。以 7B 參數的 GPT-3 為例，要進行預訓練就需要 6,000 張

主要的亮點 API Tools API Tools 使用是 Claude 2.1 的一個新beta功能，它允許 Claude 整合到用戶現有的流程、產品和 API 中。這意味著 Claude 不僅僅是一個獨立的 AI model，而是可以成為用戶現有工作流程的一部分，從而提高日常操作的效率和效果。 擴展互操作性：透過這個功能，Claude 允許開發者撰寫 #自定義函數、API、搜尋網際網路來源，並從 Private Knowledge Base 中檢索資料做 RAG。這意味著 Claude 可以與更廣泛的資料源和工具進行互動，明顯看出 Anthropic 有意在 Agents 領域上大力的推進。使用者在執行與 Claude model 進行互動的過程中可定義上述提及的多項工具，model 會根據使用者輸入的語料與脈絡資訊來決定要啟用哪些工具去輔助模型推論的進行。 這個功能讓 Claude 可以執行多種操作 開發者體驗 Console experience 為了簡化開發者的 UX，Claude 的 developer console 經過了重構。這包括使 prompt engineering 更加快速和簡單，從而加速學習和迭代過程。 New Workbench 開發者可以在 playground 的環境中迭代提示詞測試。開發者可以建立多個提示，並在不同的專案間輕鬆的轉換，同時進行的任何校正都會被保存下來，以保留