略懂 GA4 – Default Channel Group 與 Custom Channel Group
這篇文章的主要目標是在分享 GA4 的 Traffic Acquisition 中幾個主要需要理解的知識點,包含什麼是 Default Channel Group 跟 Custom Channel Group 以及 GA4 如何透過規則將流量分群。
這篇文章的主要目標是在分享 GA4 的 Traffic Acquisition 中幾個主要需要理解的知識點,包含什麼是 Default Channel Group 跟 Custom Channel Group 以及 GA4 如何透過規則將流量分群。
這是 OpenAI 所提供的六大提示詞工程策略的筆記,文章中我除了會逐條的寫下自己針對每一條建議策略的實驗心得與筆記之外,我也會補充一些我常用的提示詞技巧在文章內。
從這一篇文章開始,我們將持續的分享 SEO 以及網站流量分析的系列文章,這不僅支持我們的 SEO 和 內容策略,也是我們 GenAI Ops 中關鍵數據的來源。透過這些分析,我們旨在改善與消費者的溝通,並體現我們對開放組織文化的承諾。
Llama 2 官方文件中的提示工程建議:從明確指示到角色提示,再到自我一致性與檢索增強,讓略懂的我為你揭示如何精進提示詞工程進而提升 LLM 的推論品質。
在這篇文章中簡單的分享一下我如何嘗試在 Mac 上建立一個穩定的本地 Python 測試環境。從安裝 Python 和必要的工具,到配置 #虛擬環境 和 #測試框架,當然!我的開發環境配置絕對不是完美無瑕的,但是一個不斷迭代的過程的開始,一個不斷探索最適配我們自家組織商業發展過程的開發環境探索。
ReAct prompt pattern 是一種結合推理和行動的框架,用於增強 LLM 推論結果的品質。此技術讓模型在產生推理過程的同時,執行特定任務,包括與外部資源如知識庫互動。ReAct 結合了 Chain-of-Thought 的優勢,在知識密集型任務和決策任務中表現出色,提升了模型的可解釋性和可靠性。它通過動態推理來維持和調整行動計劃,並在推理過程中整合外部信息提升生成內容的即時性。
目前因為不明原因,以下這一段被許多人認為是 OpenAI bug 的提示詞到目前為止依舊可以讓 ChatGPT、Bing Chat 以及 GPTs 回傳 system prompt 或是 default instruction,只要在對話的最開始輸入並送出,ChatGPT 就會回傳當下對話 session 所使用的 instructions,但不得不說透過閱讀這些非常用心撰寫的 instructions 確實是可以學到很多有用的技巧。
基本上,在 AWS 上要能夠成功執行起 Llama 2 Chat (7B) #7B而已呦不是70B呦 的 Hello World 沒開個 g5.4xlarge 是跑不起來的,一個月不關機器採用 on-demand 的話要燒掉 37,968.84 TWD,反之用 AWS 的 Bedrock 你開個 Llama 2 Chat(70B)每 1k tokens 的推論成本只要 0.00195 USD,也是就 0.061 TWD,不得不說 IaaS 的經濟規模化真的是非常強大,做 model routing 不用 IaaS 的解決方案勢必是非常沒有效率的,除非有很特殊的需求必須徹底從模型的原始權重開始訓練起,不然自己部署 foundation model 幾乎是沒有任何好處。
我實驗環境是部署在 GCP 上,Compute Engine 選用的 GPU 是 NVIDIA T4 1 x GPU,登入主機後第一件事當是是要先確定你啟用的 Instance 真的有 GPU 沒出意外的話,CLI 上會顯示 再來就是要確保你的主機有安裝好 CUDA,這邊基本上就是按照 Nvidia 官網上的教學一步一步的完成安裝 CUDA Toolkit 12.3 Update 1 Downloads 當你透過上述方法安裝完成 CUDA Toolkit 後,它已經包括安裝與該版本 CUDA Toolkit 相容的必要 NVIDIA 驅動程式。 Check for NVIDIA GPU and Driver Status 根據 NVIDIA 官方的教學完成 CUDA 安裝之後,可以使用 nvidia-smi 這個指令去查看 GPU 使用情況的資訊,包括驅動程式版本、GPU 利用率、記憶體使用情況等等。 如果一切順利,你的 CLI