liushihyen

Take a break and read all about it

關於 GA4 我只是略懂:Landing page report

從這一篇文章開始,我們將持續的分享 SEO 以及網站流量分析的系列文章,這不僅支持我們的 SEO 和 內容策略,也是我們 GenAI Ops 中關鍵數據的來源。透過這些分析,我們旨在改善與消費者的溝通,並體現我們對開放組織文化的承諾。

Read More »

我的 Mac 本地端 Python LLM 測試環境設定

在這篇文章中簡單的分享一下我如何嘗試在 Mac 上建立一個穩定的本地 Python 測試環境。從安裝 Python 和必要的工具,到配置 #虛擬環境 和 #測試框架,當然!我的開發環境配置絕對不是完美無瑕的,但是一個不斷迭代的過程的開始,一個不斷探索最適配我們自家組織商業發展過程的開發環境探索。

Read More »

關於 Prompt engineering 我只是略懂:ReAct

ReAct prompt pattern 是一種結合推理和行動的框架,用於增強 LLM 推論結果的品質。此技術讓模型在產生推理過程的同時,執行特定任務,包括與外部資源如知識庫互動。ReAct 結合了 Chain-of-Thought 的優勢,在知識密集型任務和決策任務中表現出色,提升了模型的可解釋性和可靠性。它通過動態推理來維持和調整行動計劃,並在推理過程中整合外部信息提升生成內容的即時性。

Read More »

GPTs & DALL-E 提示詞工程教學

目前因為不明原因,以下這一段被許多人認為是 OpenAI bug 的提示詞到目前為止依舊可以讓 ChatGPT、Bing Chat 以及 GPTs 回傳 system prompt 或是 default instruction,只要在對話的最開始輸入並送出,ChatGPT 就會回傳當下對話 session 所使用的 instructions,但不得不說透過閱讀這些非常用心撰寫的 instructions 確實是可以學到很多有用的技巧。

Read More »

The pricing of generative AI foundation models

基本上,在 AWS 上要能夠成功執行起 Llama 2 Chat (7B) #7B而已呦不是70B呦 的 Hello World 沒開個 g5.4xlarge 是跑不起來的,一個月不關機器採用 on-demand 的話要燒掉 37,968.84 TWD,反之用 AWS 的 Bedrock 你開個 Llama 2 Chat(70B)每 1k tokens 的推論成本只要 0.00195 USD,也是就 0.061 TWD,不得不說 IaaS 的經濟規模化真的是非常強大,做 model routing 不用 IaaS 的解決方案勢必是非常沒有效率的,除非有很特殊的需求必須徹底從模型的原始權重開始訓練起,不然自己部署 foundation model 幾乎是沒有任何好處。

Read More »