Prompt Engineering

提示（Prompt）是生成型AI模型的輸入，用於引導其輸出，可包括文本、圖片、聲音等媒體。Prompt Template是含變量的函數，用於生成具體提示。提示的主要組成部分包括指令（核心意圖）、範例（輔助AI完成任務的示範）、輸出格式指定和風格指示。這些元素共同作用，使提示能夠有效地引導AI完成各種任務，如文本生成、圖像描述和音頻總結等。提示的設計對於獲得準確、相關的AI輸出至關重要。

在 Transformer 架構和 GPT 模型中，超參數是在訓練模型之前設定的參數，它們控制著模型的結構（如層數、隱藏單元的大小等）和訓練過程（如學習率、批次大小等）。這些參數不會在學習過程中被模型自動調整，而是需要由研究人員或開發人員事先決定。例如，在 GPT 模型中，超參數可以包括編碼層的數量、每個層中的注意力頭數量、學習率等。

在探索完 OpenAI 的「提示詞工程」最佳實務後，本篇文章將聚焦於 Google 的 Gemini 提供的官方「提示詞工程」建議。雖然兩者的基礎原則相似，但由於系統設計上的差異，為完善本系列並便於未來跨系統比較，我們將深入解析一下 Gemini 是否有其獨有的見解。

這是 OpenAI 所提供的六大提示詞工程策略的筆記，文章中我除了會逐條的寫下自己針對每一條建議策略的實驗心得與筆記之外，我也會補充一些我常用的提示詞技巧在文章內。

Llama 2 官方文件中的提示工程建議：從明確指示到角色提示，再到自我一致性與檢索增強，讓略懂的我為你揭示如何精進提示詞工程進而提升 LLM 的推論品質。

ReAct prompt pattern 是一種結合推理和行動的框架，用於增強 LLM 推論結果的品質。此技術讓模型在產生推理過程的同時，執行特定任務，包括與外部資源如知識庫互動。ReAct 結合了 Chain-of-Thought 的優勢，在知識密集型任務和決策任務中表現出色，提升了模型的可解釋性和可靠性。它通過動態推理來維持和調整行動計劃，並在推理過程中整合外部信息提升生成內容的即時性。

目前因為不明原因，以下這一段被許多人認為是 OpenAI bug 的提示詞到目前為止依舊可以讓 ChatGPT、Bing Chat 以及 GPTs 回傳 system prompt 或是 default instruction，只要在對話的最開始輸入並送出，ChatGPT 就會回傳當下對話 session 所使用的 instructions，但不得不說透過閱讀這些非常用心撰寫的 instructions 確實是可以學到很多有用的技巧。