本文對學習過程進行總結,僅對基本思路進行說明,結果在不同的模型上會有差異。
提示與提示工程
提示:指的是向大語言模型輸入的特定短語或文本,用于引導模型產生特定的輸出,以便模型能夠生成符合用戶需求的回應。
提示工程:首先是關注提示詞的開發和優化,幫助用戶將大語言模型(Large Language Model, LLM)用于各場景和研究領域。其次包含與大語言模型交互和研發的各種技能和技術。
提示(Prompt)的組成結構、設計技巧、使用場景
常見的Prompt符合下列格式
- 指令:想要模型執行的特定任務或指令。
- 上下文:包含外部信息或額外的上下文信息,引導語言模型更好地響應。
- 輸入數據:用戶輸入的內容或問題。
- 輸出指示:指定輸出的類型或格式。
并非所有的Prompt都要遵循這樣的結構,根據實際場景選擇而不同。
Prompt指令:提取下列輸入文本中的地名,并按輸出格式輸出
輸入:2008年奧會在北京舉辦,2022年世界杯在卡塔爾舉辦
輸出:[地名]輸出
輸出:[北京,卡塔爾]
在設計Prompt時我們遵循下列的原則以便獲取我們期望得到的結果
- 明確
- 具體
樣例1
Prompt
指令:對下列文本內容做歸納
文本:雖然距離2024年元旦春節還有一段時間,但是對假期出行的關注以及相關預訂已經開始悄然升溫。記者從在線旅游預訂平臺了解到,元旦假期的整體旅游預訂量同比增長4倍,其中機票訂單同比增長4倍,酒店預訂量同比增長5倍。根據在線旅游平臺數據顯示,截至目前,元旦假期旅游熱度同比上升181%。進入12月以來,元旦假期出行的旅游產品預訂量環比增長57%,玩雪和避寒成為假期出行的兩大主題。輸出:歸納:2024年元旦春節假期的旅游預訂量已經開始悄然升溫,尤其是機票和酒店預訂量同比增長4倍和5倍。在線旅游平臺數據顯示,元旦假期旅游熱度同比上升181%,12月以來元旦假期出行的旅游產品預訂量環比增長57%。假期出行的主題主要是玩雪和避寒。
樣例2
Prompt
指令:對下列文本內容做不超過10字的歸納
文本:雖然距離2024年元旦春節還有一段時間,但是對假期出行的關注以及相關預訂已經開始悄然升溫。記者從在線旅游預訂平臺了解到,元旦假期的整體旅游預訂量同比增長4倍,其中機票訂單同比增長4倍,酒店預訂量同比增長5倍。根據在線旅游平臺數據顯示,截至目前,元旦假期旅游熱度同比上升181%。進入12月以來,元旦假期出行的旅游產品預訂量環比增長57%,玩雪和避寒成為假期出行的兩大主題。輸出:元旦假期旅游預訂量同比增長4倍,酒店預訂量同比增長5倍。
常見場景包含下列7個,文本概括、信息提取、問答、對話、文本分類、代碼生成、推理。其中問答關注單次的提問與解答,對話關注與多輪的提問與回答。
常用的提示詞技術
零樣本提示(Zero-shot),我們在構造Prompt時,關于如何產出結果,不給出任何樣例說明。
Prompt
將文本分類為中性、負面或正面。
文本:我認為這次假期還可以。
情感:
少樣本提示(Zero-shot),我們在構造Prompt時,關于如何產出結果,會給出少量的示例說明,少量可以是1個(1-shot)、3個(3-shot)、5個(5-shot)等。
例如根據推斷一個機器是否可以使用
指令:判斷機器是否可用
背景:
1.組件A壞了,機器不可用
2.組件B壞了,機器可用
輸入:機器同時包含組件A組件B,但組件B用了兩天就不工作了,但組件A正常模型輸出:
在這種情況下,雖然組件B不工作了,但是機器仍然可以使用。因為組件A仍然正常工作,所以機器在當前情況下仍然可以被視為可用。
提供示例對解決某些任務很有用。當零樣本提示和少樣本提示不足時,這可能意味著模型學到的東西不足以在任務上表現良好。從這里開始,建議開始考慮微調您的模型或嘗試更高級的提示技術。其中包括下列的提示技術,具體可以看參考資料中的詳細介紹。
- Zero-Shot Prompting
- Few-Shot Prompting
- Chain-of-Thought Prompting
- Self-Consistency
- Generate Knowledge Prompting
- Tree of Thoughts (ToT)
- Automatic Reasoning and Tool-use (ART)
- Automatic Prompt Engineer
- Active-Prompt
- Directional Stimulus Prompting
- ReAct Prompting
- Multimodal CoT Prompting
- Graph Prompting
學習參考
[1]提升工程英文:https://github.com/dair-ai/Prompt-Engineering-Guide
[2]提示工程中文:https://www.promptingguide.ai/zh