Prompt Engineering 與 思路鏈：提升 LLM 推理能力的新技術！
提示工程（Prompt Engineering）是什麼？
提示工程（Prompt Engineering）是人工智慧中的一個概念，特別是自然語言處理（NLP）。在提示工程中，任務的描述會被嵌入到輸入中。這意味著不是給予模型一定的參數，而是以問題的形式直接帶入指令。
提示工程的典型工作方式是將一個或多個任務轉換為基於提示的數據集，並通過所謂的「基於提示的學習（Prompt-Based Learning）」來訓練語言模型。
提示工程可以從一個大型的「凍結」預訓練語言模型開始工作，其中只學習了提示的呈現方法，即所謂的「前綴調整（Prefix-Tuning）」或「提示調整（Prompt Tuning）」。
Prompt Engineering 的發展
2021年，資料科學家嘗試使用多個 NLP（註3）數據集，去執行多任務提示工程，結果在新任務上顯示出良好的性能。在小樣本學習的例子中，包含思維鏈的提示在語言模型中顯示出更好的推理能力。
科學家更發現零樣本學習中，在提示中預留鼓勵思考鏈的語句（如：「讓我們一步一步地思考」）可能會提高語言模型在多步驟推理問題中的表現。
提示連結（Prompt Chaining）
提示連結（Prompt Chaining）是一種在對話式 AI 中文本提示使用的一種技術，用於創建更具動態性和上下文感知的聊天機器人。
它涉及使用一個提示的輸出作為下一個提示或對話的一部分的輸入。通過將提示連結在一起，您的對話助手可以更輕鬆地適應您在沒有任何預先設計的情況，且同時保持較良好的對話。
思路鏈（Chain-of-Thought）
思路鏈提示（Chain-of-Thought）(CoT) 是文本提示（Textual Prompting）的一種技術，該技術通過提示 LLM（註2）生成一系列中間步驟來提高 LLM 的推理能力，這些中間步驟會導致多步驟問題的最終答案。該技術由 Google 研究人員於 2022 年 I/O 大會首次提出。
思維鏈的邏輯
思維鏈（Chain-of-Thought）的核心目的是提升模型解決複雜推理問題的能力。這包括但不限於符號推理、數學問題、決策規劃等等。思維鏈讓模型在得到結果前，模擬人類思考推理的過程生成中間的推理步驟。
這種方法特別適用於以下場景：
有挑戰的任務
解決任務本身需要多步推理
模型規模對任務效果的提升相對有限
少量樣本提示（Few-shot Prompting）
Few-shot Prompting 的核心是透過引導模型生成中間推理過程，並提高模型解決複雜問題的能力。
通過在 Few-shot 樣本中加入推理過程，可以引導模型在解碼過程中，先給出推理過程，再得到最終答案。
類似中間推理過程的加入，可以顯著提高模型在常識推理，數學問題，符號推理等複雜推理問題上的模型表現。
零樣本提示（Zero-shot Prompting）
除了使用 Few-shot-COT 樣本可以讓模型給出推理過程，單純用指令也可以讓模型給出思維鏈，且能進一步提升模型複雜問題推理能力。在論文中效果最好的激活思維鏈的指令居然是 “Let’s think step by step” ？
使用這方法需要以下 2 步驟
第一步：用 “Let’s think step by step” 讓模型給出推理過程。
第二步：把推理過程和問題一起輸入模型，讓模型給出結果。
但實際使用時你會發現，基本上第一步解碼模型就會在推理結束時給出結果，而把帶結果的輸入再輸入模型，極大概率第二步模型會給出相同的答案，所以其實 Zero-Shot Prompting 也可以直接一步到位。
參考資訊：本文部分資訊由 AI 整理為參考所撰寫之報導。
補充資訊：
（註1）Prompt：用來引導 AI 模型理解用戶需求並給予合適回應的初始輸入。
（註2）LLM（Large Language Model）：指的是大型語言模型，這類模型使用深度學習技術進行自然語言處理（NLP）任務。目標是理解和生成人類語言，捕獲語言中的統計規律。
（註3）NLP（Natural Language Processing）：一門將自然語言（如中文、英文等）轉換為計算機可理解的形式的技術，通過對語言進行分析、理解、生成等一系列的處理，讓計算機能夠更好地與人進行溝通。
70 種 ChatGPT 外掛（Plugins）和 網頁瀏覽（Web browsing）全新功能，1 分鐘快速暸解！
GPT-4 與 Pinecone 共同孕育的 AI 小寶貝： BabyAGI ，陪伴您成長的得力助手！｜Accucrazy 肖準行銷
Jarvis 的現實化身：AutoGPT，市場調查與競爭分析的全方位數位諸葛亮！｜Accucrazy 肖準行銷
從 AI 到 AIGC ：一場革命性的科技進化論，正活生生在我們眼前上演！｜Accucrazy 肖準行銷
RLHF ：從人類的反饋中學習，引領大型語言模型走向新境界！｜Accucrazy 肖準行銷
開啟記憶之鑰：1 分鐘教你掌握 RNN 與 LSTM 數據預測的秘密！｜Accucrazy 肖準行銷
想瞭解更多科技行銷相關消息嗎？快追蹤我們吧！
Hello , 我是Jemmy , 一位對未知領域的好奇寶寶。
面對每天接踵而來的新科技，我們能做的除了【恐懼】，更需要去【暸解】。
接下來每個月將透過我個人的角度，分析科技及行銷圈大小事，
帶著大家更深入的方式探討未來科技發展。
