工具-上下文學習的示例怎麼挑怎麼排

🎯 什麼情境該想到我

當你「要在 prompt 裡放範例讓模型照著做，卻不知道該挑哪幾個、放幾個、怎麼排，換個範例結果就不一樣」的時候。

上下文學習（ICL）：在 prompt 裡放任務說明和幾個示範，模型從上下文學到任務的規則，不需要額外訓練。

兩個原則：相似性（跟眼前問題越像越好）、多樣性（涵蓋不同面向，讓模型從多角度理解任務）。書整理三種做法：

做法	代表	怎麼挑	缺點
直接檢索	KATE	用編碼器把問題和候選示範（拿掉標籤）轉成向量，取 cosine 最高的前 K 個	不管多樣性，示範容易同質化
聚類檢索	Self-Prompting	先用 K-Means 把候選分成 K 群，每群挑一個跟問題最像的	有些群跟問題根本不像，相似性不夠
迭代檢索	RetICL	每挑一個，就依「問題＋已挑的示範」更新狀態再挑下一個	計算比較複雜

書的判斷：前兩種常在相似性與多樣性之間顧此失彼；迭代檢索兼顧兩者，複雜任務上較好。
實務起點（我的整理）：先用直接檢索，發現示範都長得一樣、模型只會照抄某一類時，再換聚類或迭代。

格式：簡單分類只要「輸入 → 輸出」；算術、程式這類推理任務，示範要寫出中間推理步驟（CoT 形式），只給答案不夠（見工具-思維鏈的變體怎麼選）。
標籤要對：標錯的示範會讓模型學到錯的對應。★ 越大的模型對錯誤標籤越敏感，小模型反而不太受影響。
數量：多放通常會變好，但邊際效益遞減；生成任務比分類任務更吃示範數量。
順序：不同順序表現會顯著不同，而且最佳順序依模型而定：對 A 模型有效的順序，換到 B 模型不一定有效，也跟資料集特性有關。所以換模型就要重新驗證順序。
任務說明：寫清楚的任務說明本身就能提升 ICL。

書給的解釋（Xie et al. 2022，仍是開放研究問題）：把 ICL 看成隱式貝葉斯推理。模型在預訓練時學到很多潛在「概念」，示範的作用是把模型錨定到其中相關的概念上。
推論：預訓練裡沒什麼相關資料的垂直領域，光靠 prompt 做不到領域適配（書在第 4 章開頭也這樣說），這時要考慮微調或 RAG。
模型要夠大：ICL 是規模夠大才出現的能力，書說通常要億級參數以上，舉出最小有 ICL 能力的是 Qwen2-0.5B。
預訓練資料跨領域、任務多樣、含罕見類別與「突發性」分佈時，ICL 比較穩。即使單一領域語料跟目標任務高度相關，也不保證 ICL 最好。