主題索引（MOC）：用基礎模型（LLM）打造可靠 AI 應用的工具。來源：AI工程（Chip Huyen）＋LLM Course 課程文件（訓練與部署那一段）。
🎛 調整模型行為（由便宜到昂貴）
- 讓輸出更準更穩 → 工具-提示工程
- few-shot 範例不知道挑哪幾個、怎麼排 → 工具-上下文學習的示例怎麼挑怎麼排
- 推理題要不要叫模型一步一步想、要不要多跑投票 → 工具-思維鏈的變體怎麼選
- 同一段指示每次都在重打，想固定下來 → 工具-把重複的prompt包成skill
- 補上私有/最新知識、減少幻覺 → 工具-RAG檢索增強生成
- 提示與 RAG 都不夠、要固定風格/行為 → 工具-微調與RAG的取捨
- 決定微調了，要選 Full／LoRA／QLoRA → 工具-LLM微調實作路線
- SFT 之後調語氣、降毒性、衝推理 → 工具-偏好對齊方法選擇
- 模型只答錯某一條事實，不想重訓或微調 → 工具-不重訓就改掉模型的一條錯誤知識
- 分類該用 BERT 類還是生成式大模型 → 工具-選Encoder-only還是Decoder-only模型
🏗 產出可驗證的東西
- 要模型產結構化產物又不能靠肉眼檢查 → 工具-讓LLM產出可驗證的產物
📏 品質（最核心、最被低估）
- 知道系統到底好不好、有沒有變好 → 工具-AI系統評估
- 證明「這版改動真的有加分」，不是模型本來就會 → 工具-AI改動的AB對照評測
🚀 跑得動、跑得快、跑得安全
- 記憶體塞不下、要選量化格式 → 工具-模型量化格式選擇
- 回應太慢、長上下文爆記憶體 → 工具-LLM推論最佳化
- 要開放給外部輸入、盤點攻擊面 → 工具-LLM安全防護
🤖 進階
- 讓模型自主用工具完成多步任務 → 工具-AI-Agent設計
🏗 把 agent 上線：平台、身分與治理
- 要自己架還是用雲端代管、會被綁多深 → 工具-agent平台自建還是用代管
- prompt 裡的規則模型不一定照做，要硬擋 → 工具-把業務規則從prompt搬到授權層
- agent 要代表使用者呼叫下游或第三方 → 工具-agent代使用者存取的身分設計
- 前面加了閘道，要確保沒人繞過 → 工具-讓Gateway當agent唯一入口
- CI 怎麼擋 agent 退化 → 工具-agent的測試金字塔
- 平台實例（AWS）：AgentCore 與 Nova Act 研究（14 頁型錄：Runtime、Gateway、Identity、Policy、Evaluations、Nova Act…）
🎭 長對話／角色型產品（context 怎麼放、放多少）
- 設定或知識太多，每輪只想載入相關的那幾條 → 工具-關鍵字觸發的設定注入
- 系統提示、設定、聊天記錄要一起塞進固定 context → 工具-長對話的Token預算分配
- 規則聊久了模型就不理 → 工具-用深度注入讓指令不被遺忘
- 對話一長就忘了前面的事 → 工具-對話型AI的長期記憶分層
- 機制層：SillyTavern 角色扮演系統技術文件（10 頁型錄：World Info、Token 預算、深度注入、長期記憶、正則引擎…）
📖 機制層深潛
上面的工具卡是決策層（該不該用、選哪個）。想知道它到底怎麼運作、公式長怎樣、什麼時候會壞：
→ AI 工程面試準備（型錄，19+ 頁自足的機制說明）
🔗 跨領域
- 建 AI 應用仍受用：工具-可靠可擴展可維護、工具-管理複雜度、工具-服務容錯設計（給 agent 加護欄）
- 讓 agent 安全連上外部資料/工具的標準協定 → 見主題 MCP
📚 來源
AI工程、LLM Course 課程文件、SillyTavern 角色扮演系統技術文件、AgentCore 與 Nova Act 研究、大模型基礎