主題索引(MOC):用基礎模型(LLM)打造可靠 AI 應用的工具。來源:AI工程(Chip Huyen)+LLM Course 課程文件(訓練與部署那一段)。
🎛 調整模型行為(由便宜到昂貴)
- 讓輸出更準更穩 → 工具-提示工程
- 補上私有/最新知識、減少幻覺 → 工具-RAG檢索增強生成
- 提示與 RAG 都不夠、要固定風格/行為 → 工具-微調與RAG的取捨
- 決定微調了,要選 Full/LoRA/QLoRA → 工具-LLM微調實作路線
- SFT 之後調語氣、降毒性、衝推理 → 工具-偏好對齊方法選擇
📏 品質(最核心、最被低估)
- 知道系統到底好不好、有沒有變好 → 工具-AI系統評估
🚀 跑得動、跑得快、跑得安全
- 記憶體塞不下、要選量化格式 → 工具-模型量化格式選擇
- 回應太慢、長上下文爆記憶體 → 工具-LLM推論最佳化
- 要開放給外部輸入、盤點攻擊面 → 工具-LLM安全防護
🤖 進階
- 讓模型自主用工具完成多步任務 → 工具-AI-Agent設計
🔗 跨領域
- 建 AI 應用仍受用:工具-可靠可擴展可維護、工具-管理複雜度、工具-服務容錯設計(給 agent 加護欄)
- 讓 agent 安全連上外部資料/工具的標準協定 → 見主題 MCP