Quartz 5

LLM Course 課程文件 mlabonne/llm-course

Properties1
tagssoftware, ai, llm, fine-tuning, alignment, quantization, rag, agents, security

6 min read

📌 30 秒摘要

一份把 LLM 從零到上線拆成三條學習路徑的地圖：LLM Fundamentals（數學／Python／神經網路／NLP，可跳過）、The LLM Scientist（架構、預訓練、後訓練資料、SFT、偏好對齊、評估、量化、新趨勢）、The LLM Engineer（跑模型、向量儲存、RAG、進階 RAG、Agent、推論最佳化、部署、安全）。24 個理論主題 ＋ 23 本 Colab notebook ＋ 150 多個外部參考，本身不含可執行程式碼，定位是導航中樞。

🗺 心智圖（Canvas）

LLM Course 課程文件

工具-LLM微調實作路線

🎯 什麼情境該想到我

當你已經確定「提示工程與 RAG 都不夠，這次真的要微調」（那個判斷見 工具-微調與RAG的取捨），接下來要決定用哪種微調方式、吃多少 VRAM、用哪個框架的時候。

⚙️ 怎麼用（步驟 / 公式）

  1. 先確認 SFT 能不能解你的問題：SFT 教的是「怎麼回答」——結構化輸出、遵循指令、對話格式。它只能重新喚起預訓練already有的知識，無法憑空教會模型新的語言或領域能力。要灌新知識請走 RAG。

  2. 資料優先於超參數：高品質的指令—回應配對，效果勝過在爛資料上狂調參數。先把資料集做對。

  3. 依 VRAM 選訓練方式：

    方式做法代價
    Full Fine-Tuning更新全部參數VRAM 隨模型大小暴增，彈性最大，產出全新 checkpoint
    LoRA凍結原權重，在注意力層加上低秩矩陣 W' = W + BA可訓練參數大幅減少
    QLoRA基礎模型存成 4-bit NormalFloat + LoRA adapter 用 FP16/BF16 訓練單張 48GB GPU 就能微調 65B，品質相對 LoRA 掉很少

  4. 設定 LoRA 關鍵參數：

    • r（秩）：分解的維度，常用 16–128
    • alpha（縮放）：通常設 rank 的 1–2 倍
    • target_modules：要掛 adapter 的層，常見 q_proj、v_proj、k_proj、o_proj

  5. 選框架：TRL（Hugging Face 官方，SFTTrainer 自動處理資料格式，同一套還能接 DPO/PPO）、Axolotl（設定檔驅動）、Unsloth（速度與記憶體優化）。

🧪 我實際套用的紀錄

  • 2026-08-01：從 LLM Course 收錄，尚未實際跑過。

⚠️ 注意 / 什麼時候不適用

  • SFT 只是表層適配。期待它教會模型全新領域知識會失望——那是預訓練或 RAG 的工作。
  • 微調完必須有評估集才知道有沒有變好，否則只是換個貴的方式瞎調（見 工具-AI系統評估）。
  • QLoRA 省 VRAM 但訓練較慢；資源夠的話 LoRA 品質與速度較平衡。

🔗 相關工具

工具-偏好對齊方法選擇

🎯 什麼情境該想到我

當你的模型已經做完 SFT、會照指令回答了，但回答的語氣、有用程度、安全性還不到位，想用人類偏好把它調到位的時候。

⚙️ 怎麼用（步驟 / 公式）

  1. 確認位置：偏好對齊是後訓練的第二階段，前面必須先有 SFT 模型（見 工具-LLM微調實作路線）。它原本用來調語氣、降毒性、減幻覺，現在也被用來大幅提升推理任務表現。

  2. 依算力與目標選演算法：

    方法算力成本最適合需要獎勵模型
    DPO Direct Preference Optimization低—中聊天模型、一般對齊否
    ORPO Odds Ratio Preference Optimization低單階段對齊（SFT 與對齊合併）否
    GRPO Group Relative Policy Optimization中—高推理型模型否（改用獎勵函式）
    PPO Proximal Policy Optimization高複雜推理任務是

  3. 算力有限就走直接最佳化路線（DPO / ORPO）：訓練循環快、不必額外訓一個獎勵模型。

  4. 要衝推理品質才考慮 RL 路線（GRPO / PPO）：彈性更大、天花板更高，但成本與不穩定性也高。

  5. 用拒絕採樣（Rejection Sampling）產生 on-policy 偏好資料：讓「正在訓練的那個模型」對每個 prompt 生成多個候選，再挑出好壞配對。好處是 chosen 與 rejected 都來自模型當前的分布：

    面向On-policy（拒絕採樣）Off-policy（現成資料集）
    分布吻合反映模型當前行為可能與現在的輸出對不上
    訓練穩定性較穩容易分布偏移

🧪 我實際套用的紀錄

  • 2026-08-01：從 LLM Course 收錄，尚未實際跑過。

🔗 機制層深潛

  • RLHF 全流程 —— 三階段的完整機制、KL 懲罰在防什麼、reward hacking
  • DPO —— 為什麼可以不用獎勵模型（三步推導），以及何時 online RL 仍不可取代
  • GRPO 與 RLVR —— 丟掉 value network 的理由、可驗證獎勵的適用邊界

⚠️ 注意 / 什麼時候不適用

  • 順序不能顛倒：沒做過 SFT 就直接對齊，等於在還不會聽指令的模型上調語氣。
  • PPO 需要另外訓練並維護獎勵模型，工程複雜度是 DPO 的數倍，沒有明確理由不要一開始就選它。
  • 偏好資料的品質決定上限，配對標得含糊，演算法再高級也救不回來。

🔗 相關工具

🧑‍🔬 訓練與調校

工具-模型量化格式選擇

🎯 什麼情境該想到我

當你想把一個大模型塞進手上的硬體——降精度換記憶體，卻不知道該降到幾位元、選哪種格式、品質會掉多少的時候。

⚙️ 怎麼用（步驟 / 公式）

  1. 先算記憶體帳。以 70B 模型為例：

    格式每參數位元需要記憶體目標硬體品質損失
    FP3232~280 GB多卡叢集基準
    FP1616~140 GB高階 GPU幾乎無 (~0%)
    INT88~70 GB中階 GPU低 (~1–2%)
    INT4 (GPTQ)4~35 GB消費級 GPU中等 (~3–5%)
    Q4_K_M (GGUF)~4.5~40 GB消費級硬體中等 (~3–5%)
    INT22~17 GB受限裝置高 (~10–15%)

  2. 沒有獨顯、要在 CPU 上跑 → 選 GGUF + llama.cpp。GGUF 的特點：單一檔案就含模型／tokenizer／詞表／metadata、支援 mmap 快速載入、可對不同層用不同精度。

  3. 看懂 GGUF 代號（Q<位元>_<變體>）：

    型別每權重位元用途
    Q2_K~2.5極限壓縮，品質最差
    Q4_K_M~4.5品質／體積最佳平衡，預設首選
    Q5_K_M~5.5品質優於 Q4
    Q6_K6.0接近 FP16 品質
    Q8_08.0品質損失極小

  4. 有 GPU 要跑推論服務 → 走 GPTQ / AWQ / EXL2 這類 GPU 導向格式。

  5. 理解底層兩種基本做法：absmax（對稱，scale = max(abs(tensor))/127，簡單快速但怕離群值）與 zero-point（非對稱，把完整值域映射到整數範圍，偏斜分布時精度較好）。

🧪 我實際套用的紀錄

  • 2026-08-01：從 LLM Course 收錄，尚未實際跑過。

⚠️ 注意 / 什麼時候不適用

  • 表中的品質損失是量級參考而非保證值，實際掉多少要用自己的評估集量（見 工具-AI系統評估）。
  • 別一路壓到 2-bit 省記憶體，10–15% 的品質損失通常讓模型變得不堪用。
  • 量化縮的是模型體積。它會不會讓生成變快取決於階段：decode 是記憶體頻寬瓶頸，權重讀取量減半就直接快近一倍；prefill 是算力瓶頸，weight-only 量化反而多了反量化開銷、可能更慢。推導見 量化 Quantization 與 Prefill 與 Decode。

🔗 相關工具

工具-LLM推論最佳化

🎯 什麼情境該想到我

當模型品質已經夠用，但回應太慢、長輸入就爆記憶體、每次呼叫太貴——問題出在推論階段而不是模型本身的時候。

⚙️ 怎麼用（步驟 / 公式）

  1. 先分辨瓶頸屬於哪一類：注意力運算（隨序列長度平方成長）／重複計算（每生成一個 token 就重算前面所有 token）／逐字生成（自迴歸天生序列化）。三種瓶頸各有對應解法，別亂套。
  2. 注意力吃記憶體 → Flash Attention。標準注意力要具體化整個 N×N 矩陣，記憶體 O(N²)；Flash Attention 用三招繞開：
    • Tiling：把 Q/K/V 切成小塊放進 GPU 的 SRAM 分塊算，不寫回完整矩陣
    • Recomputation：反向傳播時重算而不是存下中間結果，用算力換記憶體
    • Kernel Fusion：把多個運算融成單一 kernel，減少記憶體來回搬運
  3. 重複計算 → KV Cache。把已生成 token 的 key/value 存起來，下一步只算新 token。代價是快取本身佔記憶體，且會隨序列長度成長，需要管理策略。
  4. 逐字生成太慢 → Speculative Decoding。用一個小的 draft 模型一次猜好幾個 token，再讓大模型平行驗證：猜對就一次收好幾個，猜錯就退回。品質不變，速度變快。
  5. 這三者可以疊加，也可以再疊上量化（見 工具-模型量化格式選擇）——量化省記憶體，這裡省時間。

🧪 我實際套用的紀錄

  • 2026-08-01：從 LLM Course 收錄，尚未實際套用。

⚠️ 注意 / 什麼時候不適用

  • 沒量過就別優化。先確認慢在注意力、在快取、還是在逐字生成，否則做白工。
  • Speculative Decoding 的收益取決於 draft 模型猜中率，猜太爛時反而多花一次驗證。
  • KV Cache 是拿記憶體換速度，長上下文情境下它自己就可能變成新的記憶體瓶頸。

🔗 相關工具

⚙️ 跑得動、跑得快

工具-LLM安全防護

🎯 什麼情境該想到我

當 LLM 功能要接觸到你無法控制的輸入——外部使用者、爬來的網頁、RAG 檢索到的文件——上線前需要盤點攻擊面的時候。

⚙️ 怎麼用（步驟 / 公式）

  1. 盤點提示注入的四種形態：

    • 直接注入：使用者在輸入裡直接下指令覆蓋系統提示
    • 間接注入：惡意指令藏在被檢索或被讀入的文件裡（RAG 情境最危險，因為輸入不是使用者打的）
    • 分隔符攻擊：偽造分隔記號讓模型誤判哪裡是指令、哪裡是資料
    • 角色混淆：誘導模型切換身分或人格，繞過原本的約束

  2. 盤點外洩向量：

    向量洩漏什麼
    系統提示外洩你的 prompt 設計與內部規則
    訓練資料萃取訓練語料裡的敏感內容
    上下文外洩同一對話中其他來源的資料
    設定曝光模型參數、工具清單、後端結構

  3. 區分越獄與注入：越獄針對的是安全護欄（誘導產生有害內容），提示注入針對的是指令優先權（讓模型聽攻擊者而不是你）。防法不同，不要混為一談。

  4. 別忘了訓練期攻擊：資料下毒與後門，是在模型還沒上線前就被埋進去的。

  5. 用縱深防禦，不要押單一措施：輸入驗證與淨化 → 系統提示加固 → 輸出過濾 → 上線前對抗性測試（red teaming）→ 上線後監控異常模式。

🧪 我實際套用的紀錄

  • 2026-08-01：從 LLM Course 收錄，尚未實際套用。

⚠️ 注意 / 什麼時候不適用

  • 沒有任何單一防護能擋下所有注入，把安全押在「我的系統提示寫得很嚴」上是最常見的誤判。
  • 純內部、輸入完全可控的場景，做到基本輸出檢查即可，不必上全套。
  • 過度過濾會犧牲可用性，防護強度要對應實際暴露面。

🔗 機制層深潛

🔗 相關工具

🛡 上線安全

工具-微調與RAG的取捨

🎯 什麼情境該想到我

當提示工程與 RAG 都試過還不夠，開始考慮「要不要微調一個模型」時。

⚙️ 怎麼用（先分清問題屬於哪一類）

  • 缺「知識/事實」 → 用 RAG（換文件即可更新，別微調）。
  • 缺「行為/風格/格式」（要固定語氣、特定輸出樣式、遵循領域慣例）→ 微調較合適。
  • 順序：提示工程 → RAG → 微調。越後面越貴、越慢、越難維護。
  • 微調前提：要有足量、高品質的標註資料 + 可靠的 工具-AI系統評估 來證明它真的更好。

★ 書中的一句話原則

《AI 工程》第 7 章：

「簡單說，微調是為了形式，RAG 是為了事實。」

  • RAG 給模型外部知識，讓答案更準確、更有資訊量，可以緩解幻覺。
  • 微調幫助模型理解並遵循語法與風格。書特別提醒：有足夠的高品質資料時，微調可能減少幻覺；但資料品質差時，反而會讓幻覺變嚴重。

★ 兩種問題都有時：先做 RAG

書的建議：模型同時有資訊問題和行為問題時，先從 RAG 開始。理由：

  1. RAG 比較容易——不需要整理訓練資料，也不需要託管微調後的模型。
  2. 做 RAG 時先從簡單的關鍵字檢索（如 BM25）開始，不要一開始就上向量資料庫。
  3. RAG 的效果提升可能比微調更大：書引用 Ovadia 等人（2024）的研究，在 MMLU 的幾乎所有題目類別中，RAG 對 Mistral 7B、Llama 2-7B、Orca 2-7B 三個模型的表現都優於微調。

★ 兩者可以疊加，但不保證有效

同一份研究中，在微調過的模型上再加 RAG，只有 43% 的情況比單用 RAG 更好；另外 57% 的情況沒有改善。所以「兩個都上」不是預設答案，要用評估集驗證。

★ 什麼問題適合微調：書中的例子

問題為什麼微調有用
輸出格式錯誤，例如產生的 HTML 無法編譯模型在訓練資料中看到的 HTML 不夠，微調可以讓它接觸更多
語意解析：把自然語言轉成結構化格式強大的現成模型處理 JSON、YAML、regex 這類常見語法沒問題，但對網路上範例很少的語法（小眾工具的 DSL、複雜語法）表現較差
輸出技術上正確，但缺少團隊需要的細節與風格用符合要求的範例微調，讓輸出更貼近需求

★ 決策流程

問題是「模型不知道某些事」？
├─ 是 → RAG（先從 BM25 開始）
└─ 否，是「模型不照我要的方式回答」？
    ├─ 先試提示工程（加範例、指定格式、結構化輸出）
    ├─ 還是不行，而且有 ≥ 數百筆高品質範例 → 微調（先試 LoRA 這類參數高效方法）
    └─ 沒有足夠資料 → 回頭改善提示，或先蒐集資料

微調的具體技術選擇 → LoRA 與 QLoRA、PEFT 方法比較；微調的副作用 → 災難性遺忘。

🧪 我實際套用的紀錄

  • 2026-07-15：（待填）

⚠️ 注意

  • 微調不會「教模型新事實」得可靠（仍會幻覺）；事實類需求優先 RAG。微調也會綁死模型版本、增加維運負擔。

🔗 相關工具

工具-AI系統評估

🎯 什麼情境該想到我

當你「改了 prompt/模型/RAG，卻不知道到底變好還變壞」——這是 AI 工程最核心也最被低估的能力。

⚙️ 怎麼用

  1. 先建一組評估集：代表性的輸入 + 你要的判準（正確性、相關性、格式、無害…）。
  2. 選評估方法：
    • 有標準答案 → 用自動指標（精確比對、相似度）。
    • 開放式輸出 → LLM-as-judge（用另一個模型當評審）+ 人工抽檢校準。
  3. 每次改動都跑同一評估集，比較分數再決定要不要採用（別憑一兩個例子的感覺）。
  4. 上線後持續監控：抽樣真實流量做線上評估，抓退化。

★ 評估管線五步（原書 Ch4 的做法）

（以下頁碼為原書 PDF 的頁碼。）

步驟要做什麼書中重點
1. 每個元件都評端到端＋每個中間輸出分開評；分 per turn 與 per task履歷抽「現職雇主」分兩步（PDF→文字、文字→雇主），各自評，否則不知道壞在哪（p.393–394）。task-based 比 turn-based 重要：2 輪和 20 輪解決差很多（p.394–395）
2. ★ 寫評估準則定義「好」，也定義「不該做什麼」（超出範圍的輸入）整條管線最重要的一步（p.396–397）。「正確 ≠ 好」：回「你完全不適合」是對的但沒用（p.397）
3. 選方法＋備資料每個準則配一種評法、標註評估資料、切片見下兩節（p.400–405）
4. 評估你的評估管線好回答真的拿高分？跑兩次一樣？指標相關嗎？成本延遲多少？AI judge 的 temperature 設 0（p.407–408）
5. 迭代＋記錄準則與樣本會改，但要保持一致記下評估資料、rubric、judge 的 prompt 與取樣設定（p.408–409）

rubric 怎麼寫：準則從真實查詢的多個回答中判好壞歸納（客服範例：relevance、factual consistency、safety）；每個準則選計分制（0/1、1–5 等），為每個分數附例子與理由，拿給人試用，難照做就改到不含糊（p.397–398）。再把指標接上商業指標，訂出「低於多少就不能用」的 usefulness threshold（p.399–400）。

★ 評估集怎麼設計

一題長什麼樣（示意格式，非書中原文；欄位依書中「輸入＋判準＋切片」的要求整理）：

id: cs-0042
input: "我上個月被重複扣款，怎麼退？"        # 盡量取自真實線上資料
context: "[帳務 FAQ 第 3 節…]"               # RAG 類才需要
criteria:                                     # 每題標要評哪些準則
  relevance: {scale: 1-5}
  factual_consistency: {scale: "0/1", reference: "退款需 7 個工作天…"}
  safety: {scale: "0/1"}
slices: [付費用戶, mobile, 帳務]               # 方便事後切片看分數
  • 資料來源：盡量用真實線上資料；沒有自然標籤就人工或 AI 標（p.402–403）。
  • ★ 切片（slicing）：分子集各自看分數，抓偏誤、除錯（長度？主題？格式？），並避免 Simpson’s paradox——模型 A 兩組都贏（93% vs 87%、73% vs 69%），合計卻輸（78% vs 83%）（p.403–404）。
  • 要有多組評估集（p.404–405）：
    • 一組貼近線上真實分佈，估整體表現
    • 依層級（付費/免費）、流量來源（mobile/web）切的組
    • 系統常錯的題、使用者常犯錯的題（線上常見錯字，評估集就要有錯字）
    • out-of-scope 組：不該回應的輸入，確認系統有正確拒答
    • 原則一句話：「你在乎什麼，就為它放一組測試集」

★ 要多大：先夠可靠、又不貴到跑不動（p.405）。

  • bootstrap 檢查：從 100 題中放回抽樣抽 100 題、跑分，重複多次；若一次 90%、另一次 70%，代表評估集太小，要加題（p.405）。
  • 比較兩個版本要多少題（OpenAI 粗估，95% 信心）（p.406）：
想偵測的分數差約需樣本數
30%~10
10%~100
3%~1,000
1%~10,000

規則：分數差每縮小 3 倍，樣本要多 10 倍。參考值：lm-evaluation-harness 的 benchmark 中位數 1,000 題、平均 2,159 題；Inverse Scaling 主辦方認為 300 題是絕對下限，偏好 ≥1,000，合成資料尤其如此（p.406–407）。

★ 方法怎麼配、AI as a judge 怎麼校準

  • 不同準則用不同評法：毒性用小型專用分類器、相關性用語意相似度、對整份 context 的 factual consistency 用 AI judge（p.401）。
  • 便宜＋貴混搭：便宜分類器覆蓋 100% 流量給低品質訊號，昂貴 AI judge 只評 1% 給高品質訊號（p.401）。

AI judge 的校準重點：

  1. judge = 模型＋prompt＋取樣參數，任一改變就是另一個 judge；看不到 judge 的模型與 prompt 就別信它的分數（p.281、287）。
  2. prompt 寫清楚三件事：任務、準則（越細越好）、計分制；分類優於數字分數，離散優於連續，常見 1–5，範圍越寬越差；每個分數附範例與理由（p.277–278）。
  3. 一致性：Zheng et al. (2023) 在 prompt 加評估範例，GPT-4 一致性從 65% 升到 77.5%，但成本變 4 倍；而且一致不代表準確，可能穩定地錯（p.282）。
  4. 跟人比：參考基準是 MT-Bench 上 GPT-4 與人類一致率 85%，高於人與人之間的 81%（p.272）。書中要求問「好回答真的拿高分嗎」並用人工評估補強 AI judge（p.290、407）。
    • 經驗推論：落地做法是取一批人工標註過的樣本，讓 judge 評同一批，算一致率，並與「兩位標註者彼此的一致率」對照；judge 明顯低於人際一致率就先改 rubric/prompt 再上線。
  5. 已知偏誤：self-bias（GPT-4 自評勝率約 +10%）、first-position bias（換順序重跑緩解）、verbosity bias（偏好長而有錯的回答）（p.289–290），細節見 LLM-as-Judge。
  6. judge 會漂移：上月 90%、本月 92%，若 judge 的 prompt 被改過，就不能歸功於應用（p.286–287）。

⚠️ 常見壞法

壞法症狀書中對策
評估集不具代表性公開 benchmark 高分，自己場景不好用公開 benchmark 只用來篩掉爛模型（p.388、392）；評估集取自線上資料、有一組貼近線上分佈（p.402–404）
資料污染 contamination訓練時看過評估題，分數虛高（p.388）n-gram 重疊（連續 13 個 token 出現在訓練資料即 dirty；準但貴）或 perplexity 異常低（便宜較不準）；回報整體＋clean 子集分數（p.390–391）
只看總分合計贏、各組都輸（Simpson’s paradox）切片看分數（p.403–404）
評估管線一直變分數漲跌無法歸因保持一致性＋實驗追蹤，記下所有可變因素（p.408–409）
對評估集過度調校經驗推論：反覆對同一組題調 prompt，分數漲但線上沒變好經驗推論（書中未直講，由 p.392 私有 hold-out、p.404 多組評估集延伸）：留一組調校時不看的 hold-out，上線前才跑；定期補新線上資料

🧪 我實際套用的紀錄

  • 2026-07-15：（待填）

⚠️ 注意

  • LLM-as-judge 本身也有偏誤，要用人工樣本校準它；沒有評估的迭代＝盲調。

🔗 機制層深潛

🔗 相關工具

🔗 銜接《AI工程》

LLM Course 課程文件

mlabonne/llm-course

Link to original

🎯 為什麼存這套文件 / 未來想拿它做什麼

  • 手上已有《AI工程》的應用層工具卡，但訓練與部署這一段是空白——這份文件正好補上 SFT／對齊／量化／推論最佳化。
  • 要決定「微調還是 RAG」之後，如果選了微調，需要一條具體可走的實作路線與框架選擇。
  • 想在自己機器上跑大模型時，用它的量化對照表估算硬體需求。
  • 上線前的安全盤點：它的攻擊面分類比我原本零散的印象完整。

🧰 這份文件給我的工具（連到 tools/）

🗂 文件涵蓋範圍（已收錄 32 頁，皆可點入原文）

總覽

🧩 LLM Fundamentals（選修，有底子可跳過）

🧑‍🔬 The LLM Scientist（核心 8 題）

👷 The LLM Engineer（核心 8 題）

🧰 Practical Resources

✨ 關鍵重點

  • SFT 只是「重新啟用」預訓練裡已有的知識，教不了模型全新的領域——想灌新知識該走預訓練或 RAG。這句話直接改寫了我對微調的期待值。
  • 資料品質勝過超參數調整：微調成敗的主要變數在資料集，不在 learning rate。
  • 後訓練是有順序的兩段：先 SFT 讓模型會聽指令，再做偏好對齊調語氣與品質；順序顛倒沒有意義。
  • 偏好對齊的四個選項按成本排列：ORPO（低）→ DPO（低—中）→ GRPO（中—高）→ PPO（高，需獎勵模型）。算力有限就走 DPO／ORPO。
  • 量化的品質損失有量級可循：INT8 約 1–2%、INT4 約 3–5%、INT2 就掉到 10–15%——2-bit 通常已不堪用。
  • 推論慢有三種不同的病因（注意力平方成長／重複計算／逐字生成），分別對應 Flash Attention／KV Cache／Speculative Decoding，不能亂套。
  • 提示注入最危險的形態是「間接注入」——惡意指令藏在 RAG 檢索到的文件裡，使用者根本沒打那句話。
  • 這個倉庫刻意不放可執行程式碼，價值在於把散落的外部資源組織成有相依關係的學習路徑。

💬 原文摘錄

  • 「Fine-tuning reactivates knowledge already present in the base model rather than teaching entirely new domains.」
  • 「Data quality matters more than hyperparameter tuning for successful fine-tuning.」
  • 「QLoRA reduces memory usage by up to 33% compared to LoRA, making it particularly useful when GPU memory is constrained.」
  • 「Q4_K_M … offers the best quality/size balance for most use cases.」
  • 「Indirect injection: malicious instructions embedded in retrieved documents.」
  • 「Standard attention mechanisms require O(N²) memory relative to sequence length.」

🔗 相關

  • 工具-微調與RAG的取捨（《AI工程》）——這份文件接在那個決策的「選了微調」分支之後，補上具體怎麼做
  • 工具-AI系統評估（《AI工程》）——微調／對齊／量化每一步的成效都得靠評估集驗收，是貫穿全程的驗收關卡
  • 工具-RAG檢索增強生成（《AI工程》）——文件的 Engineer 路徑同樣以 RAG 為核心，兩邊可互相對照補完
  • MCP 官方文件——同屬 LLM 應用層的外部文件，MCP 管「怎麼安全接工具」，這份管「模型本身怎麼練與怎麼跑」

Graph View

Backlinks