AI 工程面試準備

型錄入口：AI 工程的核心概念逐項展開，詳解在 reference/AI工程面試題/。
來源是 AI 工程面試題庫（公司別）（35 家公司 602 題）—— 但原始來源只有題目沒有答案，
所以這裡的每一頁都是自己講完整個機制：有公式、有推導、有失效模式，不點任何外連就該讀得懂。

全 56 頁，涵蓋 Common 區 119 題的全部十個主題。

和 AI 工程 的分工：

• moc/AI工程 的工具卡＝決策層（「該不該用、選哪個」）
• 這裡的 reference＝機制層（「它到底怎麼運作、公式長怎樣、什麼時候壞掉」）
  兩層互相連結，不重抄。

📖 型錄

🧠 A. LLM 內部與架構

從 token 進去到機率出來，模型裡發生了什麼。

• 前向傳播全流程 — ★ 先讀這篇。逐個張量追完一次 forward，順便驗算 Llama-2-7B 的 6.74B 參數是怎麼湊出來的。其他頁都是它的展開。
• 注意力機制 — $\text{softmax}(Q{K}^{\top }/\sqrt{d_k})V$。為什麼是 $\sqrt{d_k}$（推導）、causal mask 怎麼寫、MHA → MQA → GQA → MLA 各省了什麼。
• KV Cache — 記憶體公式的完整推導與 70B 的實際算帳。為什麼它是服務成本的變動成本。
• FlashAttention — 「不減 FLOPs 為什麼更快」的標準答案：算術強度、online softmax 的數學、tiling 與重算。
• 分詞與 BPE — 訓練與編碼的完整實作。中文為什麼特別燒 token、模型為什麼不會數字母、prompt 結尾別留空白。
• 位置編碼與 RoPE — 旋轉為什麼會變成相對位置（推導）。Position Interpolation / NTK / YaRN 三種撐長上下文的手法，以及 lost-in-the-middle 的七個對策。
• 混合專家 MoE — 「8x7B 為什麼不是 56B」、負載平衡的四種解法，以及 MoE 省計算但不省顯存這個關鍵代價。
• 正規化與激活函式 — Pre-LN 為什麼取代 Post-LN、RMSNorm 拿掉了什麼、SwiGLU 為什麼有三個矩陣、intermediate_size: 11008 這個數字哪來的。
• 取樣與解碼策略 — greedy / beam / top-k / top-p / min-p 各自的失效模式，含可直接用的實作與兩個經典 bug。以及 temperature=0 為什麼不保證可重現。
• Scaling Laws 與 Chinchilla — Kaplan 與 Chinchilla 差在哪、為什麼今天大家又不照 Chinchilla 做，以及 scaling law 怎麼影響安全評估。

⚡ B. 推論、服務與 GPU 效能

這一區是 AI 工程最「工程」的部分，也是成本的全部來源。

• Prefill 與 Decode — ★ B 區的地基。為什麼一個 compute-bound 一個 memory-bound（算術強度推導）、H100 的 roofline 實算、TTFT/TPOT/ITL/throughput 怎麼取捨。
• 連續批次 Continuous Batching — 靜態批次在 LLM 上為什麼特別糟（44% 利用率的算式）、iteration-level 排程怎麼做。
• PagedAttention 與 vLLM — 把作業系統的分頁搬到 GPU。浪費從 ~70% 降到 <4% 的機制，以及 COW 共享與前綴快取的由來。
• 前綴快取 Prompt Caching — 省錢又省延遲且無損。什麼會讓快取失效（Anthropic 官方失效表，2026-09-20 查證）與那個「時間戳放錯位置」的經典坑。
• 推測解碼 Speculative Decoding — 為什麼品質數學上完全不變（rejection sampling 的證明），以及高 batch 下為什麼反而更慢。
• 量化 Quantization — FP16/BF16/FP8/INT8/INT4/FP4 逐級會壞掉什麼。為什麼訓練用 BF16、離群值為什麼讓激活難量化、weight-only 為什麼只加速 decode。
• 平行化策略 — DP / TP / PP / SP / EP 五種切法的通訊量對照、TP 為什麼不能跨節點、pipeline 氣泡怎麼算、怎麼組合成 3D。
• GPU 記憶體估算 — ★ 含速查表。服務 70B 要幾張卡、全量微調 7B 的 16 bytes/param、LoRA 省了哪一塊（不省啟動值）。
• 服務棧選型與降本 — vLLM/SGLang/TensorRT-LLM 怎麼選、降本十倍的槓桿排序、chunked prefill 與 PD 分離、p99 突然變兩倍的七步診斷手冊。

🔎 C. RAG 與檢索

一條管線，五個環節。每個環節都可能是你的瓶頸，所以必須分層評估。

• 切塊與文件解析 — ★ 最早也最常被草率帶過的一步。技術文件的正解（breadcrumb 前綴）、小 chunk 檢索大 chunk 生成、多欄 PDF 與表格怎麼處理，含不切開語意單位的 chunker 實作。
• 稀疏與密集檢索 — BM25 公式的三個組件、dense 為什麼搜不到 ERR_4012、為什麼用 RRF 而不是加權和（含實作）。
• Reranker 重排序 — bi-encoder 與 cross-encoder 的本質差別、成本到底多少、以及「什麼時候該用」的量化判準（recall@50 vs recall@5）。
• 向量索引 ANN — Flat / IVF-PQ / HNSW 的對照與記憶體算式、recall 換延遲的報酬遞減曲線、以及 filtered search 讓 HNSW 圖斷連的陷阱。
• 查詢改寫與 HyDE — 查詢與文件的不對稱、HyDE 為什麼用「假文件」反而有效、Agentic RAG 什麼時候值得付複雜度。
• 權限感知檢索與引用歸因 — must never see 是安全需求：ACL 架構、撤銷延遲、六條洩漏管道（含向量反演與快取洩漏）；以及「有引用 ≠ 被支持」。
• RAG 評估與營運 — 分層評估與診斷矩陣、沒有標註時怎麼建評估集、語意漂移的偵測訊號、增量索引的 chunk ID 設計。

🤖 D. Agent 與工具使用

• ReAct 與 Agent Loop — ★ D 區地基。ReAct 比 CoT 多了什麼（接地）、三類錯誤三種處理、三層預算、迴圈偵測，含可直接參考的 loop 實作。
• Function Calling 與結構化輸出 — 三個常被混用的概念分清楚、約束解碼保證語法不保證語意、MCP 不是取代 function calling、以及「會變的永遠查」。
• 工具集設計 — 「幾個太多」問錯了問題（是可區分性不是數量）、schema 八條規則、回傳設計、coding agent 的最小工具集、模型 vs harness。
• Agent 記憶設計 — 四種記憶四種設計、語意記憶該用結構化而非向量、矛盾怎麼處理、上下文壓縮的四種策略、記憶污染。
• 多 Agent 編排與 Agent Drift — 多 agent 什麼時候垮（Cognition vs Anthropic 的相反案例與判準）、agent drift 的七步診斷。
• 可逆性、審計與人類把關 — 動作 L0–L3 分級、把不可逆降級成可逆的七種技術、審計六問、核准疲勞是最大的失敗模式。

🎚 E. 微調、後訓練與對齊

• RLHF 全流程 — 三階段機制、為什麼用比較不用打分、KL 懲罰的三個作用、PPO 的四個模型、reward hacking 與 over-optimization 曲線。
• DPO — 三步推導（閉式解 → 反解獎勵 → $Z(x)$ 抵銷）、為什麼取代 PPO、何時 online RL 仍不可取代、以及 DPO 的已知失效模式。
• GRPO 與 RLVR — 用同組樣本當 baseline、丟掉 value network 為什麼重要、RLVR 為什麼不被 Goodhart 咬——以及它仍然會作弊的四種方式。
• LoRA 與 QLoRA — 分解的數學與三個必考細節（B 初始化為 0、$\alpha /r$、可合併）、rank 怎麼選、NF4 / 雙重量化 / 分頁優化器、推論端的兩難。
• PEFT 方法比較 — 五種方法的介入點與對照表、adapter 為什麼輸給 LoRA、裝置端與新語言兩個場景的正解、PEFT 到底省了哪一塊。
• 災難性遺忘 — 表現、偵測（保留能力評估集 + 兩條曲線的交叉點）、七種緩解手段的實用度排序、微調會削弱安全對齊。
• 知識蒸餾 — 暗知識與 $T^2$、LLM 時代的三種蒸餾、怎麼建一個強的小模型的七步、以及授權風險。

📏 F. 評估與可觀測性

AI 工程最被低估的核心技能。 Scale AI、Sierra、Waymo、Abridge 都有專門的評估輪。

• LLM-as-Judge — 六種已知偏誤與對策（位置、冗長、自我偏好、格式、權威、分數壓縮）、pairwise 為什麼優於 pointwise、以及怎麼驗證裁判本身。
• 沒有標註時怎麼建評估集 — ★ 很多評估根本不需要 ground truth：行為測試（不變性／方向性／對照）、六層成本階梯、專家很貴時把專家放在對的位置。
• 幻覺偵測 — 四種幻覺的分類、偵測手段階梯、groundedness 怎麼算、以及分層歸因（檢索沒給對 vs 給了還講錯）。
• 上線閘門與線上評估 — 五層 gate、通過條件的三類指標、被雜訊騙與子群崩壞兩個陷阱、prompt 版控與回退、線上 log/抽樣/AB 的完整設計。
• Benchmark 污染與分數失真 — 污染的四條途徑與不需要訓練語料就能做的兩種偵測；「分數漲、體感掉」的十二個原因。
• LLM 可觀測性 — 五個結構性差異、span 該記哪些屬性、成本歸因、告警該設在哪、可重放性。
• Agent 評估 — 錯誤的複利衰減、★ pass@k vs pass^k、可重置的評估環境、失敗分類診斷。

🛡 G. 安全與負責任 AI

• 提示注入與分層防禦 — ★ 為什麼沒有 prepared statement 的等價物、直接 vs 間接注入、越獄／注入／對抗性提示的區分、五層防禦，含兩個實戰攻擊鏈（惡意網頁外洩、email agent）。
• OWASP LLM Top 10 — 2025 版清單（已查證），以及★ 哪幾條真的會咬人；專節談最被低估的 Improper Output Handling。
• Guardrails 護欄設計 — 輸入 vs 輸出的分工與代價、串流怎麼過濾、分層實作、誤判率的產品後果。
• Constitutional AI 與 RLAIF — CAI 兩階段、買到什麼 / 沒解決什麼、RLHF→RLAIF→CAI→RLVR 的回饋光譜；機制可解釋性（疊加、SAE、因果介入）。
• PII、紅隊與公平性稽核 — PII 的六個出沒位置（日誌與快取最常漏）、紅隊制度的七要素、公平性指標數學上無法同時滿足、以及用 tokenizer 解釋群體差異。

🎙 H. 多模態與語音

• 視覺語言模型 — projector / cross-attention / native 的對照、一張圖多少 token、影片多出來的七個問題、多模態檢索的兩條路線。
• 即時語音 Agent — 逐段延遲預算表（最大的是 endpointing 與 TTFT）、★ 管線重疊才是真正的解法、barge-in 的四件事（含狀態調和）、TTS 分塊與 jitter buffer。
• 級聯與原生語音 — 兩面論證與判準、WER 之外該看什麼、TTS 無標準答案時的評估、語碼轉換與口音、diarisation 的角色歸屬 ≠ 聚類。

🏗 I. 系統設計與 Coding

• AI 系統設計框架 — AI 系統設計比傳統多的四件事、七步骨架、一個可複用的容量與成本估算、以及 11 道設計題各自的骨架與關鍵取捨。
• AI 工程 Coding 題型 — 12 題分兩類；B 類（限流、重試、串流解析、併發）才是日常真的會寫的，含 LRU+TTL、分散式 token bucket、非同步批次處理器、SSE 解析器的完整實作。

🧭 怎麼用這份型錄

• 想搞懂一個名詞 → 直接搜。每頁都自足，不用先讀前面。
• 想建立全貌 → 各區有入口：前向傳播全流程（A）、Prefill 與 Decode（B）、切塊與文件解析（C）、ReAct 與 Agent Loop（D）、RLHF 全流程（E）、沒有標註時怎麼建評估集（F）、提示注入與分層防禦（G）、AI 系統設計框架（I）。
• 要做容量規劃 / 估成本 → GPU 記憶體估算 的速查表 + 服務棧選型與降本 的槓桿排序。
• 線上出事 → 服務棧選型與降本 的 p99 七步診斷；agent 偏題 → 多 Agent 編排與 Agent Drift 的 drift 診斷。
• RAG 效果不好 → RAG 評估與營運 的診斷矩陣先定位是檢索還是生成。
• 要做評估 → 沒有標註時怎麼建評估集 起步，上線閘門與線上評估 落地成 CI。
• 要做安全盤點 → OWASP LLM Top 10 當清單，提示注入與分層防禦 當深潛。
• 真的要面試 → 先掃 AI 工程面試題庫（公司別） 的公司考點地圖，確認你面的是哪一種「AI 工程師」，再回來挑對應區；AI 系統設計框架 與 AI 工程 Coding 題型 是兩輪的總覽。

⚠️ 這份型錄的可信度邊界

• 來源只給題目，答案是我寫的。可推導的都附了推導（參數量、記憶體公式、roofline、氣泡率），請自己驗算。
• 論文結論標了出處，廠商數字標了「論文/廠商自報、特定設定」。
• 版本敏感的東西會過期：框架效能排名、硬體規格、API 價格與 TTL。各頁都標了查證日期。
• 硬體數字以 H100 SXM 為基準（bf16 ~989 TFLOP/s、HBM3 ~3.35 TB/s），你的卡要自己查。

🔗 相關

• AI 工程 — 決策層工具卡
• 軟體工程 — 通用工程紀律
• AI 工程面試題庫（公司別） — 來源與 35 家公司考點地圖