對應原題（Common ‧ Safety, Security and Responsible AI；Anthropic）
- What is Constitutional AI and how does it differ from RLHF? What is RLAIF? — Asked at: Anthropic
- Explain Constitutional AI. What does it buy you over vanilla RLHF, and what doesn’t it solve? — Asked at: Anthropic
- What is mechanistic interpretability and why do labs invest in it?
論文：Bai et al., Constitutional AI: Harmlessness from AI Feedback (Anthropic, 2022)。
🎯 什麼情境該想到我
當你「想理解安全對齊除了『請很多人標註』之外還有什麼做法」的時候。
★ 這是 Anthropic 的招牌題，期待的不是熱情而是批判性——「什麼沒解決」的部分和「是什麼」一樣重要。
⚙️ Part 1：Constitutional AI
兩階段流程
【階段一：監督學習 SL-CAI】
模型對有害提示產生回應
↓
★ 依據「憲法」中的某條原則，模型自我批評
「請指出上述回應中有害、不道德或違法之處」
↓
模型自我修正，產生改善後的回應
↓
用（提示 → 修正後回應）做 SFT
【階段二：RL from AI Feedback（RL-CAI）】
模型對同一提示產生兩個回應
↓
★ 讓 AI 依據憲法原則判斷「哪個較無害」
↓
得到偏好配對 → 訓練偏好模型 → RL
（後半段和 [[RLHF 全流程]] 完全一樣）
關鍵動作只有一個：把「人類標註偏好」換成「AI 依明文原則標註偏好」。
★ 與 RLHF 的差別
| RLHF | Constitutional AI | |
|---|---|---|
| 無害性的偏好從哪來 | 人類標註者 | ★ AI，依據明文原則 |
| 規則在哪 | 隱含在標註者腦中 | ★ 明文寫出來，可檢視、可辯論、可修改 |
| 擴展性 | 受限於人力 | 高 |
| 一致性 | 標註者之間會互相矛盾 | 較一致 |
| 透明度 | 低（無法回答「為什麼這樣算有害」） | 高 |
| 人類的角色 | 標註每一筆資料 | 撰寫與修訂原則 |
| 有用性（helpfulness） | 人類回饋 | ★ 仍然用人類回饋 —— CAI 主要處理的是無害性 |
★ 最後一列常被忽略：CAI 不是「完全不用人類回饋」。它針對的是無害性那一半。
★ 買到什麼
| # | 好處 |
|---|---|
| 1 | 規則可檢視、可辯論 —— 不再是「標註者的直覺」這個黑箱 |
| 2 | 擴展性 —— 新增一個有害類別，只要加一條原則，不用重新標幾萬筆 |
| 3 | 一致性 —— 同一條原則套用在所有資料上 |
| 4 | ★ 減少人類接觸有害內容 —— 標註者的心理健康是真實且嚴重的問題 |
| 5 | ★ 緩解「無害但無用」 —— 純 RLHF 容易訓練出「什麼都拒絕」的模型； CAI 可以明確加入「要解釋為什麼拒絕、並提供能幫上忙的替代方案」這類原則 |
★ 沒解決什麼（題目明確問的部分，也是高分點）
| # | 沒解決 |
|---|---|
| 1 | ★ 憲法是誰寫的？ —— 價值觀的來源問題只是被搬動，不是被解決。從「標註者的隱性價值觀」變成「寫憲法的那群人的顯性價值觀」。 （Anthropic 後來做過 Collective Constitutional AI，嘗試引入公眾意見來形成憲法——承認這確實是個開放問題） |
| 2 | ★ 模型對原則的詮釋可能偏離人類意圖 —— 明文規則仍然要被模型理解，而理解可能出錯 |
| 3 | 原則之間衝突時怎麼權衡 —— 「要有用」和「要無害」直接衝突時，沒有明確的仲裁機制 |
| 4 | 仍然會被越獄 —— CAI 不改變「注入與越獄是結構性問題」這件事（見 提示注入與分層防禦） |
| 5 | ★ 受限於模型自己的能力 —— 模型只能依據它「判斷得了」的原則自我批評。模型看不出來的問題，CAI 也抓不出來 |
| 6 | 不解決能力性風險 —— 它處理的是「模型會不會說危險的話」，不是「模型會不會做危險的事」 |
RLAIF 是什麼
更廣的傘：任何用 AI 產生的回饋取代人類回饋的做法。
- CAI 是 RLAIF 的一種具體實作（限定於無害性 + 明文憲法 + 自我批評）
- 其他 RLAIF：用更強的模型當裁判產生偏好資料、用規則獎勵（這就接到 GRPO 與 RLVR）、用模型自我一致性打分
三者的關係：
RLHF（人類回饋）→RLAIF（AI 回饋）→CAI（依明文原則的 AI 回饋）→RLVR（可程式驗證的回饋）
越往右，回饋越便宜也越客觀，但適用範圍越窄。
⚙️ Part 2：機制可解釋性
定義
逆向工程神經網路的內部計算，找出人類能理解的演算法與電路——而不只是觀察輸入輸出的行為。
和一般「可解釋性」的差別
| 事後歸因 | ★ 機制可解釋性 | |
|---|---|---|
| 做什麼 | attention 視覺化、saliency map、特徵重要度 | 找出實際執行的計算電路 |
| 保證 | 相關性，不保證因果 | ★ 可做因果介入驗證（ablation、activation patching） |
| 類比 | 看儀表板猜引擎在幹嘛 | 拆開引擎看齒輪怎麼咬合 |
核心概念
| 概念 | 說明 |
|---|---|
| 特徵（features） | 網路內部表示某個語意的方向 |
| ★ 疊加（superposition） | 神經元數量 < 要表示的特徵數，所以特徵被「壓縮疊加」在同一批神經元上 → 單一神經元是多義的（polysemantic）。 ★ 這是可解釋性最大的障礙：你無法靠讀單一神經元理解模型 |
| 稀疏自編碼器（SAE） | 從疊加中解出單義特徵的主要工具——目前這條路線的主力 |
| 電路（circuits） | 跨層的特徵怎麼組合成一個演算法（例如「找出重複的 token 並複製」） |
| 因果介入 | activation patching、ablation ——證明某個成分真的造成某個行為，而不只是相關 |
★ 實驗室為什麼投資
| # | 理由 |
|---|---|
| 1 | ★ 偵測欺騙與隱藏目標 —— 行為測試只能看模型「說」什麼；機制可解釋性想看它在「算」什麼。 一個學會「在測試時表現良好」的模型，行為測試抓不到。這是對齊的核心難題，也是這項投資的根本動機 |
| 2 | 預測尚未顯現的失效 —— 找出模型具備但還沒表現出來的危險能力（呼應 Scaling Laws 與 Chinchilla 的安全評估） |
| 3 | 精準介入 —— feature steering：放大或抑制特定特徵來引導行為，而不破壞其他能力（比微調精準得多） |
| 4 | 稽核與監理的基礎 —— 未來可能被要求提出「模型不會做 X」的證據，而不只是測試通過 |
| 5 | 理解泛化 —— 知道模型為什麼在某些分布上泛化、某些不會 |
限制（要誠實講）
- 仍在早期。已知的完整電路多半是小模型上的玩具案例
- 規模化困難。前沿模型的特徵數量以千萬計
- SAE 找到的特徵不保證完整，也不保證是「模型真正用的」那組
- 離「能保證安全」還很遠。它目前是研究，不是可部署的安全控制
⚠️ 注意 / 什麼時候不適用
- ★ CAI 不是應用團隊能做的事。它是模型訓練階段的技術。應用端能做的是護欄與權限（見 Guardrails 護欄設計）。
- 但「明文原則」的思路可以借用：把你的內容政策寫成明確的原則清單，用來（a）生成評估集（b）當護欄裁判的 rubric（c）當 prompt 的一部分。這是 CAI 對應用開發者最實用的啟發。
- RLAIF 會放大模型既有的偏誤。用 AI 標註，模型的盲點就是標註的盲點——需要人類抽樣校準（見 LLM-as-Judge）。
- 機制可解釋性在面試中容易講得空泛。能講出疊加與因果介入這兩個具體概念，比講「看模型內部」有說服力得多。
- 不要把可解釋性當成已解決的安全保證。它是研究方向，目前的安全仍然靠評估 + 護欄 + 權限。
🧪 我實際套用的紀錄
- 2026-09-20：從面試題庫展開，尚未實際套用。
🔗 相關
- RLHF 全流程 —— CAI 取代的是哪一段
- GRPO 與 RLVR —— 回饋來源光譜的另一端
- LLM-as-Judge —— RLAIF 在應用端的對應物與偏誤
- Guardrails 護欄設計 —— 應用端能做的部分
- Scaling Laws 與 Chinchilla —— 能力預測與安全評估
- PII、紅隊與公平性稽核 —— 部署前的驗證
- 工具-LLM安全防護 —— 決策層