Steven's Knowledge Base

Skills Producer-Reviewer QA 計劃

4 min read

Skills Producer/Reviewer QA 計劃

skills workflow qa

Created: 2026-04-07

原則

  • 凡係「生產」出嚟嘅嘢 → 一律要 QA
  • Producer 同 Reviewer 必須係兩個獨立 Agent（唔同 context）
  • Research 類唔需要（內部參考，Steven 自己會睇）

判斷維度

  1. 對外 vs 對內（邊個睇到 output）
  2. 自動化程度（幾多人工介入）
  3. 出錯成本（錯咗幾大鑊）
  4. 可逆性（錯咗可唔可以 undo）

需要加 Producer/Reviewer 嘅 Skills（7 個）

文案類

Skill原因
landing-page-copy銷售文案，影響轉化率
ads-copy-meta花真錢推，錯咗燒錢
webinar-script公開演講，不可逆

設計類

Skill原因
landing-page-design網頁設計，公眾見到（已有 UI QA hook 但加 Reviewer 更全面）
nano-bananaAI 圖片，用喺廣告/社媒
presentation-builder提案 deck，客戶會睇

Technical

Skill原因
salesbot-client-setup客戶 bot setup，4/4 維度全中

唔需要嘅 Skills

  • yt-summary / yt-research / reddit / ig / x / fb / xiaohongshu — 內部研究
  • ads-spy-* — 爬資料
  • research — 綜合研究

實現方式

每個 skill 加 agents/ 目錄：

skill-name/
├── agents/
│   ├── producer.md    ← 生產指令
│   └── reviewer.md    ← 獨立 QA checklist

Reviewer 用 eval-criteria.md 做 binary check，喺獨立 Agent context 跑。

優先順序

  1. salesbot-client-setup（最高，直接影響付費客戶）
  2. ads-copy-meta + landing-page-copy（花錢/轉化）
  3. webinar-script
  4. landing-page-design + nano-banana + presentation-builder

QA Loop 設計（2026-04-07 confirmed）

Producer（主 Agent）做完
  → Spawn Reviewer（background, timeout 5min）
  → Reviewer 用 eval-criteria.md 逐條 check
  → PASS → Done ✅
  → FAIL → append Learnings.md + 返回 report
  → 主 Agent 改 → retry（max 3-5 次）
  → 超過 limit → 停 + TG 通知 Steven

Reviewer 權限（Policy Islands）

  • Read、Glob、Grep → auto-approve（read-only）
  • Bash → 只限 Playwright 截圖 script
  • Write → 只限 Learnings.md
  • 唔需要 —dangerously-skip-permissions

Learnings.md 自動寫入

  • 由 Reviewer agent 做（唔係 hook，因為冇 task-failure event type）
  • Reviewer prompt 寫死：FAIL 時 append Learnings.md
  • 格式：日期 + 邊條 fail + 點解 + 修復方法
  • 每週 cron job review → 固化入 SKILL.md

Retry Limits

  • 簡單任務：max 3 次
  • 複雜任務：max 5 次
  • 每次 timeout：5 分鐘
  • 超過 → 停止 + Telegram 通知

唔會阻住你

  • Reviewer 係 background agent
  • 主 Agent 繼續回覆你
  • 做完先 report

蒸餾機制（Distillation）

Learnings.md = 工作枱（案例，會越嚟越多）
SKILL.md = SOP 手冊（蒸餾後嘅 rule，精煉）
claude-mem = 書櫃（完整歷史記錄，語義搜尋）

蒸餾流程

  1. 錯誤發生 → Reviewer 寫入 Learnings.md
  2. 同時 claude-mem 自動記錄（hook 已有）
  3. 每週 cron review → 重複 pattern（出現 2-3 次）→ 蒸餾入 SKILL.md
  4. 蒸餾完 → 清走 Learnings.md 已蒸餾 entries
  5. 日後需要翻案例 → claude-mem search

蒸餾判斷標準

  • 同一類錯誤 2-3 次 → 蒸餾成 rule
  • 只出現 1 次 → 留喺 Learnings.md
  • 已過時（code 改咗）→ 刪除

蒸餾前 vs 蒸餾後例子

Before（3 條 learning）：
  - FAQ Q3 fail: 「你哋幾點開門」6 個字搵唔到
  - FAQ Q11 fail: 「邊度上堂」4 個字搵唔到
  - FAQ Q7 fail: 「幾錢」2 個字搵唔到

After（1 條 rule in SKILL.md）：
  FAQ 問題少於 8 個字 → 自動加 context 再搜

唔需要另開 archive

claude-mem 本身就係案例書櫃，語義搜尋搵得返完整 context。

狀態

  • 架構設計完成
  • 等實際 production 需求時逐個加
  • 優先：salesbot-client-setup → ads-copy-meta → landing-page-copy

Graph View