Senior QA Engineer - AI Product / Test Automation at Raccoon AI

【關於這個角色】

我們正在找一位以判斷力為核心、高度自主的 QA Engineer 來主導這個 AI 產品的品質策略與測試自動化。目前團隊內部已有自建的 AI 評測工具，這個職位的任務是根據現有的工具設計：該測什麼，並驗證評測結果的可信度，守住自動化工具碰不到的整合與品質。你不會改動產品的 code；你的code只存在於獨立的測試 / 自動化專案中，從外部以黑箱方式驗證系統。

【工作內容】

• 主導跨通道的端到端測試策略，確保 AI 客服在真實對話流程中行為正確

• 擁有並擴充一套外部黑箱回歸 / AI 評測自動化，在每次調整 AI 設定或更換模型時自動跑全客戶回歸，攔截靜默退化

• 持續校準 AI 評測結果與人工判斷的一致性，驗證評測本身的可信度，避免「假通過」

• 驗證 AI 與外部業務 API 串接的正確性，在進入正式環境前攔截會造成真實副作用（如錯誤訂單）的問題

• 針對非確定性的 AI 輸出設計測試方法（驗證「屬性」而非固定字串），並維護各客戶的黃金測試集

• 定位問題、產出清楚可重現的缺陷報告，與工程團隊協作設定品質閘門，必要時擋下上線

【你需要具備】

• 3 年以上 QA / 測試經驗，具備測試自動化實作能力（非純手動測試）

• 具備紮實的後端 / API 黑箱測試經驗，能閱讀 API 規格、驗證 schema 與行為，並熟悉非同步、串流、webhook 等流程

• 具備 AI 評測（eval）、LLM-as-judge、model evaluation、golden dataset 相關經驗

• 能獨立用程式撰寫並維護自動化測試（如 pytest 或同等工具），並接上 CI（如 GitHub Actions）

• 熟悉各種測試方法論並具備實作經驗，能在模糊問題中自行定義測試策略與覆蓋率範圍

• 善於運用 AI 工具輔助日常工作，提升測試設計與執行效率

• 具備良好的風險溝通與缺陷管理能力，能與工程團隊有效協作

【你可能還有】

• 測過對話式 AI / chatbot / 生成式 AI / LLM 產品

• 熟悉 Playwright / Cypress 等 UI 自動化

• 具備 SaaS / 多租戶平台、客服或對話系統相關經驗

• 具備負載 / 效能測試、可觀測性工具（log / tracing）使用經驗