首席人工智慧架構師，代理系統
負責 FourKites 人工智慧代理的整體架構，涵蓋模型、脈絡管理與評估。 打造支援人工智慧供應鏈數位工作者的平台。
說明
- 負責 FourKites 人工智慧代理的架構，涵蓋執行、脈絡、模型與評估。
- 制定代理參考架構，涵蓋迴圈、工具使用、狀態、檢查點、重試、復原、安全防護、權限和人工交接。
- 設計持久的多步驟工作流程，使其能跨越脈絡視窗，並從工具、承運商 API 和模型故障中復原。
- 針對不同問題選擇合適方案，從前沿模型或開放權重模型，到微調編碼器或傳統程式碼。
- 管理代理群中的模型路由、單一任務成本和延遲目標。
- 將代理連接至 Kafka、微服務、Postgres、客戶 API 和 MCP 伺服器。
- 在 token 限制內，為提示、工具、檢索內容、記憶和先前對話制定脈絡視窗標準。
- 建立共用工具，用於檢索、脈絡壓縮、摘要、子代理隔離、提示快取和持久記憶。
- 調查脈絡故障，並將解決方案轉化為可重複使用的執行模式。
- 運用正式環境軌跡、程式碼檢查、經校準的 LLM 評審評分和 CI 回歸測試套件，開發離線評估系統。
- 透過正式環境評分、品質指標、漂移監控、影子發布和 A/B 發布、回饋訊號及品質警示，開發線上評估。
- 將評估指標與追蹤準確率、自動化異常處理和預約完成率等成果連結。
- 審查設計和合併請求，撰寫架構文件與營運手冊，並指導資深及高級工程師。
- 掌握模型與工具的發展、進行實驗，並建議自行開發、採購或暫緩採用。
- 與產品、解決方案和客戶成功團隊合作，將第一線問題轉化為平台改進。
職位要求
- 曾為真實使用者和正式環境流量設計並營運 LLM 代理系統，涵蓋工具呼叫、多步驟工作流程、故障處理及升級由人員處理。
- 曾在 LLM 代理系統上線後負責管理，處理事故、成本和延遲。
- 具備深厚的機器學習知識，包括注意力機制、位置編碼、編碼器與解碼器架構、tokenization 和 KV 快取。
- 曾訓練或微調編碼器模型，例如 BERT 系列模型、句向量、雙編碼器和交叉編碼器重排模型。
- 了解對比式訓練、知識蒸餾和量化。
- 曾管理 token 預算，並為代理建置檢索與記憶功能。
- 使用過脈絡壓縮和子代理，並衡量脈絡視窗逐漸填滿時的品質。
- 曾建置代理執行層，涵蓋迴圈、工具派送、狀態與檢查點、中斷與復原、沙箱與權限、安全防護及模型路由。
- 熟悉 MCP、結構化輸出和串流處理。
- 曾建置離線和線上評估套件，涵蓋資料集、評分器、LLM 評審校準、CI 回歸閘門、正式環境評分、軌跡抽樣、漂移監控、影子部署和回饋迴圈。
- 具備 10 年以上軟體或機器學習系統經驗，其中 3 年以上使用 LLM 建置產品或系統的經驗。
- 具備扎實的 Python 實作能力。
- 能熟練閱讀和審查 Java 或 TypeScript 服務。
- 具備 AWS 或 GCP、容器、Kubernetes 和事件驅動系統的正式環境經驗。
- 能以書面和口語有效溝通。
- 優先條件：具備供應鏈、物流或運輸產業經驗。
- 優先條件：具備文件 AI、OCR、版面模型經驗，並曾從提單、發票和送達證明文件擷取資料。
- 優先條件：具備建置代表企業採取行動的語音或電子郵件代理經驗。
- 優先條件：具備代理安全經驗，包括提示注入防禦、工具權限和租戶資料隔離。
- 優先條件：具備使用 Claude、GPT、Gemini、開放權重模型和模型服務技術堆疊的經驗。
- 優先條件：曾發表或演講代理、檢索或評估相關內容，或為相關開源專案作出貢獻。
福利待遇
- 具競爭力的薪酬和股票選擇權。
- 五天全球 Recharge 假期。
- 優渥的帶薪休假和一般假日。
- 所有家長皆可享有育嬰假。
- 年度健康津貼。
- 志工服務假。
- 到職第一天即可享有醫療福利。
- 共 36 天帶薪休假，涵蓋病假、事假和特休。
- 五天 Recharge 假期。
- 兩天志工服務假。
- 居家辦公設備和技術費用補助。
- 生活風格及家庭福利。
- 心理健康支援與諮詢。
- 持續的學習與發展機會，包括專業發展計畫和 Toastmasters 演講社團。