資料平台資深工程師
負責打造支援 Reality Defender 深偽偵測研究的 Databricks 資料平台。 建置可重現的多模態資料集與可擴充的合成資料產生流程。
說明
- 領導 AI 研究所需的完整資料平台，涵蓋持續擷取與前處理，以及大量影像、影片、音訊和文字資料的治理與匯出。
- 擴充並提升 Databricks lakehouse 與分散式處理技術堆疊。
- 隨著資料量增加，指導架構設計以及自行建置或採購的決策。
- 開發可重複使用的基礎架構，以便在內部跨多種模態產生合成資料。
- 建立資料集版本管理、血緣追蹤、詮釋資料、品質檢查，以及一致的訓練集和評估集切分方式。
- 負責確保流程可靠、具備可觀測性，並管理各資料集的處理成本。
- 與機器學習研究人員合作，打造能加速模型開發的自助工具。
- 指導工程師，並強化程式碼審查、測試、文件和營運手冊。
- 與安全及法遵團隊協調資料處理、授權和存取控制事宜。
- 與工程及研究主管共同制定長期資料平台路線圖。
- 向資料總監報告。
- 在到職前 12 個月內，領導打造成熟的自助服務平台、擴展合成資料產生、交付可重現的評估資料集，並推動影響重大的路線圖計畫。
職位要求
- 至少 8 年建置資料平台或基礎架構的經驗，包括以資深或主管職級負責生產流程，處理大量資料的產生、擷取或交付。
- 具備豐富的分散式處理工具實務經驗，例如 Spark 或 Ray，以及 lakehouse 平台經驗；最好使用過 Databricks，並使用 S3、GCS 或 Azure Blob 等雲端物件儲存。
- 具備 Databricks、Unity Catalog、Delta Lake 及 AWS 上 Spark 的正式環境經驗，能進行效能調校、存取控制和營運疑難排解。
- 具備處理大型非結構化媒體資料（例如影片、音訊或影像）的經驗，包含大型檔案、解碼、轉碼及大規模詮釋資料處理。
- 曾透過版本管理、血緣追蹤、資料品質驗證，以及使用 Airflow、Dagster 或 Databricks Workflows 等工具進行流程協調，產出可重現的機器學習資料集。
- 具備扎實的 Python 和 SQL 技能。
- 判斷力良好，能在精簡團隊中從頭到尾負責範圍不明確的平台挑戰。
- 具備使用 Terraform 和 CI/CD 自動化基礎架構及部署的經驗，涵蓋 AWS 儲存、IAM、運算資源、Databricks 資源和分散式處理環境。
- 具備合成資料產生流程開發經驗，或大規模執行生成模型的經驗者尤佳。
- 具備支援機器學習研究團隊訓練及評估資料需求的經驗，尤其是多模態模型相關經驗者尤佳。
- 具備安全、詐欺、信任與安全、其他對抗性領域，或 A 輪、B 輪新創公司的經驗者尤佳。
- 申請流程要求應徵者授權在美國工作。
- 若目前居住地不在紐約市或附近，願意依工作安排搬遷。
福利待遇
- 員工醫療保險保費全額補助，眷屬保費則提供部分補助。
- 員工及眷屬的牙科和視力保險保費全額補助。
- 員工短期及長期失能保險與人壽保險保費全額補助。
- 提供彈性支出帳戶、健康儲蓄帳戶及 401(k) 退休計畫。
- 股權薪酬。
- 每年 20 天帶薪休假。
- 12 週育嬰假。
- 學習與發展預算。
- 每月健康福利。
- 公司每年資助一次外地活動。
- 紐約市總部員工可透過 Uber Eats 享用每日辦公室午餐。
- 紐約市總部員工可享通勤福利。
- 紐約市總部員工週五可遠端工作。
- 紐約市總部員工可參加歡樂時光及其他當地活動。
- 符合年度績效獎金的申請資格。
