資料平台工程師——澳洲混合辦公
建置並營運 EatClub 的 Databricks 湖倉與可靠的資料管線。你的工作將支援這家持續成長的餐飲科技企業進行分析、資料科學、治理與更好的決策。
說明
- 使用來源系統整合、CDC 串流和第三方 API 開發並執行青銅層資料擷取
- 管理結構描述變更、回填和資料重播
- 負責編排工作，包括排程、相依性、重試、警示和資料集 SLA
- 透過主幹開發、提取要求驗證、部署閘門和一致的環境升級來強化 CI/CD
- 透過授權、資料血緣、標籤、資料列與資料欄層級控制，以及安全的外部共用來管理平台治理
- 透過適當調整倉庫和叢集大小，並調校分割、叢集和增量處理來改善成本與吞吐量
- 建立針對新鮮度、資料量和結構描述的資料品質與可觀測性控制，並設定失敗警示和根因調查機制
- 讓分析師和資料科學家能夠獨立使用平台
- 與依賴平台建立模型和儀表板的分析與資料科學團隊合作
- 使用 AI 工具加速開發、測試、遷移和程式碼審查
職位要求
- 具備為商業規模產品撰寫和最佳化 SQL 的能力，並有實務成果證明
- 精通 Python
- 具備在雲端資料平台上建置和營運生產資料管線的實務經驗
- 具備使用 Databricks Workflows、Airflow、Dagster 或相當系統進行編排和排程的經驗
- 具備診斷並復原失敗隔夜工作的經驗
- 具備從內部 API 和第三方工具高效擷取資料，同時維持嚴格完整性的經驗
- 具備 Git、CI/CD、主幹開發、測試及更廣泛軟體工程實務的扎實基礎
- 能適應 AI 優先的開發模式，使用 Claude Code、代理式工作流程，並在日常開發週期中全面運用 AI
- 具備 Databricks 和 dbt Core 經驗者佳
- 熟悉 AWS 者佳
- 具備最佳化 Spark 或 Databricks 成本與效能的經驗者佳，包括分割、液態叢集和倉庫大小調整
- 具備使用 Structured Streaming、Debezium 或 Delta Live Tables 等技術進行串流或 CDC 的經驗者佳
- 具備應用資料品質、安全性和文件實務的經驗者佳
- 具備執行 AI 和 LLM 實驗的經驗者佳
福利待遇
- EatClub 員工折扣及可透過 EatClub 使用的餐飲代金券
- 首次使用 EatClub 的使用者可選擇使用代碼 ECAPPLY5 獲得 5 美元代金券；是否參加不會影響申請或面試流程
- AI 優先的工作環境，透過 Anthropic Enterprise 使用 Claude Code，並採用代理式和非同步工作流程
- 參與 Databricks 湖倉平台建置的機會
- 小型團隊環境，承擔廣泛且具高影響力的職責
- 在每週回饋支援下快速交付