資深資料工程師 – Databricks(印度遠端)
負責為 Oportun 在印度的金融服務營運打造安全的 Databricks 資料產品與湖倉基礎設施。 負責架構、生產管道、治理、整合以及會員溝通資料。
說明
- 建構並營運安全、可擴展的資料產品,用於受眾選擇、資格判定、偏好、同意、活動輸入、交付資料和營運報告。
- 定義安全的資料架構,包括資料模型、資料契約、血緣關係和所有權標準。
- 負責複雜的資料工程專案,從技術研究與設計一直到正式上線。
- 協調工程師和利害關係人,同時管理相依關係、風險和技術決策。
- 使用 Databricks、Apache Spark、PySpark、Spark SQL、Delta Lake 和 SQL 開發並最佳化生產管道及整合。
- 將適合的舊版資料工作負載現代化。
- 實施可靠的資料載入、核對、重試、冪等性、復原和部署模式。
- 維護湖倉和營運資料資產,確保效能、完整性、可用性和安全性。
- 透過驗證、監控、警示、儀表板、執行手冊和血緣關係建立資料品質及治理控制。
- 與隱私、法遵、風險和安全團隊合作,處理個人識別資訊、同意、偏好、抑制、保留和存取控制。
- 透過設計審查和程式碼審查提供技術指導,指導初級工程師,並領導複雜的生產問題調查。
- 追查事件根因並交付持久的修正方案。
- 與產品、溝通、分析、工程、風險、隱私、法遵及其他合作團隊協作。
- 透過自動化測試、CI/CD、發布規劃和發布後衡量準備版本發布。
- 追蹤管道效能、品質、及時性、成本和可靠性。
- 審慎運用 AI 工具,減少重複工作並強化工程決策。
職位要求
- 至少六年的資料工程經驗,涵蓋架構、管道、平台以及資料庫或湖倉營運。
- 具備計算機科學、資料科學、工程或相關學科的學士或碩士學位,或具備同等實務經驗。
- 熟練掌握 Python、PySpark 和 SQL。
- 具備經驗證明的領導能力、分析性解決問題能力、良好判斷力和清晰溝通能力。
- 具備 Databricks、Apache Spark、Spark SQL、Delta Lake、工作流程編排、CI/CD、Git 工作流程、自動化測試以及端到端資料整合或產品的生產經驗。
- 具備資料品質、可觀測性、警示、血緣關係和雲端服務背景,尤其是 AWS。
- 具備透過存取控制、密鑰管理、加密和可稽核性保護敏感會員資料的經驗,並具備敏捷交付經驗。
- 具備金融服務、貸款、行銷科技、客戶溝通或其他受監管產業的經驗。
- 熟悉 Unity Catalog 或類似治理平台,並了解 Java 或 Scala。
- 具備使用 ChatGPT 或 Copilot 提升工程生產力、測試、文件、故障排除、資料品質或營運效率的經驗。
- 了解 AI 代理或自動化,並能在安全、隱私、準確性和人工監督方面審慎判斷。
福利待遇
- 醫療、牙科和視力保險。
- 公積金。
- 人壽和意外保險。
- 網路津貼。
- 燃料津貼。
- 餐費津貼。
- 電話津貼。
- 旨在支持身心健康、財務狀況和職涯發展的薪酬福利方案。
