資深 Databricks 資料工程師
在波蘭遠端建置 Databricks 平台與資料管線。 參與日本大型金融集團面向客戶的銀行應用程式專案。
說明
- 建置並維護可擴充的 Databricks 資料平台與管線。
- 與跨職能團隊合作，為分析和商業智慧提供可靠且易於存取的資料。
- 使用 Bronze、Silver 和 Gold 湖倉分層實作 Medallion Architecture。
- 透過自動化測試與監控建立資料品質框架。
- 使用 Delta Lake 時間旅行、vacuum 作業和 Z-ordering。
- 為大型每日資料集開發並維護複雜的 ETL/ELT 管線。
- 使用 Databricks Asset Bundles 或同類工具，為資料管線設定 CI/CD 工作流程。
- 使用 Structured Streaming 和 Delta Live Tables 建置批次與即時處理方案。
- 透過叢集自動擴縮與資源管理，提升 Spark 工作效能並提高成本效益。
- 將 Databricks API 與外部系統整合。
- 使用 Unity Catalog、Delta Lake 和 Apache Spark 設計可擴充的資料架構。
- 建置具備治理與資料血緣追蹤能力的資料網格架構。
- 參與日本領先金融集團面向客戶的銀行應用程式開發。
職位要求
- 具備至少六年資料工程經驗。
- 具備設計及部署正式環境等級資料管線與 ETL/ELT 工作流程的良好實績。
- 精通 Python、PySpark 和 SQL。
- 具備 AWS Glue、Lambda、Redshift 和 S3 的豐富實務經驗。
- 了解資料治理與管理工具，包括 Unity Catalog 和 AWS SageMaker Unified Studio。
- 具備資料遷移及舊有系統現代化經驗。
- 能以英文有效溝通。
- 具備 Databricks Certified Professional Data Engineer 認證或同等資格者尤佳。
- 具備 Docker、Kubernetes 等容器化與協調工具經驗者尤佳。
福利待遇
- 在合作融洽、投入度高的環境中工作。
- 享有專業成長機會。
- 參與國際銀行應用程式專案。
- 可遠端工作。