高级 Databricks 数据工程师
在波兰远程构建 Databricks 平台和数据管道。 参与日本大型金融集团面向客户的银行应用项目。
描述
- 构建并维护可扩展的 Databricks 数据平台和管道。
- 与跨职能团队合作，为分析和商业智能提供可靠、易于访问的数据。
- 使用 Bronze、Silver 和 Gold 湖仓分层实现 Medallion Architecture。
- 通过自动化测试和监控构建数据质量框架。
- 使用 Delta Lake 时间旅行、vacuum 操作和 Z-ordering。
- 为大型日常数据集开发和维护复杂的 ETL/ELT 管道。
- 使用 Databricks Asset Bundles 或同类工具为数据管道搭建 CI/CD 工作流。
- 使用 Structured Streaming 和 Delta Live Tables 构建批处理及实时处理方案。
- 通过集群自动扩缩和资源管理提升 Spark 作业性能与成本效率。
- 将 Databricks API 与外部系统集成。
- 使用 Unity Catalog、Delta Lake 和 Apache Spark 设计可扩展的数据架构。
- 构建具备治理和数据血缘追踪能力的数据网格架构。
- 参与日本领先金融集团面向客户的银行应用开发。
任职要求
- 拥有至少六年数据工程经验。
- 具备设计和部署生产级数据管道及 ETL/ELT 工作流的良好实践记录。
- 熟练掌握 Python、PySpark 和 SQL。
- 拥有 AWS Glue、Lambda、Redshift 和 S3 的丰富实操经验。
- 了解数据治理和管理工具，包括 Unity Catalog 和 AWS SageMaker Unified Studio。
- 具备数据迁移和遗留系统现代化经验。
- 能够使用英语有效沟通。
- 拥有 Databricks Certified Professional Data Engineer 认证或同等认证者优先。
- 具备 Docker、Kubernetes 等容器化和编排工具经验者优先。
福利待遇
- 在协作融洽、积极投入的环境中工作。
- 享有职业成长机会。
- 参与国际银行应用项目。
- 支持远程工作。