高级数据工程师——立陶宛远程办公
负责基于 AWS、Oracle、Airflow、dbt 和 SAP 的银行数据管道设计。 使用 Data Mesh 和 Medallion 架构,助力传统系统现代化。
描述
- 在 Data Mesh 平台中,设计并优化 AWS 云端及传统数据仓库环境的数据摄取、处理、存储和共享。
- 使用 Airflow、dbt 和 SAP Data Services 开发并优化 ETL 与 ELT 管道及数据架构。
- 协助将传统数据系统迁移并现代化为云原生架构。
- 确保数据工作流具备高水平的数据质量、安全性和性能。
- 与分析师、工程师及业务利益相关者合作,交付可扩展的数据解决方案。
- 开展代码审查,建立监控和告警机制,并修复数据管道问题。
- 参加 EOD ROTA 值班轮换,并持续待命至 23:00–24:00 以处理事件。
任职要求
- 具备 SQL 和 Python 的实际应用经验。
- 具备 AWS、Azure 或 Google Cloud Platform 的实操经验。
- 了解 Airflow 或 dbt 等管道编排和转换工具。
- 具备 Oracle Database、SAP IQ、SAP Data Services 和 SAP Business Objects 等企业级数据平台经验。
- 了解实时、基于消息和事件驱动的集成方式,包括传统数据平台与现代数据平台之间的连接。
- 熟悉测试自动化和 DevOps 实践,包括基础设施即代码、安全性、CI/CD 及 SDLC 原则。
- 具备交付数据产品并应用 Medallion 和 Data Mesh 架构的经验。
- 具备出色的沟通和团队协作能力。
- 英语流利。
- 拥有波罗的海国家或波兰的公民身份。
福利待遇
- 远程工作安排。
- 项目期限为十二个月。
