数据工程师 – 布加勒斯特混合办公
为能源行业客户构建可扩展的 Python、Spark、Kafka 和 Airflow 数据管道。设计支持分析和机器学习的云数据湖与数据仓库。
描述
- 构建和维护支持商业智能、分析和机器学习的高韧性数据管道与架构
- 与数据科学家、分析师、工程师和业务利益相关者密切合作
- 将业务需求转化为可扩展、高效的数据解决方案
- 向非技术利益相关者清晰解释复杂的技术概念
- 交付高性能、可扩展的数据处理解决方案
- 改进数据存储、检索和 ETL 工作流
- 主导基于云的数据解决方案的设计与开发
- 使用 GitLab 进行版本控制，并管理代码和部署流水线
- 编写和优化 SQL 查询，同时将多个数据源整合到数据湖和数据仓库中
- 使用 Shell 脚本和相关工具自动化并简化数据管道
- 通过指导支持初级数据工程师的发展
- 主导代码审查并维护工程最佳实践
任职要求
- 具备 STEM 相关学科的学士学位
- 至少四年数据工程师或类似职位经验，并有交付大规模数据解决方案的业绩记录
- 具备高级 SQL 技能，包括复杂查询开发能力
- 具备扎实的 Python 编程经验，能够用于数据工程、定制处理解决方案和自动化
- 拥有丰富的 Apache Spark 和 Apache Kafka 使用经验，能够处理分布式和批处理任务
- 具备使用 Apache Airflow 编排数据流的实际经验
- 具备 AWS 或其他云服务提供商的扎实经验
- 熟练使用 GitLab 进行版本控制和 CI/CD 工作流管理
- 具备使用 Docker 和 Kubernetes 进行容器化的实践经验
- 具备使用 dbt 进行数据转换的经验
- 具备 Shell 脚本经验，例如 Bash
- 除 Python 外，具备 Java 或 Scala 经验
- 具备 Apache Hive 经验
- 了解数据治理、安全实践和合规要求
- 熟悉敏捷方法和跨职能协作
- 熟悉机器学习概念
- 具备较强的问题解决能力，并有处理大型复杂数据集的经验
- 具备出色的跨团队沟通与协作能力
- 能够指导初级工程师并提供技术领导
福利待遇
- B2B 合作