
高级数据工程师 – AWS 与 Databricks
为一家专注于可扩展性、治理和分布式处理的数据咨询公司,负责构建 AWS 和 Databricks 数据管道及解决方案的高级数据工程师。
描述
- 使用 AWS 和 Databricks 设计并改进数据工程解决方案
- 构建并优化 ETL/ELT 管道,确保可扩展性、性能和可靠性
- 根据分析和业务需求进行数据建模
- 创建来自多个来源的数据摄取、转换和集成工作流
- 采用稳健的工程实践和分布式计算处理大型数据集
- 优化 Databricks 工作负载,提高效率和质量
- 使用 AWS 服务和资源开发并维护数据解决方案
- 实施数据质量、监控、验证和治理控制
- 与业务和技术团队协作,将需求转化为技术解决方案
- 记录解决方案、流程和管道,确保可追溯性和可维护性
- 协助识别并解决数据、管道和性能问题
任职要求
- 拥有丰富的高级数据工程师工作经验
- 具备在企业环境中使用 Databricks 的实践经验
- 具备 AWS 及其数据工程服务的实操经验
- 具备高级 SQL 技能和数据建模经验
- 具备构建和维护 ETL/ELT 管道的经验
- 了解大规模数据处理和现代数据架构
- 具备 Python 和/或 PySpark 经验
- 了解关系型和非关系型数据库
- 具备整合多个数据源的经验
- 了解数据质量、治理和安全实践
- 能够独立、负责地参与企业项目
- 具备出色的沟通能力,能够与技术和业务利益相关者协作
- 优先考虑:具备 Lakehouse 架构经验
- 优先考虑:了解 Delta Lake
- 优先考虑:具备 AWS Glue、S3、Redshift、Lambda 或 Kinesis 经验
- 优先考虑:了解用于数据工程的 CI/CD、Git 和 DevOps 实践
- 优先考虑:具备管道编排工具经验
- 优先考虑:具备云数据平台现代化经验
- 优先考虑:具备客户服务环境工作经验或开发以业务为导向的解决方案的经验
福利待遇
- 每月提供 R$300 居家办公补贴,通过 iFood 卡用于餐饮和杂货
- 生日福利,包括礼品券和一天带薪休假
- 可使用 RoxSchool、Alura、Pluralsight 和 O'Reilly 学习平台
- 技术认证报销最高 R$300;通过所列平台取得每项认证另可获得 R$300 奖金
- 每月两次心理咨询,由 ROX 通过合作心理咨询师提供资助
- Wellhub 合作福利,包括健身房及健康和保健应用
- 提供工作设备
- 全程远程办公,周一至周五 9:00 至 18:00








