高级数据工程师，数据湖（巴西远程）
为 Visa 的企业数据湖构建和维护 Spark、Databricks 与 Airflow 管道。 提升数据质量、编排能力以及可靠的自助式数据访问体验。
描述
- 使用 PySpark 和 SparkSQL 开发、测试并维护 Databricks 数据摄取、转换和数据质量管道。
- 创建和更新 MWAA Airflow DAG，以编排数据工作流。
- 为转换和验证任务编写并优化 SQL。
- 使用 Great Expectations 或同类工具实施并监控数据质量检查。
- 参与代码同行评审。
- 在高级工程师支持下排查管道故障和数据质量问题。
- 创建和更新数据集及管道文档。
- 参与迭代计划、工作量估算和回顾会议。
- 遵循团队的 CI/CD、测试和治理标准。
- 帮助提升 Visa 企业数据湖的可靠性和质量。
任职要求
- 常驻巴西。
- 英语沟通能力达到 B2 或更高水平（中高级）。
- 拥有至少 3 年相关经验并持有学士学位或副学士学位，或拥有至少 5 年相关经验。
- 使用 Python 进行自动化和数据处理。
- 理解批处理数据管道以及 ETL/ELT 模式。
- 掌握 Apache Spark 基础知识，包括 PySpark 或 SparkSQL。
- 能够使用 Databricks 作业、工作流和集群管理功能，并进行性能调优。
- 使用中高级 SQL，包括连接、窗口函数和 CTE。
- 理解 Amazon S3 数据湖设计，包括分区、布局和生命周期管理。
- 掌握 AWS 核心概念，包括 S3、IAM 和 CloudWatch。
- 理解维度建模或 Kimball 建模以及奖章层架构。
- 使用 Git/GitHub 工作流并参与代码评审。
- 优先考虑具备 Delta Lake、Apache Airflow/MWAA、CDC 模式、数据质量概念、Terraform 基础或 Superset 等 BI 集成及仪表板经验。
福利待遇
- 远程工作安排。
- 有机会在大规模环境中产生影响。
- 通过有意义的工作促进职业发展和技能提升。
- 远程员工可能会获得在 Visa 办公室工作的机会，具体安排将提前通知。
