高级数据工程师——巴西远程办公
高级数据工程师，负责构建可扩展的数据管道和数据平台，支持 GFT Technologies 的分析计划。该职位重点关注分布式环境中的性能、数据质量和治理。
描述
- 构建并扩展可扩展的数据平台，为分析和战略计划提供支持。
- 创建并维护用于大规模数据处理的高可靠、高性能管道。
- 处理大量结构化和非结构化数据。
- 在完整的数据生命周期中保障数据质量、一致性和治理。
- 开发数据摄取、转换和交付工作流。
- 与软件工程师、分析师、数据科学家及业务利益相关者合作。
- 参与数据架构决策，并评估新兴工具和技术。
- 跟踪并改进分布式系统中的数据处理工作流。
- 参与数据平台的现代化改造和持续开发。
任职要求
- 具备在分布式计算环境中从事数据工程的大量经验。
- 精通 Apache Spark 和 Scala。
- 具备 AWS 服务的实践经验，包括 Glue、S3、EMR、Athena 和 Redshift。
- 了解数据建模、ETL/ELT 流程和管道工程。
- 熟悉关系型和 NoSQL 数据库技术。
- 具备通过批处理和流处理模型处理数据的经验。
- 了解数据质量、安全和治理方面的成熟实践。
- 熟练使用基于 Git 的版本控制。
- 具备 Apache Kafka 或 Amazon MSK 经验者优先。
- 具备传统系统现代化经验者优先。
- 具备 Delta Lake、Apache Hudi 或 Apache Iceberg 经验者优先。
- 熟悉面向数据的 DataOps 和 CI/CD 工具，如 dbt、Airflow 和 Terraform 者优先。
- 具备设计或使用 Lakehouse 架构经验者优先。
- 具备处理高容量数据环境的经验者优先。
- 了解数据可观测性和管道监控者优先。
- 具有协作意识，热衷于团队合作。
- 具备出色的分析和解决问题能力。
- 能够自主工作、合理安排优先事项并有效管理时间。
- 有兴趣解决复杂且创新的技术挑战。
福利待遇
- 灵活的多福利卡，可自主选择资金的使用方式和地点。
- 提供本科、研究生、MBA 及语言教育奖学金。
- 设有专业认证奖励计划。
- 灵活的工作时间安排。
- 具有竞争力的薪酬。
- 年度绩效评估，并配有结构化的职业发展计划。
- 国际职业发展机会。
- 可使用 Wellhub 和 TotalPass。
- 私人养老金计划。
- 育儿支持。
- 私人医疗保险。
- 牙科保险。
- 人寿保险。