高级 AWS 数据工程师｜GFT Technologies｜巴西远程
GFT Technologies 高级 AWS 数据工程师，负责开发数据管道、指标和 Lakehouse 架构。 推进数据平台现代化，支持分析、治理和人工智能应用。
描述
- 使用 ETL 工具管理和处理海量数据。
- 将客户业务目标转化为信息管理和商业智能战略。
- 维护可靠的数据管道并确保信息访问安全。
- 构建和发布指标及仪表板，同时保护数据质量和完整性。
- 通过 Lakehouse 架构、治理、质量管理以及面向分析和人工智能的准备工作，支持数据平台现代化。
- 为业务团队、仪表板和报告开发维度模型。
- 支持从数据摄取和处理到存储、转换、使用及治理的完整数据生命周期。
任职要求
- 具备高级数据工程和 AWS 经验。
- 具备使用 ETL 工具、Python 和 PySpark 收集、转换及加载数据的实践经验。
- 熟悉 AWS Glue、EMR、Athena、SNS、Lambda、Step Functions、S3、Lake Formation、IAM 和 CloudWatch。
- 了解 NoSQL 数据建模，以及 MongoDB、DynamoDB 和 Hadoop 等数据库。
- 了解基于 Apache Iceberg 的 Lakehouse 架构，包括表管理、版本控制、模式演进、分区和性能调优。
- 具备使用 Athena、Trino、Presto 或 Spark SQL 等大规模查询引擎的经验，包括查询优化以及 Parquet 和 ORC 等列式格式。
- 了解维度建模概念，包括事实、维度、粒度、键、层次结构、指标和指示器。
- 具备处理结构化、半结构化和非结构化数据的经验。
- 具备开展单元测试和性能测试的经验。
- 了解云安全实践、访问控制和监控。
- 拥有 AWS Practitioner 或 AWS Data Engineer 认证者优先。
- 具备数据质量和可观测性经验者优先。
- 具备使用 Terraform 和 CloudWatch 等基础设施即代码工具的经验者优先。
- 了解 Data Mesh 者优先。
- 了解将人工智能应用于数据者优先。
- 具备较强的分析和解决问题能力。
- 能够独立工作并有效管理时间。
福利待遇
- 灵活福利卡，可自主选择资金的使用方式和地点。
- 支持本科、研究生、MBA 和语言学习。
- 提供奖励专业认证的项目。
- 弹性工作时间。
- 具有竞争力的薪酬。
- 通过结构化职业发展计划支持年度绩效评估。
- 提供国际职业发展机会。
- 可使用 Wellhub 和 TotalPass。
- 私人养老金计划。
- 儿童照护支持。
- 医疗保险。
- 牙科和人寿保险。
- 字段