高级 AWS 数据工程师
高级 AWS 数据工程师，负责现代化 GFT Technologies 的 Lakehouse 平台。 构建 Python 和 PySpark 数据管道，支持数据治理、分析与 AI。
描述
- 使用 ETL 工具收集、整理和处理大型数据集。
- 将客户业务目标转化为信息管理和商业智能策略。
- 构建和维护数据管道，并确保信息访问安全。
- 根据收集的数据创建指标和仪表板，维护信息质量与完整性。
- 通过 Lakehouse 架构、治理、质量管理以及为分析和 AI 做准备，协助推进数据平台现代化。
- 为业务团队、仪表板和报告设计维度模型。
- 参与数据生命周期的各个阶段，从数据摄取和处理到存储、转换、使用及治理。
- 使用 Python、PySpark 和 AWS 服务构建并优化数据管道。
- 使用 Apache Iceberg 管理分析表，包括版本管理、架构演进、分区和性能调优。
- 使用 Athena、Trino、Presto 或 Spark SQL 等引擎，查询 Parquet 和 ORC 等列式格式中的大型数据集。
- 实施单元测试和性能测试、安全实践、访问控制及云监控。
- 提升数据流程的质量、可追溯性、完整性和效率。
任职要求
- 具备使用 ETL 工具收集、转换和加载数据的经验。
- 具备使用 Python 和 PySpark 的经验。
- 具备使用 AWS 服务的经验，例如 Glue、EMR、Athena、SNS、Lambda、Step Functions、S3、Lake Formation、IAM 和 CloudWatch。
- 了解 MongoDB、DynamoDB 等 NoSQL 数据库及相关 Hadoop 技术。
- 具备 Lakehouse 架构和 Apache Iceberg 经验，包括分析表管理、版本管理、架构演进、分区和性能调优。
- 具备使用 Athena、Trino、Presto 或 Spark SQL 等大规模查询引擎的经验。
- 了解 Parquet 和 ORC 等列式数据格式。
- 具备维度建模经验，包括事实、维度、粒度、键、层级、指标和 KPI。
- 具备处理结构化、半结构化和非结构化数据的经验。
- 了解单元测试和性能测试。
- 具备在云环境中应用安全实践、访问控制和监控的经验。
- 持有 AWS Cloud Practitioner 和 AWS Data Engineer 认证者优先。
- 具备数据质量和数据可观测性经验者优先。
- 了解 Terraform 等基础设施即代码工具以及 CloudWatch 等监控工具者优先。
- 了解 Data Mesh 者优先。
- 了解如何将人工智能应用于数据者优先。
- 具备解决问题的能力。
- 能够独立工作并有效管理时间。
福利待遇
- 多功能福利卡，可灵活选择消费方式和地点。
- 提供本科、研究生、MBA 项目及语言课程奖学金。
- 提供支持职业认证的项目。
- 弹性工作时间。
- 具有竞争力的薪酬。
- 年度绩效评估和系统化的职业发展计划。
- 国际职业发展机会。
- 可使用 Wellhub 和 TotalPass。
- 私人养老金计划。
- 育儿援助。
- 医疗保险。
- 牙科保险。
- 人寿保险。
