
中级数据工程师
为数字化转型咨询项目构建 ETL、ELT 管道和 AWS 数据湖架构。提升数据质量、生产环境可靠性和云成本效率。
描述
- 构建并优化 ETL 和 ELT 管道。
- 集成多个来源的数据,同时保障质量、安全性和可靠性。
- 开发并维护数据湖、数据仓库和湖仓一体架构。
- 进行数据建模并编排工作流。
- 监控生产系统。
- 提升云端性能并控制成本。
- 协助迁移工作并编写技术文档。
- 参与 CI/CD 工作流。
- 与跨职能团队协作。
- 独立交付复杂度适中的项目。
- 为初级同事提供技术指导。
任职要求
- 熟练编写高级 SQL 并优化查询。
- 使用 Python 开展数据工程工作,包括 PySpark、Pandas、Boto3 和 NumPy。
- 具备 AWS 服务的使用经验或相关知识,包括 S3、Glue、Glue Data Catalog、Athena、Redshift、Lambda、Step Functions、RDS 和 DynamoDB。
- 使用 Apache Airflow 和 dbt 编排及转换数据。
- 理解维度建模、关系型数据库和 NoSQL 基础知识。
- 了解数据湖、数据仓库和湖仓一体架构概念。
- 理解 Git、拉取请求、代码评审、基于 pytest 的测试以及 CI/CD 基础知识。
- 使用 CloudWatch 监控系统,并通过 IAM、KMS 和 Secrets Manager 实施安全控制。
- 了解数据迁移基础设施即代码的基础知识(Terraform 或 CloudFormation),以及机器学习基础知识。
- 优先考虑具备 Kafka、Kinesis、MSK、CDC、Databricks、Delta Lake、Apache Iceberg 或 Hudi、Docker、Kubernetes、高级 Terraform、可观测性、数据治理与血缘、AWS DMS 或 SCT、Power BI 或 QuickSight,以及机器学习模型集成经验者。
- 能够独立交付复杂度适中的项目。
- 能够与技术团队和业务团队有效沟通并进行分析。
- 重视数据质量、性能和可靠性。

