Grupo Criatto Rh
Grupo Criatto Rh
Grupo Criatto Rh 是一家总部位于巴西的人力资源咨询与培训公司,致力于帮助组织打造更高效、现代化的人才运营体系。公司服务涵盖人力资源外包、人才吸引、技术招聘、高管寻访和以人为本的甄选,同时通过 Criatto Academy 提供领导力发展培训。此外,公司还支持入职融入、导师辅导、雇主品牌建设、员工价值主张、薪酬对标,以及 OKR 和 KPI 的实施,帮助提升员工敬业度、领导力和组织绩效。

中级数据工程师

为数字化转型咨询项目构建 ETL、ELT 管道和 AWS 数据湖架构。提升数据质量、生产环境可靠性和云成本效率。

描述

  • 构建并优化 ETL 和 ELT 管道。
  • 集成多个来源的数据,同时保障质量、安全性和可靠性。
  • 开发并维护数据湖、数据仓库和湖仓一体架构。
  • 进行数据建模并编排工作流。
  • 监控生产系统。
  • 提升云端性能并控制成本。
  • 协助迁移工作并编写技术文档。
  • 参与 CI/CD 工作流。
  • 与跨职能团队协作。
  • 独立交付复杂度适中的项目。
  • 为初级同事提供技术指导。

任职要求

  • 熟练编写高级 SQL 并优化查询。
  • 使用 Python 开展数据工程工作,包括 PySpark、Pandas、Boto3 和 NumPy。
  • 具备 AWS 服务的使用经验或相关知识,包括 S3、Glue、Glue Data Catalog、Athena、Redshift、Lambda、Step Functions、RDS 和 DynamoDB。
  • 使用 Apache Airflow 和 dbt 编排及转换数据。
  • 理解维度建模、关系型数据库和 NoSQL 基础知识。
  • 了解数据湖、数据仓库和湖仓一体架构概念。
  • 理解 Git、拉取请求、代码评审、基于 pytest 的测试以及 CI/CD 基础知识。
  • 使用 CloudWatch 监控系统,并通过 IAM、KMS 和 Secrets Manager 实施安全控制。
  • 了解数据迁移基础设施即代码的基础知识(Terraform 或 CloudFormation),以及机器学习基础知识。
  • 优先考虑具备 Kafka、Kinesis、MSK、CDC、Databricks、Delta Lake、Apache Iceberg 或 Hudi、Docker、Kubernetes、高级 Terraform、可观测性、数据治理与血缘、AWS DMS 或 SCT、Power BI 或 QuickSight,以及机器学习模型集成经验者。
  • 能够独立交付复杂度适中的项目。
  • 能够与技术团队和业务团队有效沟通并进行分析。
  • 重视数据质量、性能和可靠性。

相关职位