
数据工程师——图卢兹,混合办公
加入 Amoddex(一家 IT 战略与数字化转型咨询公司),构建可靠的批处理和流式数据管道。通过 CI/CD、治理与可观测性,助力强化云端数据平台。
描述
- 开发、优化并将关键数据管道投入生产。
- 制定架构标准,并参与关键技术决策。
- 构建并优化批处理和流式 ETL/ELT 管道。
- 维护数据平台的性能、韧性、可用性与安全性。
- 管理开发、测试和生产环境,包括自动化部署。
- 通过可追溯性、数据沿袭和依赖关系管理来治理数据流。
- 审查并改进流程,使其更稳健且易于维护。
- 采用自动化测试、CI/CD、监控和可观测性等软件质量实践。
- 规划数据增长、可扩展性和云成本效率。
- 与数据科学、机器学习、产品及业务团队协作。
- 参与制定技术路线图,并确定重要项目的优先级。
- 编写架构文档并支持知识共享。
任职要求
- 具备 AWS、Azure 或 Google Cloud Platform 等云环境的工作经验。
- 熟悉 Snowflake、Databricks 或 BigQuery 等数据平台。
- 具备 Spark、PySpark 和 Kafka 等大数据工具的使用经验。
- 熟练使用 Python 和 SQL。
- 掌握 Java 更佳。
- 熟悉 Airflow 等编排工具。
- 具备 CI/CD、Git 和监控工具的使用经验。
- 理解分布式架构和大规模数据管理。
- 具备分析思维并能解决复杂问题。
- 注重细节。
- 能够独立工作并主动承担职责。
- 响应及时且有效。
- 具备批判性思维,并能清晰地综合信息。
- 善于团队协作。
- 能够与跨学科的相关方有效沟通。
- 能够适应不断变化的需求和情况。
- 责任心强。
- 热爱技术并持续学习。
福利待遇
- 丰富的员工培训机会。
- 专业认证支持。
- 职业发展规划。
- 培训项目。
- 友好的工作环境。
- 紧密协作的团队。
- 为大型客户承担多样化项目。
- 注重员工技能发展的政策。

