Synechron是一家为金融服务机构和大型科技企业提供服务的数字化转型咨询公司。其业务涵盖咨询、设计、云计算、数据和工程，并在支付、可持续金融、区块链和人工智能领域拥有深厚专业能力。Synechron拥有一支由超过14,000名专业人士组成的全球团队，帮助客户实现技术现代化、开发数字产品，并应对金融服务领域的变化。
Synechron GCP大数据工程师——Python、Spark，班加罗尔现场办公
为 Synechron 的企业分析平台构建安全、可扩展的数据管道。 运用 GCP、Spark、Python 及 ETL/ELT 技术交付可靠的数据解决方案。
描述
- 在 GCP 上设计并优化可扩展的数据管道和数据管理解决方案
- 为企业分析和报告构建并维护可靠的数据管道
- 与利益相关者、数据科学家和分析团队合作，改进工作流程
- 实施数据质量、安全、治理、加密、访问控制和合规实践
- 改进数据摄取、转换和处理，提升性能并降低成本
- 分析数据特征，排查管道故障并解决运营问题
- 自动化工作流程，管理基础设施即代码，并支持部署管道
- 记录架构、工作流程、操作流程和运维指南
- 参与冲刺计划、评审和持续改进
- 跟踪数据工程实践并推动提升交付能力的举措
任职要求
- 广泛使用 GCP 服务的经验，例如 BigQuery、Dataflow、Cloud Storage 和 Cloud Pub/Sub
- 具备扎实的 Apache Spark 技能，能够进行分布式数据处理和分析
- 具备构建和维护 ETL/ELT 数据管道的实际经验
- 熟练使用 Python 进行脚本编写、自动化和编排
- 具备管理 PostgreSQL、MySQL 和 MongoDB 等分布式数据存储的经验
- 熟悉 Git
- 了解 Linux 和 Unix 环境
- 有数据治理、元数据管理和数据安全经验者优先
- 了解 Apache Airflow 或 Prefect 者优先
- 了解 Docker 和 Kubernetes 者优先
- 至少五年专注于 GCP 和大数据生态系统的实际数据工程经验
- 具备大规模设计和交付端到端数据管道及工作流程的经验
- 在分布式处理、数据安全和基础设施自动化方面具备经验证的专业能力
- 具备参与支持企业级或大规模数据平台的敏捷团队的经验
- 拥有计算机科学、数据科学、信息技术或相关专业的学士或硕士学位
- 广泛使用 Hadoop、Spark、Dataflow 及其他 GCP 或大数据处理框架的经验
- 能够为企业分析构建稳健、可扩展且安全的管道
- 在分布式数据环境中具备较强的分析和问题解决能力
- 具备清晰的沟通能力和有效的协作能力
- 具备推广最佳实践并指导初级团队成员的领导能力
- 具备战略思维和有效的时间管理能力
福利待遇
- 灵活的工作方式
- 导师指导机会
- 内部职业流动机会
- 学习和职业发展项目