大数据工程师——Python、PySpark 与 Databricks|花旗|浦那混合办公
使用 Python、PySpark 和 Databricks,为花旗全球金融数据基础设施构建并支持大规模数据管道。 协作处理 Hadoop、Tableau、Linux 和企业级分析交付工作。
描述
- 开发和维护可扩展的 Python 与 PySpark 管道,在分布式平台上处理结构化和非结构化数据
- 设计并改进基于 Hadoop 的工作流,包括 HDFS 和 Hive,为报告和分析提供可靠数据
- 为跨业务领域的数据工程计划编制可行性评估、交付估算和技术方案
- 负责数据应用生命周期管理,涵盖分析、设计、测试、部署和生产支持
- 与分析及报告团队合作开发 Tableau 仪表板,将源数据转化为有价值的业务洞察
- 管理并排查基于 Linux 的数据流程问题,维护系统稳定性、性能和运营连续性
- 评估交付风险,并使数据工程解决方案符合安全、治理和合规要求
任职要求
- 具备 5 至 8 年数据工程、大数据开发或专注于大规模数据平台的软件应用开发经验
- 具备使用 Python 和 PySpark 进行大规模数据摄取、转换和管道编排的实战开发经验
- 精通 ETL、Oracle Database 和 SQL
- 掌握 Databricks
- 了解 HDFS、Hive 和集群运维等 Hadoop 生态技术,并熟悉 Ozone 存储
- 能够在 Linux 环境中使用脚本、作业调度和进程管理工具高效工作
- 具备创建或支持 Tableau 仪表板和报告的经验
- 熟悉用于数据工程场景中统计分析或数据探索的 RStudio
- 深入掌握大型语言模型,包括 OpenAI、Gemini、Claude、Llama 以及本地或开源模型
- 拥有相关技术领域的学士学位或同等经验
- 具备管理并成功交付项目的经验
- 了解咨询和项目管理技术及方法
- 能够在压力下工作,按时完成任务,并适应要求或预期中的意外变化
- 具备云原生数据平台经验,或有将本地 Hadoop 工作负载迁移至现代数据平台的经验
- 了解大规模环境中使用的数据治理、元数据管理或数据质量框架
- 熟悉技术交付中使用的咨询或项目管理方法
福利待遇
- 混合办公安排,每周两天到办公室、三天远程办公
- 持续学习和职业发展资源
- 可在有限直接监督下自主做出技术决策,并有机会为高级利益相关者担任主题专家
- 花旗全球技术组织内明确的职业发展机会
- 与工作地点和职级相匹配的财务福祉支持及福利
