State Street 是一家全球金融服务公司，通过投资管理和投资服务解决方案为机构投资者提供服务。其业务包括资产管理、托管服务和投资研究，并依托金融、金融科技和银行业务领域的专业能力。公司致力于通过数据、洞察和运营能力，帮助客户管理复杂的投资活动，提高效率并支持财务决策。
高级 Databricks 数据工程师
为 State Street 金融服务平台构建 Azure 和 Databricks 数据管道。 在敏捷团队中开发 ETL 流程、数据湖和可扩展框架。
描述
- 在 Azure 和 Cosmos DB 上构建并测试端到端的流式、事件驱动和批处理数据管道。
- 创建用于将数据提取、转换并加载到数据湖的 ETL 流程。
- 将 Databricks 和数据仓库相关理念应用于工程工作。
- 设计并开发可配置的框架和库，以支持高吞吐量数据处理。
- 通过协作、发挥影响力和开展概念验证演示推动变革。
- 负责软件开发生命周期各环节，包括设计、编码、集成测试、部署和文档编写。
- 在敏捷项目团队中协作工作。
- 遵循既定的工程实践和编码规范。
- 监控数据管道并调查问题。
- 添加数据质量检查和验证。
- 作为敏捷 Scrum 团队的一员，协助开发、改进和维护平台。
- 提升并拓展专业技能。
任职要求
- 拥有计算机科学、信息技术或相关领域的学士学位或同等学历。
- 具备至少 10 年大数据管道相关经验。
- 具备至少 5 年 Databricks 实际操作经验。
- 具备至少 5 年云开发经验，包括 Azure 服务、Azure DevOps、Kubernetes 和 Docker。
- 了解微服务架构和云计算；有 Azure 经验者优先。
- 熟练掌握 Databricks、Delta Lake 和 Apache Spark。
- 具备 Databricks SQL 和 Scala 的实际开发经验。
- 了解 Databricks 资源，包括集群和作业。
- 具备使用 ADO 和 Harness 排查 DevOps 管道问题的经验。
- 使用 Git 等版本控制工具。
- 具备使用 Avro、JSON 和 XML 等半结构化格式的经验。
- 具备 Shell 脚本、UNIX、TOAD 和 SQL Developer 的基础知识。
- 具备数据分析和探索经验。
- 具备金融行业工作经验。
- 具备敏捷开发方法的工作经验。
- 能够在书面沟通和专业交流中有效表达。
- 能够同时处理多项任务，并具备积极主动、适应力和解决问题的能力。
福利待遇
- 提供含公司配比缴款的 401(k) 退休计划。
- 保险选项包括基本人寿、医疗、牙科、视力、长期伤残保险以及其他可选保障。
- 带薪休假包括年假、病假、短期伤残假以及家庭照护相关假期。
- 可使用员工援助计划。
- 可能有资格获得年度绩效激励奖励。
- 可能有资格参加某些享有税收优惠的储蓄计划。
- 提供促进包容性的职业发展机会。
- 支持灵活的工作与生活平衡。
- 提供带薪志愿服务日。
- 设有员工网络。
