State Street 是一家全球金融服务公司，通过投资管理和投资服务解决方案为机构投资者提供服务。其业务包括资产管理、托管服务和投资研究，并依托金融、金融科技和银行业务领域的专业能力。公司致力于通过数据、洞察和运营能力，帮助客户管理复杂的投资活动，提高效率并支持财务决策。
高级 Databricks 数据工程师，副总裁 — State Street（昆西，混合办公）
为 State Street 金融服务平台构建 Azure 和 Databricks 数据管道。 在敏捷团队中开发 ETL、数据质量和高吞吐量框架。
描述
- 使用 Azure 和 Cosmos DB 构建并测试端到端云数据管道，支持流式、事件驱动和批量数据摄取。
- 创建 ETL 流程，将数据摄取、转换并加载到数据湖。
- 在工程工作中应用 Databricks 和数据仓库相关概念。
- 创建面向高吞吐量的可配置框架和库。
- 通过协作、影响利益相关方并演示概念验证来推动变革。
- 参与软件开发生命周期的各个阶段，从设计和编码到集成测试、部署和文档编写。
- 与敏捷项目团队的同事协作。
- 遵循既定的工程实践和编码标准。
- 监控数据管道并排查问题，推动问题解决。
- 添加数据质量检查和验证，以保持数据准确性。
- 分析数据并探索数据集。
- 持续提升专业技能。
任职要求
- 计算机科学、信息技术或相关领域的学士学位。
- 至少 10 年大数据管道相关经验。
- 至少 5 年 Databricks 实际操作经验。
- 至少 5 年云平台开发经验，包括 Azure 服务、Azure DevOps、Kubernetes 和 Docker。
- 具备微服务架构和云计算经验；优先考虑 Azure 经验。
- 熟练使用 Databricks、Delta Lake 和 Apache Spark。
- 具备 Databricks SQL 和 Scala 开发实操经验。
- 深入了解 Databricks 资源，包括集群和作业。
- 具备丰富的 DevOps 管道故障排查实操经验，包括 ADO 和 Harness。
- 具有使用 Git 等版本控制工具的经验。
- 具有处理 Avro、JSON 和 XML 等半结构化格式数据的经验。
- 基本熟悉 Shell 脚本、UNIX、TOAD 和 SQL Developer。
- 具备良好的职业沟通能力，包括书面和口头沟通。
- 具有金融服务行业经验。
- 具有敏捷开发方法经验。
- 具备 Snowflake 经验者优先。
福利待遇
- 提供带公司配比缴款的 401(k) 退休储蓄计划。
- 提供多种保险选择，包括基本人寿、医疗、牙科、视力、长期伤残保险及其他可选保障。
- 提供带薪假期，涵盖年假、病假、短期伤残假以及家庭照护相关假期。
- 员工援助计划。
- 有资格获得基于年度绩效的激励奖励。
- 有资格参加部分税收优惠储蓄计划。
- 提供包容性的专业发展机会。
- 支持工作与生活的灵活安排。
- 提供带薪志愿服务假。
- 员工网络。
