State Street 是一家全球金融服务公司，通过投资管理和投资服务解决方案为机构投资者提供服务。其业务包括资产管理、托管服务和投资研究，并依托金融、金融科技和银行业务领域的专业能力。公司致力于通过数据、洞察和运营能力，帮助客户管理复杂的投资活动，提高效率并支持财务决策。
数据工程师，助理副总裁 - 普林斯顿，新泽西州
构建 AWS 和 Databricks 湖仓平台，为 State Street 的法律与合规运营提供支持。 开发受治理的数据管道，用于分析、报告和 AI/ML 应用。
描述
- 使用 PySpark、Python 和 Spark SQL 构建和维护可扩展的数据管道
- 使用 Delta Lake 开发和优化 Databricks ETL/ELT 工作流
- 为企业数据平台实施 Bronze、Silver 和 Gold 湖仓架构
- 管理用于批处理和流处理工作负载的 Databricks Jobs、Workflows 和 Notebooks
- 创建可复用的数据摄取、处理和编排框架
- 使用 Docker 将数据工作负载容器化，并通过脚本实现流程自动化
- 将 Databricks 管道与 Power Apps 和 Power Automate 连接
- 通过 API、连接器和精选数据集向业务用户提供数据
- 设计和优化 Databricks 湖仓架构
- 集成 SQL Server、Oracle 及其他企业数据源
- 应用维度建模、分区和优化方法
- 处理包括 JSON 和 Parquet 在内的结构化与半结构化格式
- 通过缓存、索引和 Spark 优化提升性能
- 为 Power BI、Power Apps 和 Power Automate 工作流发布精选数据集
- 通过单元测试、验证框架和自动化检查维护数据质量
- 监控和排查分布式 Spark 工作负载及数据管道问题
- 调查日志并解决 Databricks 和云环境中的生产问题
- 维护数据血缘、一致性和审计准备状态
- 与法律、安全、合规和企业数据团队合作
- 将业务需求转化为数据工程解决方案
- 担任 Databricks 和湖仓架构领域的主题专家
- 独立牵头项目并对交付成果负责
- 通过 Databricks Unity Catalog 以及 AWS IAM 和 KMS 控制支持数据治理
- 满足数据隐私、监管、安全和审计要求
- 维护访问控制以及数据分类和处理标准
- 与 IAM 和安全团队合作，保护数据访问
- 使用 Harness、Azure DevOps 或 GitHub 设计和维护 CI/CD 管道
- 使用 Databricks Repos 和 CLI 自动化 Databricks 资产部署
- 使用 Databricks 编排工具监控、调度和优化工作流
- 维护架构、数据流和运行手册文档
- 提升平台性能、可扩展性和成本效率
任职要求
- 计算机科学、数据工程、信息系统或相关技术领域的学士或硕士学位
- 至少 8 年数据工程或数据平台开发经验
- 具备 Databricks 和 Apache Spark 实践经验
- 熟练掌握 PySpark、Python 和 SQL
- 具备 AWS 数据服务经验，包括 S3、Glue、Lambda 和 IAM
- 具备 Delta Lake 和湖仓架构经验
- 深入了解分布式数据处理
- 深入了解 ETL 和 ELT 框架
- 深入了解数据建模技术
- 具备 Databricks 组件实践经验，例如 Delta Lake、Workflows 和 Unity Catalog
- 具备使用 AWS 和 Databricks 构建端到端批处理与流处理管道的丰富经验
- 熟悉 Spark 和 Delta Lake 性能优化
- 具备在湖仓平台上支持分析、报告或 AI/ML 工作负载的经验
- 了解数据治理、元数据管理和安全控制
- 具备法律、合规、金融服务或其他受监管行业经验
- 理解包括合同、条款、义务和事项在内的法律数据概念
- 接触过非结构化数据处理或文档与 NLP 管道
- 具备 Power BI、Power Apps 或 Power Platform 经验
- 具备在审计驱动环境中管理敏感数据的经验
福利待遇
- 带公司匹配的 401(k) 退休储蓄计划
- 保险选项，包括基本人寿、医疗、牙科、视力、长期伤残保险及其他可选保障
- 带薪休假，涵盖年假、病假、短期伤残假和家庭照护责任假
- 员工援助计划
- 激励性薪酬，符合条件者可获得年度绩效奖励
- 符合条件者可参加部分税收优惠储蓄计划
- 包容性的职业发展机会
- 灵活的工作与生活支持
- 带薪志愿服务日
- 员工网络