高级数据工程师 - 伦敦混合办公
负责为 73 Strings 的私募资本估值平台设计和运营 Azure 数据管道与数据仓库。 负责数据摄取、转换、质量、CI/CD 以及向客户交付数据。
描述
- 设计覆盖数据摄取、处理和交付的平台架构
- 构建并运行来自数据库、API、事件流和半结构化数据的批处理与流式数据管道
- 实施变更数据捕获和增量加载，支持排序、删除、重放和缓慢变化维度
- 创建奖章式分层数据集和维度数据模型
- 将数据交付至 Snowflake、Microsoft SQL Server 和 Databricks
- 在数据发布前执行数据契约、对账和行级隔离
- 管理 GitHub 工作流和 CI/CD，包括测试、代码审查、环境晋级和基础设施即代码部署
- 诊断并解决生产环境中的数据故障
- 将产品、估值和客户团队的需求转化为可靠的运营数据管道
任职要求
- 至少 10 年生产数据系统工程经验
- 具备以 Snowflake 或 Databricks 为主要平台的实践经验，包括数据建模、性能调优和成本控制
- 具备扎实的 Python 和 SQL 技能，能够开发和测试数据管道
- 具备变更数据捕获和事件处理经验，包括排序、重放和架构演进
- 具备实际 Azure 经验，熟悉 Databricks、ADLS 和私有网络连接
- 具备使用 GitHub 和 CI/CD 管理数据工作负载的经验，使用过 GitHub Actions 或同类系统
- 具备数据质量、对账、监控和生产事故响应方面的经验
- 具备创建安全的多租户数据平台的经验，能够实现租户隔离、访问控制和数据保护
- 能够直接与客户技术团队合作，并与现场工程、产品及其他利益相关方协作
- 优先条件：具备 Databricks Lakeflow、Auto CDC、Declarative Automation Bundles 和 DQX 的经验，或具备 Snowflake 中 Dynamic Tables、Streams and Tasks、Snowpark、Snowflake CLI 部署和 Data Metric Functions 等同类能力
- 优先条件：具备 Debezium、Kafka Connect 或 Confluent Kafka 的经验
- 优先条件：具备 Apache Airflow 或同类工作流编排器的经验
- 优先条件：具备 Kafka 或 Spark Structured Streaming、Apache Iceberg 或 Delta Sharing 以及 dbt 的经验
- 优先条件：具备私募市场数据经验，涉及估值、基金、投资组合公司或资本活动
福利待遇
- 支持性的工作环境
- 注重创新与协作的文化
- 拥有承担责任并主动推进工作的空间
- 持续学习的机会