73 Strings 高级数据工程师——混合办公，印度
负责为 73 Strings 私募资本估值平台构建安全的批处理和流式数据管道。 使用 Azure、Databricks、Snowflake 及 CI/CD 基础设施开展跨领域协作。
描述
- 开发并运行支持估值和监控的管道、集成及数据仓库系统
- 负责生产数据流，从源数据采集、转换、对账到交付给客户
- 管理基于 GitHub 的工作流，包括自动化测试以及持续集成和部署
- 参与不断演进的平台架构，覆盖数据摄取、处理和交付层
- 使用数据库、API、事件流和半结构化数据创建并运行批处理和流式管道
- 实施变更数据捕获和增量加载，支持排序、删除、重放及缓慢变化维度
- 在 Snowflake、Microsoft SQL Server 和 Databricks 中开发奖牌式架构数据集和维度模型
- 在数据发布前落实数据契约、对账检查及行级隔离
- 负责数据工作负载的 GitHub 流程和 CI/CD，包括测试、代码审查、环境晋级及基础设施即代码部署
- 诊断生产数据事件，并将产品、估值和客户需求转化为可靠的运营管道
任职要求
- 至少 10 年生产环境数据系统工程经验
- 精通 Snowflake 或 Databricks 等主要数据平台，包括数据建模、性能调优和成本管理
- 熟练使用 Python 和 SQL 开发及测试数据管道
- 具备变更数据捕获和事件处理经验，包括排序、重放和架构演进
- 具备 Azure 实践经验，熟悉 Databricks、ADLS 和私有网络连接
- 使用 GitHub 和 CI/CD 管理数据工作负载的经验，熟悉 GitHub Actions 或同类平台
- 了解数据质量、对账、监控和生产事件响应
- 具备构建安全多租户数据平台的经验，包括租户隔离、访问控制和数据保护
- 优先考虑：熟悉 Databricks Lakeflow、Auto CDC、Declarative Automation Bundles 和 DQX，或具备同等 Snowflake 能力
- 优先考虑：熟悉 Debezium、Kafka Connect 或 Confluent Kafka
- 优先考虑：熟悉 Apache Airflow 或同类工作流编排器
- 优先考虑：熟悉 Kafka 或 Spark Structured Streaming、Apache Iceberg 或 Delta Sharing，以及 dbt
- 优先考虑：具备私募市场数据经验，例如估值、基金、投资组合公司或资本活动数据
- 能够直接与客户技术团队合作，并与现场工程、产品及其他利益相关方协作
福利待遇
- 支持性的工作环境
- 有机会主动承担责任并推动改进
- 持续开展专业学习的机会
- 协作型团队文化