Airwallex数据平台工程高级经理
负责支持金融基础设施的Airwallex数据平台工程团队。 打造Databricks湖仓、数据摄取、流式处理和规范化财务数据系统。
描述
- 通过技术指导、导师辅导、职业发展和明确的责任归属,建设并领导高绩效数据平台工程团队。
- 制定高容量金融数据摄取的技术战略,覆盖支付处理商、银行、计费系统和ERP/总账平台。
- 使用Spark、Delta Lake、Unity Catalog、dbt、Python和SQL推进Databricks湖仓建设。
- 建立数据契约、模式演进、漂移检测、数据质量和规范化财务模型的实践体系。
- 使用Kafka、CDC、微批处理、增量处理和Dagster,推动平台从批处理转向近实时工作流。
- 负责支持会计引擎的规范化财务模型架构。
- 与基础设施和平台团队合作,加强可观测性、告警、事件响应、恢复和运营准备度。
- 制定GCP、Terraform、Kubernetes/GKE、Helm、GitOps和CI/CD方面的基础设施方向。
- 监督从遗留管道迁移至湖仓的工作,包括一致性检查、分阶段发布和回滚规划。
- 提升PostgreSQL、Databricks及大规模数据工作负载的性能并控制成本。
- 与产品、会计、机器学习和平台负责人合作,将业务需求转化为可扩展的数据平台能力。
- 通过架构评审、设计文档、技术标准和长期平台路线图确立工程方向。
- 推动AI辅助工程,同时坚持代码质量、测试、安全性和可靠性要求。
任职要求
- 至少八年数据平台、后端或基础设施工程经验,其中包括丰富的工程团队领导经验。
- 有管理和培养高级工程师及技术负责人的成功经验,并能建设强大且自主的团队。
- 深入掌握数据平台、分布式系统、数据建模和生产数据管道。
- 具备扎实的Python和SQL技能,并有Spark、Databricks、Delta Lake、dbt及现代湖仓架构的实践经验。
- 有构建可靠数据摄取系统的经验,涵盖大规模回填、增量处理、检查点、速率限制管理、幂等性和故障恢复。
- 深入理解流式和事件驱动系统,包括Kafka、CDC和微批处理。
- 有Dagster等编排平台经验,并能针对新鲜度、分区和增量计算进行设计。
- 有调优PostgreSQL和分析型工作负载、提升性能并优化成本的经验。
- 有在GCP上运行生产基础设施的经验,并熟悉Terraform、Kubernetes/GKE、Helm、GitOps和CI/CD。
- 熟练掌握可观测性、可靠性工程和生产运营。
- 具备出色的技术沟通能力,能够跨团队影响架构和工程决策。
- 有领导复杂技术迁移的经验,能平衡长期平台战略与即时业务优先事项。
- 有意愿为可靠、可扩展且关键任务型的金融系统建设团队和基础设施。
福利待遇
- 股权参与。
- 有资格获得年度奖金。
- 医疗、牙科和视力保险。
- 401(k)退休计划。
- 短期和长期伤残保险。
- 基本人寿保险。
- 身心健康福利。
- 20天带薪年假。
- 12天带薪公司假日。
- 法定最低年假和公共假日。
