高级数据与人工智能架构师 — dLocal,蒙得维的亚混合办公
负责 dLocal 全球金融科技数据与分析架构。定义受治理的数据网格、流处理、湖仓、语义、云和 MLOps 平台。
描述
- 制定 dLocal 数据与分析架构的技术方向
- 构建覆盖数据与人工智能及工程领域的可扩展、受治理且易于访问的数据生态系统
- 将领域数据产品连接至实时平台、分析工作负载、机器学习应用和业务消费场景
- 为批处理、流处理、湖仓、数据仓库和运营数据用例定义企业级架构
- 审阅 RFC,并就数据架构决策为架构师提供建议
- 通过领域所有权、数据产品、联邦治理、自助式平台、可发现性、质量和 SLA 推动数据网格落地
- 创建参考架构和工程标准,涵盖数据产品、管道、摄取、存储、处理、编排、可观测性、血缘、安全和访问
- 使用 Kafka、Kinesis、Flink、Spark Structured Streaming 和 Databricks 设计并治理流处理平台
- 建立事件处理规范,涵盖模式、契约、事件时间、延迟数据、幂等、去重、重放、重新处理、死信处理和新鲜度 SLA
- 开发跨领域语义层和企业本体
- 指导 AWS 和 GCP 上的云数据平台及湖仓能力建设
- 确定 MLOps 和特征平台能力的架构方向
- 牵头或支持架构 RFC、技术决策、设计评审、迁移策略和交付路线图
- 与领域团队合作明确所有权、产品职责、运营交接、质量、访问审批和跨领域使用
- 为数据质量、可观测性、隐私、安全、韧性、成本控制和生产就绪性定义防护措施
- 处理跨团队的关键架构问题,并推动决策贯穿实施和运营
- 指导数据工程师、平台团队、数据科学家、MLOps 工程师、BI 团队和工程负责人
- 沟通架构愿景,并在生产环境中验证设计
任职要求
- 具备 8 至 10 年以上设计和运营可扩展数据架构的经验,最好曾在复杂企业或高速增长环境中工作
- 在数据网格架构和运营模式方面拥有深厚专业知识,包括领域所有权、数据产品、联邦治理、自助式平台、契约、质量和可发现性
- 拥有流处理和事件驱动系统的丰富经验,包括 Kafka 或 Kinesis,以及 Flink 或 Spark Structured Streaming 等处理引擎
- 具备设计实时和近实时工作负载的经验,涉及延迟测量、事件时间语义、延迟数据、状态、去重、幂等、重放和故障恢复
- 理解语义层、业务本体、规范模型、知识图谱或元数据模型、指标定义和语义治理
- 精通数据建模、数据湖和湖仓模式、数据仓库设计、管道、数据产品、元数据、血缘和数据管理技术
- 拥有 AWS 和/或 GCP 数据平台经验;熟悉 Databricks、Unity Catalog、Delta Lake、Iceberg 或同类技术者优先
- 熟练掌握 Spark、Airflow、dbt、Kafka、Python、SQL、CI/CD、基础设施即代码和可观测性工具
- 曾设计或支持 MLOps、特征存储、在线与离线服务,或其他低延迟机器学习数据系统
- 能够建立数据访问、数据管理、治理、隐私、安全、质量和运营责任框架
- 理解可靠性、可扩展性、性能、韧性、成本和供应商锁定之间的权衡
- 具备出色的利益相关者管理、沟通、协调和影响能力
- 能够在做出和解释决策时管理风险、模糊性和冲突
- 能够独立主动地工作,并能准确判断何时征求意见、何时推进执行
福利待遇
- 灵活的工作时间和工作安排,根据职位和地点,在自主管理的专注时间与面对面协作中心之间取得平衡
- 有机会在金融科技行业工作
- 员工推荐奖金计划
- 每年旅行期间可远程办公长达三个月
