首席数据架构师——Azure 与 Databricks，远程
负责退伍军人事务部 AI 平台的 Azure 和 Databricks 架构。 构建受治理的数据系统，支持医疗报告、分析和机器学习。
描述
- 主导客户架构讨论，向退伍军人事务部利益相关方汇报，并将需求转化为可执行的设计和决策
- 通过设计评审、代码评审和实践性问题解决指导资深数据工程师
- 使用 Azure Data Factory、Synapse Analytics、Databricks 和 Delta Lake 定义数据摄取、存储、建模和服务标准
- 指导平台迁移至 Azure Commercial，以 Databricks 作为工程平台，并使用 Unity Catalog 实施治理
- 针对批处理、增量、CDC 和流式处理模式，为数千张表设计元数据驱动框架
- 通过 Synapse Dedicated Pool、Databricks SQL、Power BI 和模型训练管道支持报告和机器学习
- 通过访问策略、数据屏蔽和符合 HIPAA 及联邦安全要求的 ATO 支持，保护 PHI 和 PII
- 为提案编写架构和技术方案内容
任职要求
- 具备 12 年以上数据工程和架构经验，包括实践性工程经验，以及至少 5 年首席或主要架构师经验
- 有领导工程团队、指导资深工程师并确定技术方向的成功经验
- 具备面向客户的经验，能够主导架构讨论、向高管汇报，并与技术及非技术受众沟通
- 精通 Azure 云数据工程和数据仓库，并具备 Azure Data Factory、Synapse Analytics、Synapse Dedicated Pool、Databricks、Delta Lake 和 ADLS Gen2 的实践经验
- 具备设计 Unity Catalog 的实践经验，包括目录和授权、基于属性的访问控制、行筛选、列屏蔽和数据沿袭
- 具备设计湖仓一体奖牌式架构、数据仓库模型和覆盖数千张表的元数据驱动框架的经验
- 具备扎实的 SQL 和 Python 技能，包括 PySpark
- 具备 CDC、流式处理和增量加载模式经验，例如 Oracle GoldenGate、Azure Event Hubs 和 Apache Kafka
- 具备将大型本地数据仓库迁移至云端的经验，包括并行运行和数据核对
- 具备使用 Git、CI/CD 和基础设施即代码构建数据平台的经验，例如 Terraform 和 Databricks Asset Bundles
- 了解适用于 PHI 和 PII 的 HIPAA、NIST 800-53 和 FISMA 要求
- 拥有计算机科学、信息系统或相关领域的学士学位
- 要求为美国公民
- 能够取得公共信托安全许可
- 必须具备在美国工作的资格
福利待遇
- 具有竞争力的薪资
- 丰厚的年假和带薪节假日
- 全面的团体医疗和牙科计划
- 提供公司配比的 401(k) 计划
- 人寿保险及意外死亡和伤残保险
- 持续培训和职业发展机会