Azure 数据工程师
构建 Azure 数据管道、存储和数据集，为 SAIC 的国防与任务技术解决方案提供支持。 交付安全、受治理的数据产品，支撑分析与运营工作。
描述
- 构建并维护可扩展的数据管道和数据集，为分析与运营洞察提供支持
- 管理 Azure 服务中的数据摄取、转换和产品交付
- 在 Azure Data Factory 中开发、调度和监控批处理及近实时数据管道
- 管理 Azure Blob Storage 的访问层、生命周期策略、分区和文件夹结构
- 设计并优化 Azure SQL 数据集，包括架构、索引和查询性能
- 使用星型与雪花型架构、第三范式（3NF）、规范化和 Data Vault 模式开发维度模型
- 通过验证、分析、血缘追踪、文档、架构演进和数据契约实施数据质量与治理
- 缩短管道运行时间，优化 SQL 查询和存储 I/O；添加告警、重试逻辑和成本控制
- 与分析、产品和运营团队合作，交付可信、安全、高性能且有文档记录的数据产品
- 实施安全与合规控制，包括基于角色的访问控制（RBAC）、数据脱敏、加密和密钥管理
- 分享平台最佳实践，构建可复用的模板和组件
任职要求
- 拥有学士学位并具备五年工作经验，或以四年工作经验替代学位要求
- 能够取得并维持公共信任资格；该资格要求申请者为美国公民
- 具备 Azure Data Factory 管道、数据流、链接服务、触发器和参数化的实际操作经验
- 熟练使用 Azure Blob Storage 容器、访问层、生命周期管理以及 SAS 或托管标识
- 熟练使用 Azure SQL Database 或 Managed Instance，包括架构设计、性能调优、索引和查询优化
- 具备星型与雪花型架构、3NF 和 Data Vault 概念的实践知识
- 了解 Kimball 和 Inmon 数据仓库方法
- 熟练使用 JSON、Parquet、CSV 和 Avro
- 具备管理上述格式的架构演进和版本控制的经验
- 具备处理复杂查询和转换的扎实 SQL 技能
- 优先考虑具备 Python 脚本经验者；Scala 经验也适用于转换、实用工具和自动化工作
- 具备基于 Git 的工作流经验
- 具备将数据管道与 Azure DevOps Repos 和 Pipelines 或同类 CI/CD 工具集成的经验
- 有监控、日志记录、告警及排查生产数据管道问题的实际经验
- 优先条件：具备 Azure Synapse Analytics 经验
- 优先条件：熟悉 Microsoft Fabric
- 优先条件：具备构建 Power BI 语义模型、增量刷新、关系、计算组和 DAX 的经验
- 优先条件：具备 Event Hubs、Azure Functions 或 Databricks/Spark Structured Streaming 经验
- 优先条件：具备 Bicep 或 Terraform 经验，并熟悉 ARM 模板
- 优先条件：具备 Microsoft Purview 或类似工具的使用经验
福利待遇
- 提供平等就业机会的雇主
- 从事以使命为导向的工作，服务国防、航天、情报和民用市场
