Coretek 是一家 Microsoft Azure 专家级托管服务提供商和云技术咨询公司，为政府、医疗保健、制造业和金融服务等领域的组织提供服务。其业务涵盖云迁移、应用现代化、DevOps 自动化、工作区管理、网络安全，以及基于 Azure OpenAI 和机器学习技术构建的人工智能解决方案。Coretek 还利用 Palo Alto 和 Dynatrace 等平台提供安全与可观测性服务，并开展涉及 Imprivata 和 Citrix 的合作。公司的多学科团队帮助客户实现基础设施现代化、强化安全防护，并构建切实可行的云计算与人工智能能力。
Azure 数据工程师——印度混合办公
为 Coretek 构建和运营可靠的 Azure 批处理与流式数据管道。 开发受治理的数据模型、质量控制和生产工作流，为业务与技术团队提供支持。
描述
- 设计、构建和维护具备幂等性、可观测性和可恢复性的批处理与流式数据管道
- 创建分析型数据模型，包括维度模型、语义层和精选数据集市
- 连接运营数据库、SaaS API、文件和事件流，同时管理模式漂移与延迟到达的数据
- 在数据管道中嵌入数据新鲜度、数据量、唯一性和引用完整性检查
- 建立数据管道故障的告警与升级流程
- 通过监控、值班事故响应、根因分析和数据回填管理生产数据管道
- 通过分区、集群、文件大小以及数仓或集群规模调整来提升性能并控制成本
- 使用版本控制、代码审查、CI/CD、自动化测试和基础设施即代码
- 与安全和合规团队合作，落实访问控制、个人身份信息保护、保留期限、数据血缘和审计要求
- 与分析师、数据科学家和产品工程师合作，建立持久可靠的数据契约
- 持续更新数据字典、数据血缘记录和管道运行手册
任职要求
- 至少五年构建生产数据管道的经验
- 具备扎实的 Python 数据工程实战经验，包括测试、打包和代码审查
- 熟练掌握 PySpark DataFrame 和 SQL API、大规模连接与聚合、分区、Shuffle 行为以及使用 Spark UI 进行诊断
- 具备高级 SQL 技能，包括窗口函数、查询计划分析和性能调优
- 具备 Azure Data Factory、Databricks、Synapse 或 Fabric 以及 ADLS 的实战经验
- 具备良好的数据建模知识，涵盖规范化、星型模式和缓慢变化维度
- 具备基于 Git 的开发工作流和 CI/CD 交付经验
- 具备出色的沟通能力，能够向非技术利益相关者解释数据管道问题
- 具备卓越的分析与问题解决能力，包括根因分析
- 具备在咨询型技术环境中与客户合作的丰富经验
- 具备 Kafka 或 Event Hubs 流式数据经验
- 具备使用 Delta Lake 或 Iceberg 的经验
- 具备使用 Terraform 或 Bicep 进行基础设施即代码，以及使用 Docker 或 Kubernetes 进行容器化的经验
- 具备在涉及 HIPAA、SOC 2、PCI 或 GDPR 的受监管环境中工作的经验
- 具备构建机器学习数据平台或支持特征管道的经验
- 能够管理多个客户项目，并按计划交付高质量工作
- 具备使用 Azure DevOps 或 GitHub 进行源代码管理和交付管道建设的经验