高级数据工程师—印度远程
负责设计基于 Azure 的数据平台、数据管道和集成方案，支持企业分析与 AI/ML。该高级职位服务于一家专注于生命科学和医疗保健的组织。
描述
- 使用 Azure Databricks、PySpark、Azure Data Factory 和 Azure SQL 设计并交付端到端数据解决方案
- 构建和维护覆盖源系统、数据集成及数据消费的数据管道
- 在数据湖中应用青铜层、白银层和黄金层建模标准
- 创建概念、逻辑和物理数据模型
- 调优 Spark 和 SQL 工作负载，提升可扩展性、性能和成本效率
- 使用数据准备、数据集成和 AI 赋能工具维护元数据
- 自动化数据集成和可重复的数据准备流程
- 开发 REST/JSON API 集成和实时数据摄取框架
- 通过 Azure DevOps 和基于 Git 的 CI/CD 自动化交付流程
- 为数据摄取和转换管道创建可复用模板
- 构建自动化单元测试、回归测试和集成测试框架
- 为商业智能、报告和高级分析准备并整理数据集
- 与分析团队合作建立语义模型和关键绩效指标
- 开发经过性能优化的自助式分析模型
- 在需要时为终端用户提供数据可视化支持
- 主导技术设计评审并指导初级工程师
- 与跨职能团队、业务分析师和利益相关者收集并完善数据需求
- 使数据工程计划与业务和 IT 目标保持一致
- 支持架构路线图并评估新兴技术
- 发现运营效率低下之处，并向高层管理层提出改进建议
任职要求
- 计算机科学、信息系统、工程或相关专业学士学位
- 拥有五至八年设计和开发企业级数据解决方案的经验
- 熟练掌握 Databricks、Azure Fabric、PySpark、SQL 和 Azure DevOps
- 具备 Azure Data Factory、ADLS Gen2 和 Azure SQL Server 的实际经验
- 深入了解 Microsoft Azure 数据架构，包括数据仓库、数据湖和数据目录
- 具备 Power BI 经验；拥有 Tableau 或 Looker 经验者优先
- 了解 CI/CD 自动化、Git，以及使用 ARM、Bicep 或 Terraform 实现基础设施即代码
- 了解 GxP、GDPR/HIPAA 以及相关 CFR、CTR 和 CTD 法规
- 具备与 IT 和业务利益相关者合作，并将分析和数据科学成果嵌入业务流程与工作流的实践记录
- 具备出色的书面和口头沟通能力
- 能够独立及协作工作，并按关键期限完成任务