中高级 Azure Databricks 数据工程师——哥伦比亚远程
在 GFT Technologies 设计和优化 Azure 与 Databricks 数据管道及云架构。为分析、人工智能和机器学习准备可信数据。
描述
- 设计、构建和优化基于 Azure 与 Databricks 的数据架构
- 实施 ETL 和 ELT 流程，整合多个信息源
- 设计和管理 Data Lake 与 Lakehouse 架构
- 监控数据管道，确保一致性、质量、可追溯性和安全性
- 为高级分析、报表和机器学习模型准备并优化数据集
- 与 BI、分析和数据科学团队合作，改善信息访问
- 定义并实施数据治理和质量控制
- 为数据解决方案实施持续集成和持续部署流程
- 为分布式处理和大规模数据设计可扩展解决方案
- 识别可优化成本、性能和处理时间的改进措施
- 评估新技术和最佳实践，推动数据平台发展
任职要求
- 系统工程、工业工程、电子工程、机电一体化工程或相关专业学位
- 三至五年数据工程师工作经验
- 熟练掌握 SQL
- 具备 Python 或 Scala 使用经验
- 具备使用 PySpark 进行分布式处理的经验
- 具备 Azure Databricks 使用经验
- 具备 Azure Data Factory 使用经验
- 具备 Azure Data Lake Storage Gen2（ADLS Gen2）使用经验
- 了解 Delta Lake
- 具备 Lakehouse 架构经验
- 了解 Medallion 架构
- 具备维度建模经验
- 具备关系型数据库经验
- 具备 NoSQL 数据库经验
- 了解数据治理和数据质量
- 具备 Unity Catalog 使用经验
- 具备 Delta Live Tables（DLT）使用经验
- 了解 Great Expectations
- 具备通过 Event Hubs 进行流式处理的经验
- 具备 Azure DevOps 和 Git 使用经验
- 了解 Entra ID
- 了解 RBAC
- 熟练使用 Power BI
- 熟练使用 Visual Studio Code
- 具备数据集成和 ETL/ELT 流程经验
- 具备数据分析和建模经验
- 拥有 Azure 数据工程认证者优先
- 具备人工智能和机器学习项目经验者优先
- 了解 DataOps 和数据平台自动化者优先
福利待遇
- 弹性工作时间
- 远程办公
- 个性化职业发展计划
- 培训项目
- 在跨学科团队中工作
- 多元化的全球团队
- 参与面向行业领先客户的高影响力项目