
高级 Azure Databricks 数据工程师
在 AVANTTi 担任高级数据工程师,构建 Azure Databricks 数据管道及 ETL/ELT 工作流。 为分析和业务需求提供可扩展的企业数据系统支持。
描述
- 使用 Azure Databricks、PySpark、Azure Data Factory、Python 和 Azure Data Lake 构建并优化数据管道。
- 开发和维护用于企业集成与分析的 ETL/ELT 工作流。
- 从多个系统摄取、转换、验证和核对数据。
- 对数据进行画像和分析,以发现质量问题并保障其一致性与可靠性。
- 编写并调优复杂 SQL 查询,以提高数据处理效率。
- 排查大规模工作负载中的问题并提升性能。
- 解决影响 Azure Data Factory 管道、Databricks 作业和数据工作流的二级生产事故。
- 监控并支持生产管道,确保可用性、可扩展性和运营效率。
- 协助在开发、预发布和生产环境中进行部署与发布。
- 协调多个项目的优先级,独立开展工作并按时完成任务。
任职要求
- 拥有八年以上数据工程经验。
- 具备数据工程和 ETL 开发的实践经验。
- 拥有扎实的 Azure Databricks 和 Azure Data Factory (ADF) 实际应用经验。
- 具备高级 ETL/ELT 开发和数据转换技能。
- 具备高级 SQL 技能,包括编写、优化和调优复杂查询。
- 具备 Python 和 PySpark 使用经验。
- 具备 Azure Data Lake 和企业数据集成经验。
- 具备数据分析、验证、画像和质量保证经验。
- 具备支持、监控和排查生产管道问题的经验。
- 能够独立工作、保持条理并管理优先级。
- 具备出色的口头和书面沟通能力。
- 英语水平高级。
- 优先考虑:具备 CI/CD 管道和 DevOps 实践经验。
- 优先考虑:熟悉 Git、Azure DevOps 或同类版本控制与部署工具。
- 优先考虑:熟悉云监控、日志记录和可观测性工具。
福利待遇
- 签订 CLT 劳动合同。
- 完全远程办公。
相关职位

