中级数据工程师（Azure、Spark）— 波兰远程
构建 Azure 数据平台和可扩展的数据管道，为分析与运营提供支持。 开发 Spark 工作流、数据模型及可靠的云端数据解决方案。
描述
- 构建可扩展、可靠的数据平台和管道，支持分析与运营
- 使用 Apache Spark、PySpark 和 Databricks 开发分布式数据处理工作流
- 使用 Azure Data Factory、Synapse、Event Hub 和 Azure Data Lake Storage 扩展云数据平台
- 创建用于分析、报告和下游应用的数据模型
- 集成并处理多个来源的数据，同时确保质量和一致性
- 监控并提升管道的性能、可靠性和扩展能力
- 与分析师、数据科学家和工程师合作，将需求转化为解决方案
- 完善数据工程实践、测试流程和运营可靠性
- 评估并采用数据工程生态系统中的工具与技术
任职要求
- 至少四年数据工程或数据处理平台构建的实践经验
- 具备扎实的 SQL 技能
- 具备使用 Python 开发管道的丰富经验
- 具有 Apache Spark 或 PySpark 等分布式处理框架的经验；熟悉 Databricks 者优先
- 具有在云环境中设计和实施管道的实践经验；熟悉 Azure 者优先
- 具有生产级分析系统和数据建模经验
- 了解 ETL/ELT 设计、维度建模和数据仓库原理
- 具有现代数据湖架构及 Parquet、JSON 等格式的经验
- 熟悉 Airflow 等工作流编排工具
- 具有数据库开发和优化经验
- 能够在较少监督下设计可扩展的解决方案
- 具备良好的协作与沟通能力
- 具备专业英语水平
福利待遇
- 职业发展机会
- 支持性的工作环境
- 具有竞争力的福利
- 可选择远程工作