数据工程师（Azure、Spark）— 乌克兰远程办公
构建可扩展的 Azure 数据平台和数据管道，为分析、报告和数据驱动决策提供支持。与多个团队协作开发 Spark 工作流和可靠的数据处理方案。
描述
- 构建可扩展、可靠的数据平台和管道，满足分析与运营需求。
- 使用 Apache Spark、Databricks 上的 PySpark 等分布式框架创建数据处理工作流。
- 借助 Azure 服务推进云数据平台建设，包括 Data Factory、Synapse、Microsoft Fabric、Databricks、Event Hub 和 Azure Data Lake Storage。
- 集成并处理内部和外部数据，同时确保数据的一致性、质量和可靠性。
- 负责数据管道的可靠性、监控和性能。
- 与分析师、数据科学家和工程师合作，将业务与分析需求转化为稳健的数据解决方案。
- 改进数据工程实践，包括数据管道标准、测试和运营可靠性。
- 评估并协助引入适用于数据工程环境的工具和技术。
任职要求
- 具备至少四年数据工程或数据处理平台构建的实际经验。
- 熟练使用 SQL，并具备扎实的 Python 经验，能够开发和维护数据管道。
- 具备 Apache Spark 或 PySpark 等分布式处理框架的经验；有 Databricks 经验者优先。
- 具备设计和实施云数据管道的实践经验，最好使用过 Azure。
- 曾为生产级分析系统设计数据管道和数据模型。
- 了解 ETL/ELT 设计、维度建模和数据仓库原理。
- 具备现代数据湖架构及 Parquet、JSON 等格式的经验。
- 使用过 Airflow 等工作流编排工具。
- 具备数据库开发和性能优化经验。
- 能够在较少监督下设计可扩展、易维护的数据解决方案。
- 具备良好的沟通与协作能力。
- 具备英语专业工作能力。
- 具备 Snowflake、BigQuery 或 Redshift 等云数据仓库的经验。
- 具备 Event Hub、Kafka 或 Spark Streaming 等流处理技术的经验。
- 具备 Delta Lake 或其他 Lakehouse 技术的经验。
- 熟悉 CI/CD 实践和基于 Git 的开发工作流。
- 具备在敏捷开发环境中工作的经验。
福利待遇
- 支持远程办公。
