
高级数据工程师 - 波兰远程
加入 Valtech,担任高级数据工程师,构建支持分析、机器学习、生成式人工智能和生产数据产品的云数据平台。 你将开发可扩展的数据管道、湖仓架构和可靠的数据服务,以支持现代人工智能与分析工作负载。
描述
- 为分析、人工智能和数据产品设计、开发并优化云数据平台。
- 为结构化和非结构化数据创建可靠的批处理、流处理和近实时数据管道。
- 开发稳健的数据摄取、转换和整理流程。
- 使用 Databricks 或 Microsoft Fabric 构建湖仓解决方案和奖牌层架构。
- 为分析、机器学习、因果分析、优化、生成式人工智能、大语言模型、检索增强生成和基于智能体的应用生成可信数据集。
- 使用 Airflow、dbt、Databricks Workflows、Azure Data Factory 或同类工具创建数据模型并自动化工作流编排。
- 采用事件驱动和流处理模式,同时建立治理、血缘、质量控制、访问管理和可观测性机制。
- 跟踪数据新鲜度、管道韧性、SLA 性能、可扩展性、效率和运营成本。
- 为下游机器学习和人工智能解决方案提供服务层、API、特征输入和分析接口。
- 通过利益相关者调研和有依据的建议,明确并改进业务需求。
- 与数据科学家、机器学习工程师、分析师、平台团队和业务利益相关者合作。
- 帮助团队采用数据产品并推进数据与人工智能工程实践。
任职要求
- 具备 Apache Spark 和 Delta Lake 的实际操作经验。
- 具备扎实的 Python 和 SQL 编程能力。
- 具备交付批处理和流处理管道以及可投入生产的数据平台的专业经验。
- 熟悉数据建模、数据质量和数据治理。
- 在 AWS 数据服务和 Databricks Lakehouse,或 Microsoft Azure/Fabric 及相关工具方面具备丰富实践经验。
- 在一种云平台和技术路径上具备深入专长;了解 Snowflake 或 GCP 者优先,但非必需。
- 具备设计湖仓架构和使用分布式数据系统的经验。
- 深入理解数据管道的可扩展性、可靠性和性能要求。
- 具备有效的问题解决能力和协作工作方式。
- 具备敏捷或咨询环境经验者优先。
- 具备生成式人工智能和人工智能数据平台、数据管道 CI/CD、Terraform 或 CloudFormation、Kafka、Spark 优化、高级分析或机器学习工作负载,或大规模数据产品经验者优先。
- 请提交一份详细说明相关经验和专长的简历。
福利待遇
- 每年 24 个带薪工作日的年假。
- 法定节假日包含在福利范围内。
- 每年最多 20 天病假。
- 每年最多 20 天无薪假。
- 医疗保险。
- 可选择 Multisport 卡或 Multikafeteria。
- 提供产假和陪产假支持。
- 内部研讨会和学习活动。
- 报销职业认证费用。
- 有机会参与本地和全球专业社群。
- 通过成长框架设定期望,并规划通往所选职业发展路径的进阶计划。
- 导师计划提供成为导师或被指导者的发展机会,并帮助员工晋升至更高职位。
- 福利方案会随着服务年限增加而逐步扩展。
- 提供灵活的远程和混合办公选项,具体取决于所在国家的可用性。
- 通过国际流动和职业发展项目实现职业晋升。
- 可使用现代化工具、培训资源和行业专家支持。
- 在整个面试过程中提供合理便利。









