Valtech 是一家全球数字机构，帮助组织改善客户体验并推进数字业务发展。其工作融合技术、营销、数据和人工智能，为商业计划、企业数字化转型以及提升营销成效提供支持。Valtech 在全球设有团队和办公室，与企业合作开展数字战略、体验创新，并通过切实运用数据，塑造更高效的数字化未来。
高级数据工程师——葡萄牙远程职位
任职于 Valtech，负责开发支持分析、人工智能和生产级数据产品的云数据平台。工作涵盖可扩展数据管道、湖仓架构、生成式人工智能和机器学习系统。
描述
- 设计、开发和改进支持分析、人工智能及数据产品的云数据平台
- 为结构化和非结构化信息构建可靠的批处理、流处理和近实时数据管道
- 开发数据摄取、转换、整理和服务工作流
- 使用 Databricks 或 Fabric 实施湖仓设计和奖牌式架构
- 为分析、机器学习、因果建模、优化、生成式人工智能、RAG 及基于智能体的应用生成经过整理的数据集
- 应用 MLflow、Unity Catalog、Azure ML 及同类平台工具，支持生产级人工智能系统
- 使用 Airflow、dbt、Databricks Workflows、Azure Data Factory 或同类工具创建数据模型并协调工作流
- 建立数据治理、血缘、质量、访问控制和可观测性实践
- 跟踪数据新鲜度、管道可靠性、SLA 性能、可扩展性、效率和成本
- 为下游机器学习和人工智能应用提供 API、特征输入和分析端点
- 通过与利益相关者合作及开展分析，明确并完善业务需求
- 与数据科学家、机器学习工程师、分析师、平台团队和业务利益相关者密切合作
- 推动数据产品的采用，并促进数据与人工智能实践的发展
任职要求
- 具备 Apache Spark 和 Delta Lake 的实践经验
- 具备扎实的 Python 和 SQL 编程能力
- 拥有构建批处理和流处理管道以及生产级数据平台的实际经验
- 深入了解数据建模、质量和治理原则
- 具备 AWS 数据服务与 Databricks Lakehouse，或 Microsoft Azure/Fabric 及相关工具的实践经验
- 具备湖仓架构和分布式数据系统经验
- 深入理解数据管道的可扩展性、可靠性和性能
- 具备好奇心和良好的问题解决能力
- 拥有跨职能团队协作经验
- 具备敏捷或咨询环境经验者优先
- 熟悉 Snowflake 或 GCP 者优先，但非必需
- 具备 AWS 与 Azure/Fabric、生成式人工智能和人工智能数据系统、数据管道 CI/CD 及基础设施即代码方面的专业能力者优先，但非必需
- 具备 Kafka、Spark 优化、高级分析和机器学习工作负载或大规模分析平台方面的额外经验者优先
福利待遇
- 根据所在国家，可享受远程和混合办公的灵活性
- 通过国际流动和专业发展项目实现职业成长
- 有机会接触当前工具、培训和行业专家，持续学习
- 具有竞争力的薪酬方案