西班牙远程大数据开发工程师(Talan)
为 Talan 的技术咨询客户构建 Spark、Scala 和 SQL 数据湖管道。 支持市场风险分析、生产可靠性和敏捷交付。
描述
- 使用 Apache Spark、Scala 和 SQL 创建并维护数据湖管道
- 为海量数据集开发可扩展的处理解决方案
- 使用 Control-M 和 Airflow 协调批处理工作流及其依赖关系
- 为市场风险用例交付数据摄取、转换、验证和发布流程
- 提升 Spark 工作负载的性能、可靠性和可扩展性
- 审查技术和功能需求,识别差距并提出解决方案
- 跨多个团队协助交付规划
- 响应生产事件并开展根因分析
- 持续帮助改进运营流程
- 与敏捷小组、功能相关方和生产支持团队协作
- 遵循软件工程和数据开发最佳实践
任职要求
- 至少两年大数据、数据湖或基于云的数据平台专业经验
- 具备使用 Apache Spark、Scala 和 SQL 进行大规模数据处理的实践经验
- 了解数据湖架构、数据质量控制、数据血缘和面向生产的数据管道
- 具备较强的分析和解决问题能力
- 具备清晰的沟通能力和有效的团队协作能力
- 能够与技术和功能相关方合作
- 以适应性强、积极主动的方式应对技术挑战
- 英语 C1 水平或同等职业流利度
- 具备 Control-M 和 Airflow 经验者优先
- 具备 Databricks、Azure 和 AWS 经验者优先
- 具备 YARN 和基于云的计算经验者优先
- 具备使用 GitHub、Jenkins 和 SonarQube 的 CI/CD 及软件工程经验者优先
- 具备银行生产环境、运营监控以及 ServiceNow 等工具经验者优先
- 了解市场风险流程者优先,包括损益、估值、风险指标和监管报告数据流
- 具备西班牙语能力者优先
福利待遇
- 全职永久雇佣合同
- 职业成长和发展机会
- 持续学习机会
- 多元文化的国际化工作环境
- 私人医疗保险
- 人寿保险
- 通过灵活薪酬计划提供午餐卡和交通卡
- 在线语言课程
- 适用于远程工作的 Smart Office Pack
- 完全远程办公,并可灵活选择工作地点
