
大數據開發工程師——西班牙(遠端)
加入 Talan,使用 Spark、Scala 和 SQL 建置資料湖管線。 為市場風險解決方案提供支援,與敏捷交付及生產支援團隊協作。
說明
- 使用 Apache Spark、Scala 和 SQL 建立、強化及支援資料湖管線
- 為大量資料工作負載開發可擴充的處理解決方案
- 透過 Control-M 和 Airflow 協調批次工作流程及其相依性
- 為市場風險使用情境交付資料擷取、轉換、驗證及發布流程
- 評估並提升 Spark 工作負載的效能、可靠性及可擴充性
- 審查技術及功能需求,找出缺口並提出實用的解決方案
- 跨多個團隊協作,協助交付規劃
- 處理生產事件並調查其根本原因
- 持續協助改善營運流程
- 與敏捷小組、職能利害關係人及生產支援團隊合作
- 運用軟體工程及資料開發實務,交付可靠、易維護且可用於生產環境的解決方案
職位要求
- 至少兩年大數據、資料湖或雲端資料平台專業經驗
- 具備使用 Apache Spark、Scala 和 SQL 進行大規模資料處理的實務經驗
- 了解資料湖架構、資料品質控制、資料血緣及生產級管線
- 具備強大的分析思維及問題解決能力
- 具備清晰的溝通能力及有效的團隊合作能力
- 能夠與技術及職能利害關係人合作
- 以適應性強且積極主動的方式解決技術挑戰
- 英語達到 C1 等級或具備同等的專業流利程度
- 具備工作流程編排及排程經驗,尤其具備 Control-M 和 Airflow 經驗者尤佳
- 具備 Databricks、Azure 和 AWS 經驗者尤佳
- 具備 YARN 及雲端運算環境經驗者尤佳
- 具備 CI/CD 及 GitHub、Jenkins 和 SonarQube 等工程工具經驗者尤佳
- 具備銀行生產環境、營運監控及 ServiceNow 等事件工具經驗者尤佳
- 了解市場風險流程,包括損益、估值、風險指標及法規申報資料流者尤佳
福利待遇
- 全職永久僱傭合約
- 完全遠端工作,可彈性選擇工作地點
- 提供專業成長及職涯發展機會
- 持續學習機會
- 多元文化的國際工作環境
- 私人醫療保險
- 人壽保險
- 透過彈性薪酬計畫提供午餐卡及交通卡
- 線上語言課程
- 遠端工作的智慧辦公套裝







