資料工程師，Databricks 與 PySpark
為 AXON Networks 的 AI 驅動電信協調平台建置並維護 Databricks、PySpark 與 SQL 資料管線。 協助確保湖倉資料集可追溯、經過測試並符合正式環境需求；工作地點為馬德里。
說明
- 使用 Databricks、PySpark 與 SQL 開發可擴展的資料擷取與轉換管線。
- 建立並維護 Databricks Jobs 與 Workflows，以進行資料擷取和處理。
- 建置湖倉資料集、管理結構描述變更與資料契約，並保留對上游來源的可追溯性。
- 維護資料品質與新鮮度，確保下游使用者能在規定的處理時限內取得可靠的資料集。
- 為資料管線建立並維護自動化單元、整合與回歸測試。
- 調查 QA 與正式環境中的管線問題、找出根本原因並實施修正。
- 最佳化 Spark 作業與資料轉換，以提升效能與效率。
- 與開發、品質保證、DevOps、產品管理及交付團隊合作，參與軟體生命週期各階段的工作。
- 直接處理正式平台中的大規模電信資料。
職位要求
- 具備電腦科學或相關領域的學士或碩士學位。
- 至少兩年資料工程或類似職務的專業工作經驗。
- 具備 Python、PySpark 與 SQL 的實務經驗。
- 了解資料建模與湖倉概念。
- 熟悉自動化測試及以 Git 為基礎的開發工作流程。
- 具備良好的分析與問題解決能力，包括排除資料處理問題。
- 精通英語與西班牙語。
- 能以混合辦公方式在馬德里工作。
- 具備使用 Apache Spark 與 Databricks 建置 ETL 或 ELT 管線的經驗。
- 具備 Delta Lake、Medallion Architecture、結構描述演進或資料契約相關經驗。
- 具備 Databricks Jobs 或 Workflows 及工作負載最佳化經驗。
- 具備處理大規模或電信資料集的經驗。
- 申請資料必須以英語提交，才會進入審核。
福利待遇
- 具競爭力的薪資與獎勵計畫。
- 彈性工時並可遠距工作。
- 免費停車或 Pluxee 交通通行證。
- Pluxee 餐券。
- 為全家提供私人醫療保險。
- 有機會在國際化環境中工作。
- 生日當天享有帶薪休假。
