資深資料工程師——葡萄牙遠端職位
任職於 Valtech,負責開發支援分析、人工智慧與生產級資料產品的雲端資料平台。工作涵蓋可擴充資料管道、湖倉架構、生成式人工智慧與機器學習系統。
說明
- 設計、開發並改進支援分析、人工智慧與資料產品的雲端資料平台
- 為結構化與非結構化資訊建立可靠的批次、串流及近即時資料管道
- 開發資料擷取、轉換、整理與服務工作流程
- 使用 Databricks 或 Fabric 實作湖倉設計與獎牌式架構
- 為分析、機器學習、因果建模、最佳化、生成式人工智慧、RAG 及代理式應用程式產生經整理的資料集
- 運用 MLflow、Unity Catalog、Azure ML 及同類平台工具支援生產級人工智慧系統
- 使用 Airflow、dbt、Databricks Workflows、Azure Data Factory 或同類工具建立資料模型並協調工作流程
- 建立資料治理、資料血緣、品質、存取控制與可觀測性的實務
- 追蹤資料新鮮度、管道可靠性、SLA 效能、可擴充性、效率與成本
- 為下游機器學習與人工智慧應用程式提供 API、特徵輸入與分析端點
- 透過與利害關係人合作及分析,釐清並完善業務需求
- 與資料科學家、機器學習工程師、分析師、平台團隊及業務利害關係人密切合作
- 協助推動資料產品採用,並提升資料與人工智慧實務
職位要求
- 具備 Apache Spark 與 Delta Lake 的實務經驗
- 具備扎實的 Python 與 SQL 程式設計能力
- 具備建立批次與串流管道及生產級資料平台的實務經驗
- 熟悉資料建模、品質與治理原則
- 具備 AWS 資料服務與 Databricks Lakehouse,或 Microsoft Azure/Fabric 及相關工具的實務經驗
- 具備湖倉架構與分散式資料系統經驗
- 深入了解資料管道的可擴充性、可靠性與效能
- 具備好奇心與良好的問題解決能力
- 具備跨職能團隊協作經驗
- 具備敏捷或顧問環境經驗者佳
- 熟悉 Snowflake 或 GCP 者加分,但非必要
- 具備 AWS 與 Azure/Fabric、生成式人工智慧與人工智慧資料系統、資料管道 CI/CD 及基礎設施即程式碼方面的專業能力者佳,但非必要
- 具備 Kafka、Spark 最佳化、高級分析與機器學習工作負載或大規模分析平台方面的額外經驗者佳
福利待遇
- 視所在國家而定,享有遠端與混合辦公彈性
- 透過國際流動與專業發展計畫實現職涯成長
- 有機會接觸目前使用的工具、培訓與業界專家,持續學習
- 具競爭力的薪酬方案
