Valtech 北馬其頓遠端資深資料工程師
加入 Valtech,擔任資深資料工程師,打造支援分析、人工智慧、生成式人工智慧與資料產品的雲端資料平台。此職位著重於可擴充的資料管線、湖倉架構、資料治理與可靠的資料交付。
說明
- 建置並最佳化用於分析、人工智慧與資料產品的雲端資料平台
- 使用 Spark 和 Delta Lake 等工具開發可靠的批次、串流與近即時資料管線
- 為結構化與非結構化資料建立資料擷取、轉換與整理工作流程
- 使用 Databricks 或 Fabric 實作湖倉架構與獎章分層
- 為分析、機器學習、因果建模與最佳化提供整理完成的資料集
- 開發涉及大型語言模型、檢索增強生成、向量搜尋與代理程式的生成式人工智慧資料流程
- 設計可擴充的邏輯與實體資料模型
- 使用 Airflow、dbt、Databricks Workflows、Azure Data Factory 或同類工具編排工作流程
- 採用資料治理、資料血緣、資料品質、存取控制與安全性實務
- 建立資料新鮮度、管線可靠性與 SLA 效能監控
- 支援 API、特徵輸入與分析端點等資料服務層
- 最佳化管線與基礎設施,以提升效能、可擴充性與成本效益
- 與利害關係人釐清並完善業務需求
- 與資料科學家、機器學習工程師、分析師、平台團隊及業務利害關係人合作
- 支援資料產品採用,並推動資料與人工智慧生態系統實務
職位要求
- 具備資深資料工程師層級的經驗
- 熟悉 Apache Spark 與 Delta Lake,並具備實務操作經驗
- 具備紮實的 Python 與 SQL 程式設計能力
- 具備建置批次與串流資料管線的實際經驗
- 具備交付可用於正式環境之資料平台的經驗
- 熟悉資料建模、資料品質與資料治理原則
- 具備 AWS 資料服務與 Databricks Lakehouse,或 Microsoft Azure/Fabric 服務與工具的實務經驗
- 至少精通 AWS 或 Azure/Fabric 其中一個平台方向
- 具備湖倉架構與分散式資料系統經驗
- 深入了解資料管線的可擴充性、可靠性與效能
- 具備優良的問題解決能力,並能以協作方式進行跨職能工作
- 熟悉 Snowflake 或 GCP 者加分,但非必要
- 具備敏捷或顧問環境經驗者加分
- 具備 AWS 與 Azure/Fabric 跨平台經驗、生成式人工智慧與人工智慧資料系統、資料管線 CI/CD、Terraform 或 CloudFormation、Kafka、Spark 最佳化、進階分析、機器學習工作負載、資料產品或大型分析平台等經驗者,更具優勢
- 未指定學歷要求
福利待遇
- 私人醫療保險
- 透過教育計畫提供培訓與認證
- 身心健康計畫
- 工作場所免費提供咖啡、飲料與零食
- 公司聚餐
- 公司活動,例如滑雪旅行、卡丁車、雷射槍、品酒、野餐與烹飪課程
- 具競爭力的薪資
- 24 天休假
- 全體團隊年度活動
- 具挑戰性的專案
- 支持專業成長的包容性文化
- 開放的回饋文化
- 提供合理的面試便利安排
