
資深資料工程師(保加利亞遠端)
在 Valtech 建置雲端資料平台與資料管線,支援分析、AI 和資料產品。 使用 AWS、Databricks 等雲端環境工作,涵蓋生成式 AI 應用情境。
說明
- 建立並改進雲端資料平台,支援分析、AI 和資料產品。
- 使用 Spark 和 Delta Lake 建置可靠的批次、串流及近即時資料管線。
- 為結構化與非結構化資料開發擷取、轉換和整理工作流程。
- 採用湖倉架構以及青銅、白銀、黃金分層。
- 協助在不同雲端間移轉工作負載,包括重新部署資料管線和資料模型。
- 產出可供部署的資料集,支援分析、機器學習、因果建模和最佳化。
- 為生成式 AI 應用開發資料管線,涵蓋 LLM、RAG、向量資料流程和代理架構。
- 使用 Databricks MLflow、Unity Catalog 或同類工具。
- 建立邏輯和實體資料模型。
- 使用 Databricks Workflows、Airflow、dbt 或同類工具協調工作流程。
- 採用事件驅動和串流架構模式。
- 使用 Unity Catalog、AWS Lake Formation、Microsoft Purview、GCP Dataplex 或類似工具管理資料治理、脈絡、品質和存取控制。
- 監控資料新鮮度、管線可靠性和 SLA 表現。
- 透過 API、特徵輸入和分析端點提供資料。
- 改善資料管線和基礎架構的效能、擴充性及成本效益。
- 釐清利害關係人的需求、檢視需求條件並提出替代方案。
- 與資料科學家、機器學習工程師、分析師、平台團隊和業務利害關係人合作。
- 協助團隊採用資料產品,並為共通實務作出貢獻。
職位要求
- 具備資深資料工程師工作經驗。
- 具備扎實的 Apache Spark 和 Delta Lake 實務經驗。
- 具備扎實的 Python 和 SQL 技能。
- 具備建置批次與串流管線以及正式環境資料平台的實際經驗。
- 熟悉資料建模、資料品質和資料治理。
- 擁有豐富的 Databricks Lakehouse Platform 實作經驗。
- 精通至少一種主要雲端平台:AWS、GCP 或 Azure/Fabric。
- 願意且能夠跨雲端平台工作。
- 具備湖倉架構和分散式系統經驗。
- 深入了解擴充性、可靠性和效能。
- 具有好奇心、解決問題的能力,以及跨職能協作的態度。
- 樂於檢視並挑戰業務需求。
- 適應力強,並有興趣跨平台工作。
- 具備敏捷或顧問經驗者佳。
- 具備其他雲端平台或雲端移轉經驗者加分。
- 具備 Snowflake 經驗者加分。
- 具備生成式 AI 和 AI 資料系統經驗者加分,包括 RAG 管線、向量資料庫和 LLM 資料準備。
- 具備資料管線 CI/CD 和基礎架構即程式碼經驗者加分,包括 Terraform 和 CloudFormation。
- 具備 Kafka 等串流工具、Spark 最佳化或機器學習與實驗平台經驗者加分。
- 具備建置資料產品或大型分析平台經驗者加分。
福利待遇
- 彈性工作安排,包含混合辦公選項,以及 25 天年假。
- 交通補助和 Multisport 卡費用由公司共同補貼。
- 提供優質醫療保險,方便取得醫療服務。
- 提供技術及其他技能訓練、課程和認證的經費。
- 依據績效評估制定個人職涯發展藍圖。
- 提供包含心理諮詢和團隊交流的自我照護計畫。
- 舒適且有助於提升效率的辦公室。
- 團隊活動和公司聚會。
- 專業成長機會。
- 以共同價值觀為指引的文化。
- 國際職涯發展機會。
- 具包容性的文化,並提供無障礙支援。
相關職缺

