資深 Databricks 資料工程師（AI 平台）
為一家全球保險與資產管理公司建置 Databricks 與雲端資料平台。 支援受治理的分析、機器學習及生成式 AI 解決方案。
說明
- 使用 Databricks、Spark、Python 和 SQL 建置並維護可擴充的資料管線與資料產品。
- 建立並改善企業內部及第三方資料來源之間的批次、串流和即時整合。
- 採用 Delta Lake 和 Medallion 模式實作 Databricks Lakehouse 架構。
- 交付用於分析、預測建模、機器學習和生成式 AI 的資料產品。
- 與資料科學家和 AI 工程師合作，為 AI 與機器學習應用情境準備、轉換並治理資料。
- 建立特徵工程管線，並支援機器學習生命週期流程。
- 建置用於 RAG、向量與語意搜尋，以及大型語言模型應用的資料解決方案。
- 改善 Spark 工作、SQL 工作負載和資料框架的效能、擴充性與成本效益。
- 建立資料品質、可觀測性、血緣、治理和監控能力。
- 符合資料隱私、安全和負責任 AI 標準。
- 支援資料平台的 CI/CD、基礎架構即程式碼和 DataOps。
- 指導初階工程師並落實良好的工程實務。
- 與資料科學家、AI 工程師、架構師和業務利害關係人合作，交付可信且受治理的資料產品。
- 透過穩健、安全且受治理的資料平台支援企業 AI 和生成式 AI 計畫。
職位要求
- 具備電腦科學、資訊系統、工程、數學或相關領域的學士學位。
- 至少 7 年資料工程、ETL 開發或大型資料平台相關經驗。
- 至少 3 年 Databricks 和 Apache Spark 實務經驗。
- 具備扎實的 Python 和 SQL 技能，以及分散式資料處理經驗。
- 具備建置雲端資料湖、資料倉儲和 Lakehouse 架構的經驗。
- 具備支援 AI、機器學習或進階分析計畫的經驗。
- 了解資料建模、治理和企業資料管理。
- 具備在 AWS、Azure 或 Google Cloud 上建置和調校大型資料管線的經驗。
- 具備 Databricks Delta Lake、Unity Catalog、Delta Live Tables、MLflow、Mosaic AI 和 Databricks Workflows 的經驗。
- 具備生成式 AI、大型語言模型、RAG、向量資料庫或 AI 驅動應用的實務經驗。
- 熟悉 LangChain、Semantic Kernel、OpenAI API、Hugging Face 或同類工具。
- 具備特徵儲存庫、模型訓練管線和 MLOps 經驗。
- 具備 Kafka、Event Hub 或其他串流技術經驗。
- 持有 Databricks Certified Data Engineer Professional 或同等雲端認證者優先。
- 精通 Databricks 平台工程。
- 具備 Apache Spark 開發經驗。
- 具備 AI 和機器學習資料工程專業知識。
- 具備生成式 AI 資料解決方案經驗。
- 具備 Lakehouse 架構經驗。
- 精通資料建模和資料倉儲。
- 精通資料治理和安全。
- 具備資料可觀測性和可靠性工程經驗。
- 具備 AWS 或 Azure 雲端資料平台經驗。
- 具備 DataOps、CI/CD 和自動化經驗。
- 具備技術領導和指導經驗。
福利待遇
- 以獨立承包商（PJ）身分合作。
- 採混合辦公安排，每週有三天於聖保羅 Pinheiros 辦公室現場工作。