資深資料運維工程師
打造支援 Scout Motors 電動卡車與 SUV 的 Databricks 和 AWS 資料平台。 設計資料管線、基礎架構、BI 儀表板與機器學習模型。
說明
- 協助設計、自動化、維護及支援以 Databricks、AWS 和基礎架構即程式碼打造的企業雲端資料平台。
- 主導企業級 Databricks ETL 和 ELT 管線的設計、開發、最佳化與營運。
- 使用 PySpark、Spark SQL、Delta Lake 和 Databricks Workflows，建置並維護可擴充的批次與串流管線。
- 設定並最佳化 Databricks 叢集，以提升效能、擴充性、可靠性和成本效益。
- 與軟體開發及系統團隊合作，建立資料整合解決方案。
- 使用 Lucid、Talend、Erwin 和 MySQL Workbench 設計並建置資料模型。
- 定義並改善企業資料模型。
- 評估應用程式資料系統是否符合資料治理政策。
- 建置 Python ETL 和 ELT 基礎架構、自動化及資料轉換解決方案。
- 建立 BI 儀表板以呈現趨勢和預測。
- 設計並實作資料基礎架構元件，以達到高可用性、可靠性、擴充性和效能。
- 設計、訓練並部署機器學習模型。
- 實作監控機制，以便及早找出並處理潛在問題。
- 與安全團隊合作，符合產業標準和法規遵循要求。
- 與產品經理、開發人員及業務合作夥伴協作，交付穩健可靠的系統。
- 定期與 Scout 同事當面會談，並前往參加公司活動。
職位要求
- 具備電腦科學、資訊科技或相關領域學士學位，或同等工作經驗。
- 至少 8 年製造業或汽車業 DataOps 工程實務經驗。
- 具備串流與事件驅動架構經驗。
- 具備導入 Databricks 資料湖倉解決方案的經驗。
- 具備基礎架構即程式碼經驗，包括 Terraform。
- 精通使用 Python 和 SQL 建置資料管線。
- 具備 AWS 資料服務經驗，例如 Glue、Kinesis 和 Firehose，或同類服務。
- 具備結構化、非結構化及時間序列資料庫經驗。
- 深入了解雲端資料儲存服務，例如 RDS、DynamoDB、DocumentDB、MongoDB、Cassandra 和 InfluxDB。
- 具備多年使用 AWS 和 Azure 等雲端平台的經驗。
- 展現開發並部署可擴充機器學習模型的能力。
- 具備設計、訓練和部署機器學習模型的實作經驗。
- 能運用機器學習技術取得可行動的洞察。
- 能運用機器學習演算法預測趨勢並支援決策。
- 具備優異的問題解決與疑難排解能力。
- 具備良好的溝通與協作能力。
- 必須年滿 18 歲。
福利待遇
- 醫療、牙科、視力及收入保障保險計畫。
- 提供雇主配對提撥且立即歸屬的 401(k) 計畫。
- 每年累計 20 天計畫性帶薪休假。
- 每年 40 小時非計畫性帶薪休假。
- 每年 14 天公司假日或彈性假日。
- 為各種性別的生育及收養父母提供最多 16 週帶薪育嬰假。
- 提供喪親、陪審團服務、投票或服兵役帶薪假。
- 薪酬設計旨在支持身體、心理及財務福祉。
- 有機會從零開始打造產品與公司。
