軟體工程師 III——資料工程(欽奈,現場辦公)
為 LexisNexis Risk Solutions 建置並最佳化以 Azure 為基礎的資料管線與平台。 支援多個業務領域的企業分析、報表及營運資料計畫。
說明
- 使用 Azure Data Factory、Databricks 和 Azure 儲存服務建置並維護可擴充的 ETL/ELT 管線
- 將關聯式資料庫、API 和檔案型資料來源載入 Azure 平台
- 使用 ECL 在 HPCC 上,以及使用 SparkSQL 和 PySpark 在 Azure 中建立轉換
- 開發、維護並最佳化 Azure Databricks 筆記本和工作
- 實作高效能 Spark 工作負載,以處理大規模資料
- 使用 ECL 在 HPCC 上,以及在 Delta Lake、Parquet 或同類欄式格式中建立資料模型
- 調校 ECL、SQL 和 Spark 工作負載,以提升可擴充性與效能
- 與分析師、資料科學家及應用程式團隊合作,定義資料需求並推進工程實務
職位要求
- 具備進階 SQL 技能,精通資料轉換邏輯
- 具備資料倉儲原理和 ETL/ELT 方法的工作知識
- 具備 Azure Databricks、Spark SQL 和 PySpark 的實務經驗
- 具備使用 Azure Data Factory、ADLS Gen2 以及 Azure SQL 或 Synapse 的經驗
- 具備處理大型結構化和半結構化資料集的經驗
- 熟悉敏捷軟體開發實務
- 願意學習新技術和營運流程
- 了解完整的軟體開發生命週期(SDLC),從需求與設計到維護
- 了解軟體工程原則、設計模式和開發最佳實務
- 能夠蒐集、釐清並記錄需求
- 具備良好的書面和口語溝通能力
- 具備有效的分析與問題解決能力
- 熟悉保險術語
福利待遇
- 福利依員工所在國家/地區而異
- 為申請人提供住宿和招募流程支援
- 提供平等就業機會
