軟體工程師 III,資料工程 - RELX,清奈現場辦公
為LexisNexis Risk Solutions建置Azure與HPCC資料管道。開發支援風險分析、報告及營運資料需求的可擴充平台。
說明
- 使用Azure Data Factory、Databricks和Azure儲存服務建立並維護可擴充的ETL與ELT管道
- 將關聯式資料庫、API及檔案型資料來源載入Azure資料平台
- 使用ECL在HPCC上轉換資料,並透過Azure Databricks使用Spark SQL與PySpark在Azure中轉換資料
- 開發、維護及改善Azure Databricks筆記本與工作
- 建立高效率的Spark工作負載以處理大型資料集
- 使用ECL在HPCC上建立資料模型,並在Delta Lake、Parquet及其他欄式格式中建立資料模型
- 調校ECL、SQL與Spark工作負載,以提升效能與可擴充性
- 與業務分析師、資料科學家及應用程式團隊合作,釐清資料需求並推進工程實務
- 開發並完善可靠、可擴充且安全的企業資料平台與管道
- 為分析、報告及營運使用情境提供資料解決方案
職位要求
- 在SQL與資料轉換邏輯方面具備扎實能力
- 了解資料倉儲原則以及ETL/ELT模式
- 具備Azure Databricks、Spark SQL與PySpark的實務經驗
- 具備Azure Data Factory、Azure Data Lake Storage Gen2以及Azure SQL或Synapse的經驗
- 具備處理大型結構化與半結構化資料集的經驗
- 熟悉敏捷開發實務
- 具備建設性思維,願意學習新工具與流程
- 了解軟體開發生命週期,包括從需求與設計到實作、測試、部署及維護的各個階段
- 了解軟體工程原則、設計模式與開發最佳實務
- 能夠蒐集、釐清並記錄需求
- 具備良好的書面與口頭溝通能力
- 具備出色的分析與問題解決能力
- 熟悉保險術語
福利待遇
- 福利依員工所在國家而有所不同
- 在招募過程中提供住宿或其他調整方面的支援
