IGT 資料工程師 II
在 IGT 建置 Databricks 與 AWS 資料管線,支援企業分析、營運報表和 AI 計畫。 這是位於美國的全職辦公室工作。
說明
- 使用 Databricks、Apache Spark、SQL 和 Python 建置並維護可擴充的 ELT 與 ETL 管線。
- 為企業分析、營運報表和 AI 應用提供可靠的資料集。
- 運用 Delta Lake 和 Lakehouse 架構實務轉換資料。
- 串接來自業務應用程式、API、資料庫、檔案,以及其他內部和外部來源的資料。
- 與利害關係人、分析師和產品團隊合作,將資料需求轉化為可擴充的解決方案。
- 監控、疑難排解並調校正式環境中的管線,確保其在大規模運作時維持可靠效能。
- 協助將舊有資料流程遷移至現代雲端原生架構。
- 透過驗證、測試、監控和自動化提升資料品質。
- 透過程式碼審查、文件撰寫和知識分享,支援工程標準。
- 尋找自動化和簡化工作、改善企業資料平台的方法。
職位要求
- 具備電腦科學、資訊系統、工程或相關領域的學士學位,或同等實務經驗。
- 至少三年資料工程或相關技術職務經驗。
- 具備扎實的 SQL 開發技能。
- 具備扎實的 Python 程式設計技能。
- 具備使用 Apache Spark 和 Databricks 或同類分散式資料處理平台建置管線的經驗。
- 具備開發現代 ETL 和 ELT 管線的經驗。
- 了解資料模型和資料倉儲。
- 具備雲端資料平台經驗,尤以 AWS 為佳。
- 熟悉 Delta Lake 或同類現代資料儲存技術。
- 具備 Git 和協作式軟體開發經驗。
- 具備優秀的分析、疑難排解和問題解決能力。
- 具備清晰的溝通和協作能力。
- 優先條件:具備使用 S3、IAM、Lambda 或 Glue 等 AWS 服務的經驗。
- 優先條件:具備在 AWS 上使用 Databricks 的經驗。
- 優先條件:具備 Delta Lake 及 Medallion 或 Lakehouse 架構經驗。
- 優先條件:具備 Databricks Workflows、Apache Airflow 或類似協調工具的使用經驗。
- 優先條件:具備開發或使用 REST API 的經驗。
- 優先條件:具備擷取半結構化資料(包括 JSON 和 Excel 檔案)的經驗。
- 優先條件:熟悉資料工程的 CI/CD。
- 優先條件:接觸過 AI/ML 工作流程,或具備為機器學習和生成式 AI 準備資料的經驗。
- 優先條件:具備遊戲、旅宿、金融服務或其他資料密集型產業的經驗。
福利待遇
- 401(k) 儲蓄計畫及公司提撥。
- 醫療保險。
- 牙科保險。
- 視力保險。
- 人壽保險。
- 失能保障。
- 帶薪休假。
- 學費補助。
- 健康促進計畫。
- 視職務和資格條件,可能提供獎金或佣金。
