高級資料工程師 – AI 與資料 | EY 金奈
EY 正在金奈招聘高級資料工程師,為諮詢客戶建構可擴充的 AWS 與 Databricks 解決方案。此職位著重於資料管線、CI/CD 交付與企業級分析基礎架構。
說明
- 負責資料解決方案開發與部署生命週期中的 CI/CD 管線設計與管理
- 在各種來源系統與目標系統之間進行資料對映與整合
- 建構並最佳化資料與 AI 解決方案,包括工程管線與資料模型
- 撰寫符合正式環境要求的 Python、PySpark 與 SQL 程式碼
- 運用 DevOps 實務交付企業級正式環境部署
- 透過衝刺規劃、檢視與持續改善參與敏捷交付
- 套用資料治理與資料品質標準,以支援資料完整性與合規性
職位要求
- 具備 5 至 8 年資料與 AI 解決方案、工程管線、資料建模與效能調校相關經驗
- 具備開發資料擷取框架與可擴充管線的豐富經驗
- 具備 AWS 服務的進階經驗,包括 S3、EC2、Glue、Lambda 與 Secrets Manager
- 具備 Databricks 實務工作經驗
- 熟悉 DBT(Data Build Tool)
- 具備使用 Apache Airflow 進行工作流程協調的經驗
- 具備 Python、PySpark、Spark 與 Scala 程式設計能力
- 具備使用 Git、Jenkins 與 Apache Subversion 的經驗
- 至少 3 年超大型資料倉儲環境工作經驗
- 至少 3 年資料倉儲架構、ETL/ELT 流程,以及報表或分析工具相關經驗
- 具備在資料工程環境中使用 Python 和/或 Java 開發的經驗
- 熟悉 EMR、Hadoop、Databricks、Hive 與 PySpark
- 深入理解資料治理與資料品質標準
- 能夠開發高效率的 Spark 工作,並在大規模環境中進行效能調校
- 具備進階 SQL 與資料查詢能力
- 具備良好的書面與口頭溝通能力
- 具備 AWS、Databricks 或同等專業技術認證者尤佳
- 熟悉雲端與企業整合技術
