初級資料工程師
加入 Stefanini LATAM，擔任初級資料工程師，開發執行於 Google Cloud 上的 ETL 與 ELT 管線。運用 Python、SQL、Spark、BigQuery 與 Airflow 建構雲端資料解決方案。
說明
- 設計、開發及維護批次與事件驅動的 ETL 和 ELT 資料管線
- 在 Google Cloud Platform 上實作資料處理與儲存解決方案
- 使用 Python、SQL 以及 Spark 或 PySpark 建立資料處理流程
- 使用 BigQuery、Cloud Storage、Dataflow、Dataproc 與 Pub/Sub
- 使用 Airflow 與 Cloud Composer 實作及維護編排工作流程
- 參與 Data Lake、Data Warehouse 及／或 Lakehouse 架構的開發與演進
- 為資訊處理與分析設計並最佳化資料模型
- 透過 CI/CD 與基礎架構即程式碼實務自動化流程與部署，優先使用 Terraform
- 建立資料品質、完整性、可追溯性與可用性的控管機制
- 最佳化管線、查詢與流程，以提升效能、可擴充性及資源使用效率
- 參與雲端資料平台遷移與現代化計畫
- 與架構、資料科學、BI、開發及業務團隊協作
- 記錄已實作的架構、管線、模型與解決方案
- 為團隊提供技術支援並推廣資料工程最佳實務
職位要求
- 了解 Google Cloud Platform（GCP）
- 具備 BigQuery、Cloud Storage、Dataflow 及／或 Dataproc、Pub/Sub、Python、進階 SQL 以及 Apache Spark 或 PySpark 的經驗或知識
- 具備開發 ETL 與 ELT 管線的經驗
- 了解資料建模與轉換
- 了解用於編排的 Airflow 或 Cloud Composer
- 具備 dbt 及／或 Dataform、Terraform、Git 與 CI/CD 流程知識者佳
- 了解 Data Lake、Data Warehouse 及／或 Lakehouse 架構
- 了解 Hadoop 及／或 Kafka
- 了解關聯式資料庫與 NoSQL 資料庫
- 了解機器學習及／或 Vertex AI
- 了解資料治理與資料品質
福利待遇
- 未列出具體福利；Stefanini 福利區段存在，但未提供進一步詳情