
中階資料工程師
為數位轉型顧問專案建置 ETL、ELT 管線與 AWS 資料湖架構。提升資料品質、正式環境可靠性及雲端成本效益。
說明
- 建置並最佳化 ETL 與 ELT 管線。
- 整合多個來源的資料,同時確保品質、安全性與可靠性。
- 開發並維護資料湖、資料倉儲及湖倉一體架構。
- 建立資料模型並協調工作流程。
- 監控正式環境系統。
- 提升雲端效能並控管成本。
- 協助資料遷移及技術文件撰寫。
- 參與 CI/CD 工作流程。
- 與跨職能團隊合作。
- 獨立交付複雜度適中的專案。
- 為初階同事提供技術指導。
職位要求
- 熟練撰寫進階 SQL 並最佳化查詢。
- 使用 Python 執行資料工程工作,包括 PySpark、Pandas、Boto3 和 NumPy。
- 具備 AWS 服務的使用經驗或相關知識,包括 S3、Glue、Glue Data Catalog、Athena、Redshift、Lambda、Step Functions、RDS 和 DynamoDB。
- 使用 Apache Airflow 和 dbt 協調及轉換資料。
- 了解維度建模、關聯式資料庫及 NoSQL 基礎知識。
- 了解資料湖、資料倉儲及湖倉一體架構概念。
- 了解 Git、合併請求、程式碼審查、以 pytest 為基礎的測試,以及 CI/CD 基礎知識。
- 使用 CloudWatch 監控系統,並透過 IAM、KMS 和 Secrets Manager 實施安全控制。
- 了解資料遷移、使用 Terraform 或 CloudFormation 的基礎架構即程式碼,以及機器學習的基礎知識。
- 具備 Kafka、Kinesis、MSK、CDC、Databricks、Delta Lake、Apache Iceberg 或 Hudi、Docker、Kubernetes、進階 Terraform、可觀測性、資料治理與資料血緣、AWS DMS 或 SCT、Power BI 或 QuickSight,以及機器學習模型整合經驗者優先。
- 能獨立交付複雜度適中的專案。
- 能與技術及業務團隊有效溝通並進行分析。
- 重視資料品質、效能及可靠性。

