資深資料工程經理 – GCP、AI/ML 與 GenAI(美國遠端)
負責從 AWS 到 GCP 的資料平台遷移,並使用 GCP 與 Vertex AI 建置企業級 AI/ML、GenAI 與 MLOps 解決方案。 為全球工程與 IT 服務合作夥伴推動現代化計畫。
說明
- 負責企業級資料平台從 AWS 遷移至 GCP
- 設計可擴充的 GCP 資料平台、資料湖與湖倉
- 使用 GCP 與 Vertex AI 開發 AI/ML、生成式 AI、RAG 與 MLOps 解決方案
- 建置涵蓋資料準備、訓練、驗證、部署、監控、再訓練與生命週期管理的端到端機器學習管線
- 設計擷取、轉換、嵌入、索引、檢索、批次、串流、ETL 與 ELT 管線
- 評估 AWS 環境,並將工作負載對應至相當或更優的 GCP 服務
- 制定涵蓋階段、相依性、風險、回復計畫與目標架構的遷移藍圖
- 使用 Pub/Sub、Dataflow 或 Apache Beam、BigQuery 與 Cloud Storage 設計事件驅動的即時管線
- 建立企業級資料模型、BigQuery 分割與叢集策略,以及分析資料消費模式
- 制定資料治理、品質、血緣、中繼資料、安全、隱私、存取控制與負責任 AI 標準
- 負責 Terraform 自動化、CI/CD、部署、測試,以及 Dev、QA、UAT 與正式環境之間的推進
- 提升效能、可擴充性、延遲、吞吐量、可靠性與雲端成本,同時定義基準和 SLA
- 管理並指導資料工程師、資深資料工程師與技術主管,並進行架構和程式碼審查
- 監控工程進度、交付風險、相依性與里程碑
- 擔任美國利害關係人的主要技術聯絡人,並與業務、產品、資料科學、BI、DevOps、安全與分析團隊合作
- 將業務需求轉化為技術方案,並溝通架構決策、遷移計畫、藍圖、風險與取捨
職位要求
- 具備 15 年以上 GCP 資料工程、資料架構、雲端工程、AI/ML 工程或相關技術領導經驗
- 至少 5 年 GCP 資料工程實務經驗
- 至少 3 年 AI/ML 與 GenAI 實務經驗
- 具備交付 AWS 至 GCP 遷移專案的經驗
- 具備在 GCP 上設計企業級資料湖與湖倉平台的豐富經驗
- 熟悉 BigQuery、Google Cloud Storage、Dataflow、Pub/Sub、Cloud Composer、Dataproc、IAM 與 Terraform
- 具備將 AWS 資料工作負載、管線與平台遷移至 GCP 的經驗
- 深入了解 AWS 至 GCP 的服務對應、遷移模式、現代化與雲端架構實務
- 具備使用 Vertex AI 在 GCP 上建置與部署 AI/ML 解決方案的經驗
- 具備生成式 AI、LLM 應用程式、RAG、嵌入、向量搜尋、提示工程與企業 AI 助手的實務經驗
- 深入掌握涵蓋訓練、模型登錄庫、CI/CD/CT、部署、監控、再訓練、治理與回復的 MLOps
- 具備交付安全且負責任的 AI 解決方案經驗,涵蓋隱私、評估、存取控制、可稽核性與治理
- 精通 SQL,並具備扎實的 Python 與 PySpark 能力
- 具備資料建模、資料倉儲、批次處理與即時資料工程背景
- 具備 Terraform、Git、GitHub、Cloud Build、CI/CD 與基礎設施自動化經驗
- 具備領導與指導資料工程及跨職能技術團隊的經驗
- 溝通能力佳,並具備與美國利害關係人合作的經驗
- 具備 Google Cloud Professional Data Engineer 認證者優先
- 具備 Google Cloud Professional Machine Learning Engineer 認證者優先
- 具備 Vertex AI Agent Builder、Vertex AI Search、Gemini on Vertex AI 或企業級生成式 AI 平台經驗者優先
- 具備 dbt、Apache Airflow、Kafka、Apache Spark、Kubernetes、Cloud Run 與 API 驅動架構經驗者優先
- 具備 Dataplex、Data Catalog、血緣、中繼資料管理、治理、主資料管理與資料品質框架經驗者優先
- 具備支援企業或受監管環境經驗者優先,須能符合嚴格的隱私、安全、合規、稽核與治理要求
- 技術能力應涵蓋 Python、PyTorch、TensorFlow、Scikit-learn、NLP、深度學習、ML 演算法、GenAI、LLM、GPT、Gemini、Claude、Llama、提示工程、微調、RAG、嵌入、向量資料庫、語意與混合搜尋、重新排序、LangChain、LlamaIndex、LangGraph、Hugging Face、Transformers、AI 代理、代理工作流程、工具或函式呼叫、多代理系統、MCP、MLflow、Kubeflow、模型登錄庫、部署、監控、CI/CD、Vertex AI、Vertex AI Studio、Vertex AI Pipelines、Model Garden、Vector Search、FastAPI、Flask、REST API、SQL、Docker、Kubernetes、GCP、AWS、Azure、BigQuery、Dataflow、Spark、Databricks、資料湖、高階 Python、專家級 SQL、PySpark、Apache Spark、ETL、ELT、CDC、批次與串流、事件驅動架構、管線開發與最佳化、企業級資料湖與湖倉、Medallion Architecture、資料倉儲、資料建模、維度建模、多租戶建模、讀時結構與寫時結構、dbt、Apache Airflow 或 Cloud Composer、Dataproc、Dataflow 或 Apache Beam、AWS Glue、Redshift、EMR、Lambda、Kinesis、Athena、CloudWatch、GCS、AWS S3、Pub/Sub、Dataplex、Data Catalog、Terraform、Git 或 GitHub、Cloud Build、CI/CD、基礎設施即程式碼、血緣、中繼資料管理、資料品質、監控與 OpenLineage
福利待遇
- 彈性的遠端工作方式
- 與全球客戶合作
- 在注重創新的環境中協作
- 獲得持續學習與認證機會
- 以工程負責人的身分領導重要的 AI/ML 與 GCP 創新計畫
