資深資料工程師 - 倫敦混合辦公
負責為 73 Strings 的私募資本估值平台設計與營運 Azure 資料管線及資料倉儲。 負責資料擷取、轉換、品質、CI/CD，以及向客戶交付資料。
說明
- 塑造涵蓋資料擷取、處理與交付的平台架構
- 建置並執行來自資料庫、API、事件串流與半結構化資料的批次及串流管線
- 實作變更資料擷取與增量載入，支援排序、刪除、重播及緩慢變更維度
- 建立獎章式分層資料集與維度資料模型
- 將資料交付至 Snowflake、Microsoft SQL Server 與 Databricks
- 在發布前落實資料契約、對帳與資料列層級隔離
- 管理 GitHub 工作流程與 CI/CD，包括測試、程式碼審查、環境升級及基礎設施即程式碼部署
- 診斷並解決正式環境的資料故障
- 將產品、估值與客戶團隊的需求轉化為可靠的營運資料管線
職位要求
- 至少 10 年生產資料系統工程經驗
- 具備以 Snowflake 或 Databricks 為主要平台的實務經驗，包括資料建模、效能調校與成本控管
- 具備扎實的 Python 與 SQL 技能，能夠開發及測試資料管線
- 具備變更資料擷取與事件處理經驗，包括排序、重播與結構描述演進
- 具備實務 Azure 經驗，熟悉 Databricks、ADLS 與私有網路連線
- 具備使用 GitHub 與 CI/CD 管理資料工作負載的經驗，使用過 GitHub Actions 或同類系統
- 具備資料品質、對帳、監控與正式環境事件回應經驗
- 具備建立安全多租戶資料平台的經驗，能實作租戶隔離、存取控制與資料保護
- 能直接與客戶技術團隊合作，並與現場工程、產品及其他利害關係人協作
- 加分條件：具備 Databricks Lakeflow、Auto CDC、Declarative Automation Bundles 與 DQX 的經驗，或具備 Snowflake 中 Dynamic Tables、Streams and Tasks、Snowpark、Snowflake CLI 部署及 Data Metric Functions 等同類能力
- 加分條件：具備 Debezium、Kafka Connect 或 Confluent Kafka 的經驗
- 加分條件：具備 Apache Airflow 或同類工作流程編排器的經驗
- 加分條件：具備 Kafka 或 Spark Structured Streaming、Apache Iceberg 或 Delta Sharing，以及 dbt 的經驗
- 加分條件：具備私募市場資料經驗，涉及估值、基金、投資組合公司或資本活動
福利待遇
- 具支持性的工作環境
- 重視創新與協作的文化
- 擁有承擔責任並主動推進工作的空間
- 持續學習的機會