Simple Machines 是一家澳洲顧問公司，業務涵蓋資料架構、資料工程、資料科學與軟體開發。其顧問為企業、政府機構及全球科技公司設計並建置分散式資料平台與機器學習應用。作為 Confluent 優選合作夥伴，團隊也提供 Kafka 顧問服務與訓練；並透過與 Databricks 和 Lightbend 的合作，提供 Spark 與 Scala 顧問服務及訓練。對正在探索資料工程、資料科學或軟體開發職涯的人而言，Simple Machines 提供專注於將資料應用於實際系統的專業顧問環境。
首席資料工程師（遠端，波蘭）
為 Simple Machines 這家全球科技顧問公司負責雲端原生資料平台、管線與資料產品的架構及交付。居住在波蘭並遠端工作，同時制定技術方向並與客戶合作。
說明
- 負責現代雲端原生資料平台從設計到交付的整體架構。
- 透過資料網格、資料產品與資料契約打造可擴充的資料生態系統。
- 制定涵蓋資料擷取、儲存、處理與存取的架構。
- 確保平台符合安全、合規與正式環境就緒標準。
- 使用 Databricks、Snowflake、AWS 與 GCP 交付雲端原生平台。
- 連接客戶系統，為資料使用者提供可擴充的資料存取能力。
- 建置並調校批次與即時資料管線。
- 使用 Kafka、Flink、Kinesis 與 Pub/Sub 處理串流及訊息傳遞。
- 使用 Airflow、Dataflow 與 Glue 協調工作流程。
- 使用 Spark 與 Flink 處理及轉換大型資料集。
- 使用關聯式、NoSQL 與分析型資料庫，包括 Postgres、BigQuery、Snowflake、Cassandra 與 MongoDB。
- 透過 Parquet、Delta、ORC 與 Avro 改善儲存格式及存取模式。
- 從一開始就將安全納入考量，打造安全且合規的解決方案。
- 整合資料治理，同時避免拖慢開發工作流程。
- 直接與客戶合作，了解挑戰並共同規劃解決方案。
- 將業務需求轉化為務實的工程決策。
- 作為值得信賴的技術夥伴為客戶提供建議。
- 制定工程標準、模式與實務規範。
- 審查設計與程式碼，提供技術指導及 mentoring。
- 強化資料品質、測試、可觀測性與維運實務。
職位要求
- 具備紮實的 Python 與 SQL 技能。
- 具備 Spark 以及 Databricks 或 Snowflake 等現代資料平台的深厚經驗。
- 了解 AWS 或 GCP 上的雲端資料服務。
- 曾負責大型資料平台的架構設計。
- 具備良好的資料建模能力，並能做出穩健的架構決策。
- 選擇解決方案時能兼顧效能、成本與複雜度。
- 曾建置並維運大規模正式環境資料管線。
- 具備多種儲存技術與資料格式的使用經驗。
- 使用 Terraform 或 Pulumi 等基礎架構即程式碼工具。
- 使用 GitHub Actions 或 ArgoCD 等工具建置 CI/CD 管線。
- 使用 dbt、Great Expectations 或 Soda 等資料測試與品質框架。
- 具備顧問或專業服務領域的經驗。
- 能質疑既有假設，並引導客戶取得更好的成果。
- 樂於指導資深工程師並形塑技術文化。
福利待遇
- 處理具挑戰性且能帶來實質影響的問題。
- 打造現代平台，而非維護舊有系統。
- 與經驗豐富的工程師合作。
- 在工作中享有自主權並發揮影響力。
- 擁有專業發展機會。