Simple Machines là công ty tư vấn của Úc hoạt động trong các lĩnh vực kiến trúc dữ liệu, kỹ thuật dữ liệu, khoa học dữ liệu và phát triển phần mềm. Các chuyên gia tư vấn của công ty thiết kế và xây dựng nền tảng dữ liệu phân tán cùng ứng dụng học máy cho doanh nghiệp, cơ quan chính phủ và các công ty công nghệ toàn cầu. Đội ngũ còn cung cấp dịch vụ tư vấn và đào tạo Kafka với vai trò đối tác Preferred Confluent, đồng thời tư vấn và đào tạo về Spark và Scala thông qua các quan hệ đối tác với Databricks và Lightbend. Với những người đang tìm hiểu cơ hội trong lĩnh vực kỹ thuật dữ liệu, khoa học dữ liệu hoặc phát triển phần mềm, Simple Machines mang đến môi trường tư vấn chuyên sâu, tập trung vào việc ứng dụng dữ liệu trong các hệ thống thực tế.
Kỹ sư dữ liệu chính (Làm việc từ xa, Ba Lan)
Dẫn dắt kiến trúc và triển khai các nền tảng dữ liệu cloud-native, pipeline và sản phẩm dữ liệu cho Simple Machines, công ty tư vấn công nghệ hoạt động toàn cầu. Định hướng kỹ thuật và hợp tác với khách hàng trong khi làm việc từ xa tại Ba Lan.
Mô tả
- Chịu trách nhiệm về kiến trúc các nền tảng dữ liệu cloud-native hiện đại từ khâu thiết kế đến triển khai.
- Xây dựng hệ sinh thái dữ liệu có khả năng mở rộng với data mesh, sản phẩm dữ liệu và hợp đồng dữ liệu.
- Thiết lập kiến trúc cho hoạt động thu thập, lưu trữ, xử lý và truy cập dữ liệu.
- Đảm bảo các nền tảng đáp ứng tiêu chuẩn về bảo mật, tuân thủ và sẵn sàng đưa vào vận hành.
- Triển khai nền tảng cloud-native với Databricks, Snowflake, AWS và GCP.
- Kết nối hệ thống của khách hàng để cung cấp khả năng truy cập dữ liệu có thể mở rộng cho người dùng.
- Xây dựng và tối ưu pipeline dữ liệu theo lô và thời gian thực.
- Sử dụng Kafka, Flink, Kinesis và Pub/Sub cho xử lý luồng và nhắn tin.
- Điều phối quy trình bằng Airflow, Dataflow và Glue.
- Xử lý và chuyển đổi tập dữ liệu lớn bằng Spark và Flink.
- Làm việc với cơ sở dữ liệu quan hệ, NoSQL và phân tích, bao gồm Postgres, BigQuery, Snowflake, Cassandra và MongoDB.
- Cải thiện định dạng lưu trữ và phương thức truy cập với Parquet, Delta, ORC và Avro.
- Xây dựng giải pháp an toàn, tuân thủ và tính đến bảo mật ngay từ đầu.
- Tích hợp quản trị dữ liệu mà không làm chậm quy trình phát triển.
- Hợp tác trực tiếp với khách hàng để tìm hiểu thách thức và định hình giải pháp.
- Chuyển yêu cầu kinh doanh thành các lựa chọn kỹ thuật thực tiễn.
- Tư vấn cho khách hàng với vai trò đối tác kỹ thuật đáng tin cậy.
- Xác định tiêu chuẩn, mô hình và quy trình thực hành kỹ thuật.
- Đánh giá thiết kế và mã nguồn, đồng thời hướng dẫn và cố vấn kỹ thuật.
- Nâng cao chất lượng dữ liệu, hoạt động kiểm thử, khả năng quan sát và quy trình vận hành.
Yêu cầu
- Có kỹ năng vững về Python và SQL.
- Có kinh nghiệm chuyên sâu với Spark và các nền tảng dữ liệu hiện đại như Databricks hoặc Snowflake.
- Hiểu các dịch vụ dữ liệu đám mây trên AWS hoặc GCP.
- Từng chịu trách nhiệm kiến trúc cho các nền tảng dữ liệu quy mô lớn.
- Có kỹ năng mô hình hóa dữ liệu vững vàng và đưa ra quyết định kiến trúc hợp lý.
- Cân bằng hiệu năng, chi phí và độ phức tạp khi lựa chọn giải pháp.
- Từng xây dựng và vận hành pipeline dữ liệu sản xuất quy mô lớn.
- Có kinh nghiệm với nhiều công nghệ lưu trữ và định dạng dữ liệu.
- Sử dụng các công cụ hạ tầng dưới dạng mã như Terraform hoặc Pulumi.
- Từng xây dựng pipeline CI/CD bằng các công cụ như GitHub Actions hoặc ArgoCD.
- Từng sử dụng các framework kiểm thử và đảm bảo chất lượng dữ liệu như dbt, Great Expectations hoặc Soda.
- Có kinh nghiệm trong lĩnh vực tư vấn hoặc dịch vụ chuyên nghiệp.
- Có khả năng chất vấn các giả định và định hướng khách hàng đến kết quả tốt hơn.
- Sẵn sàng cố vấn cho các kỹ sư cấp cao và định hình văn hóa kỹ thuật.
Phúc lợi
- Giải quyết các vấn đề thách thức, tạo ra tác động có ý nghĩa.
- Xây dựng nền tảng hiện đại thay vì duy trì hệ thống cũ.
- Cộng tác với các kỹ sư giàu kinh nghiệm.
- Có quyền tự chủ và tiếng nói trong công việc.
- Có cơ hội phát triển chuyên môn.