Itix là một công ty công nghệ và tư vấn của Brazil, hỗ trợ các tổ chức hiện đại hóa hoạt động thông qua các nền tảng phần mềm tùy chỉnh, đội ngũ phát triển chuyên trách và dịch vụ tư vấn công nghệ. Các dịch vụ của công ty còn bao gồm hỗ trợ, phân tích và phân tích kinh doanh, giúp khách hàng doanh nghiệp cải thiện quy trình và sử dụng dữ liệu hiệu quả hơn. Itix hợp tác với các tổ chức trong nhiều lĩnh vực, bao gồm công nghiệp, tài chính, chăm sóc sức khỏe, logistics, bảo hiểm, năng lượng, hóa chất và khai khoáng, với sự hỗ trợ của các đội ngũ phân tán trên khắp Brazil.
Kỹ sư dữ liệu cấp trung tại Itix (Làm việc từ xa, Brazil)
Gia nhập Itix với vai trò Kỹ sư dữ liệu, xây dựng các pipeline Lakehouse và giải pháp RAG. Làm việc với Databricks, Delta Lake, embeddings, chất lượng dữ liệu và quản trị dữ liệu.
Mô tả
- Xây dựng các pipeline ETL/ELT trong Databricks hoặc các framework mã nguồn mở theo kiến trúc medallion của Delta Lake
- Xử lý và chuẩn hóa dữ liệu PDF, hình ảnh cùng siêu dữ liệu liên quan
- Thu thập, quản lý và ẩn danh dữ liệu theo LGPD của Brazil cho RAG, học few-shot và các tập dữ liệu kiểm thử
- Phát triển và duy trì các chỉ mục vector với cơ chế chia nhỏ, embeddings, cập nhật tăng dần và kiểm soát phiên bản
- Tạo các tập dữ liệu chuẩn có kiểm soát phiên bản để đo lường độ chính xác và đánh giá đối chuẩn
- Thiết kế cơ chế lưu trữ vòng lặp phản hồi và cung cấp dữ liệu cho Bảng điều khiển Chất lượng và SLA
- Kết nối cơ sở dữ liệu với các dịch vụ suy luận và API bên ngoài, đồng thời quản lý hiệu năng, chi phí, giám sát và cảnh báo
- Tự động hóa quy trình thông qua Jobs, pipeline CI/CD và kiểm thử chất lượng dữ liệu
Yêu cầu
- Thành thạo Python và SQL ở mức nâng cao
- Có kinh nghiệm về mô hình hóa dữ liệu và kiến trúc medallion hoặc Lakehouse
- Có kinh nghiệm xây dựng pipeline dữ liệu phi cấu trúc cho PDF, hình ảnh và văn bản, bao gồm chuẩn bị dữ liệu cho RAG
- Quen thuộc với cơ sở dữ liệu vector và embeddings như Databricks Vector Search hoặc pgvector
- Có kinh nghiệm về chất lượng dữ liệu, kiểm thử và kiểm soát phiên bản
- Có kinh nghiệm thực tế với Databricks, Delta Lake, Workflows hoặc Jobs, notebooks, PySpark và Spark SQL
- Có kinh nghiệm với Git và CI/CD
- Có kinh nghiệm làm việc trên Azure, AWS hoặc GCP
- Hiểu biết về LGPD và xử lý dữ liệu nhạy cảm
- Có kinh nghiệm với Unity Catalog trong môi trường được quản trị
- Có kinh nghiệm với MLflow, Databricks Model Serving hoặc Mosaic AI
- Có kinh nghiệm với Delta Live Tables hoặc Lakeflow và Auto Loader
- Có kinh nghiệm trong lĩnh vực bảo hiểm hoặc dịch vụ tài chính
- Có kinh nghiệm với Terraform hoặc Databricks Asset Bundles
- Có chứng chỉ Databricks Data Engineer Associate hoặc Professional
Phúc lợi
- Linh hoạt về địa điểm, có thể làm việc tại nơi phù hợp nhất với dự án
- Các chương trình hợp tác giảm giá
- Chương trình giới thiệu nhân viên có thưởng
- Nghỉ một ngày vào sinh nhật
- Được sử dụng TotalPass hoặc Gympass
- Các sáng kiến về sức khỏe và thể chất
- Được sử dụng các không gian thư giãn tại văn phòng với ghế lười, bàn bi-a, trò chơi điện tử, khu vực lounge, bếp được trang bị đầy đủ và cà phê