Brillio là công ty tư vấn công nghệ hỗ trợ các tổ chức triển khai chuyển đổi số trong các lĩnh vực y tế, bảo hiểm, logistics, dịch vụ tài chính, viễn thông và truyền thông, khoa học sự sống và bán lẻ. Phạm vi công việc của công ty bao gồm trải nghiệm khách hàng, dữ liệu và AI, AI tạo sinh, kỹ thuật sản phẩm và nền tảng, cũng như hạ tầng, đám mây và bảo mật. Brillio kết hợp chuyên môn kỹ thuật với kiến thức ngành để phát triển các sản phẩm số và hiện đại hóa môi trường công nghệ, giúp doanh nghiệp ứng phó với những thay đổi của thị trường và công nghệ.
Kỹ sư dữ liệu hybrid – dbt và Snowflake tại Brillio
Gia nhập Brillio với vai trò Kỹ sư dữ liệu, tập trung phân tích ngược logic định giá và xây dựng lại logic đó thành các mô hình dbt Silver được quản trị. Xác thực tính tương đương, lập tài liệu lineage và loại bỏ các định nghĩa Gold cũ với sự phê duyệt của chuyên viên phân tích.
Mô tả
- Phối hợp với các chuyên viên phân tích định giá để làm rõ các định nghĩa, phép tính, phép biến đổi, dependency, giả định, trường hợp biên và điểm chưa rõ ở lớp Gold
- Phân tích ngược SQL của chuyên viên phân tích, công thức bảng tính và các phép tính đặc thù để xác định hành vi nghiệp vụ dự kiến
- Chuyển đổi logic cũ thành các yêu cầu kỹ thuật rõ ràng và kế hoạch di chuyển khả thi
- Xây dựng các định nghĩa định giá đã được phê duyệt thành các mô hình dbt có quản trị, có thể tái sử dụng và được lập tài liệu ở lớp Silver
- Áp dụng các tiêu chuẩn hiện hành về mô hình hóa dữ liệu, đặt tên, kiểm thử, kiểm soát phiên bản và review mã
- Tạo các mô hình có khả năng mở rộng, dễ bảo trì và có thể kiểm toán mà không phụ thuộc vào kiến thức chưa được ghi chép của chuyên viên phân tích
- Triển khai các bài kiểm thử dbt bao quát tính duy nhất, khả năng nhận giá trị null, các giá trị được chấp nhận, mối quan hệ và quy tắc nghiệp vụ
- Đối chiếu đầu ra của lớp Silver với kết quả hiện có ở lớp Gold và điều tra các sai lệch
- Kiểm thử kết quả đã di chuyển qua các khoảng thời gian, phân khúc, điều kiện biên và ngoại lệ đã biết mang tính đại diện
- Hoàn tất quá trình di chuyển sau khi review tính tương đương và được chuyên viên phân tích định giá phê duyệt
- Làm việc với các chuyên viên phân tích định giá để làm rõ phép tính, xác nhận hành vi dự kiến và thống nhất kết quả mong đợi
- Thực hiện các buổi walkthrough và review, đồng thời ghi nhận phê duyệt của chuyên viên phân tích trước khi loại bỏ các định nghĩa cũ
- Cập nhật cho các bên liên quan về kỹ thuật và nghiệp vụ về rủi ro, câu hỏi chưa được giải quyết, dependency và quyết định
- Ghi lại bối cảnh nghiệp vụ, quy tắc tính toán, giả định, ngoại lệ, đầu vào, quyền sở hữu, lineage, kiểm thử và các hệ thống sử dụng dữ liệu ở dbt và Confluence
- Loại bỏ logic Gold đặc thù sau khi phương án thay thế ở Silver đã được xác thực, phê duyệt, áp dụng và các dependency hạ nguồn đã được cập nhật
- Xác nhận logic đã loại bỏ không còn được sử dụng và cập nhật tài liệu vận hành để phản ánh nguồn dữ liệu chuẩn mới
Yêu cầu
- Có từ năm đến tám năm kinh nghiệm về kỹ thuật dữ liệu cho các nền tảng dữ liệu phân tích
- Thành thạo SQL nâng cao, bao gồm join, hàm cửa sổ, CTE, phép tổng hợp, logic điều kiện và tối ưu hóa
- Có kinh nghiệm thực tế với dbt, bao gồm model, test, tài liệu và lineage
- Am hiểu Snowflake, bao gồm mô hình hóa dữ liệu, tinh chỉnh hiệu năng và các khái niệm về warehouse
- Có kinh nghiệm tái cấu trúc, di chuyển hoặc hiện đại hóa logic phân tích phức tạp
- Có khả năng diễn giải SQL đặc thù và các phép tính trên bảng tính, đồng thời xác minh đầu ra
- Nắm vững chất lượng dữ liệu, đối chiếu, kiểm thử và các quy trình kiểm soát phát hành
- Có khả năng làm việc với các bên liên quan không thuộc nhóm kỹ thuật để làm rõ yêu cầu và xác thực kết quả
- Giao tiếp rõ ràng và có tác phong lập tài liệu chặt chẽ
- Có kinh nghiệm Python là một lợi thế
- Có kinh nghiệm với Airflow, Confluence, Jira và Slack
- Có kinh nghiệm bao quát mô hình hóa dữ liệu, xác thực chất lượng, đối chiếu, lập kế hoạch di chuyển, phối hợp với các bên liên quan và lập tài liệu kỹ thuật