Itix 중급 데이터 엔지니어(원격, 브라질)
Itix에 합류해 Lakehouse 파이프라인과 RAG 솔루션을 구축합니다. Databricks, Delta Lake, 임베딩, 데이터 품질 및 거버넌스를 다룹니다.
설명
- Databricks 또는 오픈 소스 프레임워크에서 Delta Lake 메달리온 아키텍처를 기반으로 ETL/ELT 파이프라인을 구축합니다
- 관련 메타데이터가 포함된 PDF 및 이미지 데이터를 처리하고 표준화합니다
- 브라질 LGPD에 따라 데이터를 선별하고 익명화하여 RAG, 퓨샷 학습 및 테스트 데이터 세트에 활용합니다
- 청킹, 임베딩, 증분 업데이트 및 버전 관리를 포함한 벡터 인덱스를 개발하고 유지 관리합니다
- 정확도 측정 및 벤치마킹을 위한 버전 관리형 골든 데이터 세트를 생성합니다
- 피드백 루프 영속화를 설계하고 품질 및 SLA 대시보드에 데이터를 제공합니다
- 성능, 비용, 모니터링 및 알림을 관리하면서 데이터베이스를 추론 서비스 및 외부 API에 연결합니다
- Jobs, CI/CD 파이프라인 및 데이터 품질 테스트를 통해 워크플로를 자동화합니다
지원 자격
- Python 및 SQL 고급 숙련도
- 데이터 모델링 및 메달리온 아키텍처 또는 Lakehouse 아키텍처 경험
- PDF, 이미지, 텍스트를 포함한 비정형 데이터 파이프라인 구축 경험 및 RAG용 데이터 준비 경험
- Databricks Vector Search 또는 pgvector와 같은 벡터 데이터베이스 및 임베딩에 대한 이해
- 데이터 품질, 테스트 및 버전 관리 경험
- Delta Lake, Workflows 또는 Jobs, 노트북, PySpark 및 Spark SQL을 포함한 실무 Databricks 경험
- Git 및 CI/CD 경험
- Azure, AWS 또는 GCP 사용 경험
- LGPD 및 민감 데이터 처리에 대한 지식
- 거버넌스 환경에서 Unity Catalog를 사용한 경험
- MLflow, Databricks Model Serving 또는 Mosaic AI 경험
- Delta Live Tables 또는 Lakeflow 및 Auto Loader 경험
- 보험 또는 금융 서비스 업계 경험
- Terraform 또는 Databricks Asset Bundles 경험
- Databricks Data Engineer Associate 또는 Professional 자격증
복리후생
- 프로젝트에 가장 적합한 장소에서 근무할 수 있는 지리적 유연성
- 할인 제휴 혜택
- 보상이 제공되는 직원 추천 프로그램
- 생일 휴가
- TotalPass 또는 Gympass 이용
- 건강 및 웰니스 프로그램
- 빈백, 당구대, 비디오 게임, 라운지, 완비된 주방 및 커피를 갖춘 사무실 휴식 공간 이용