시니어 Databricks 플랫폼 엔지니어
글로벌 보험 및 자산 관리 회사를 위한 안전한 Databricks 플랫폼을 구축하고 운영합니다. 클라우드 인프라, 거버넌스, 안정성 및 AI 워크로드를 담당합니다.
설명
- 여러 클라우드 환경에서 엔터프라이즈 Databricks 플랫폼을 설계하고 운영합니다.
- Azure 및/또는 AWS에서 Databricks 워크스페이스, 클러스터 및 플랫폼 구성 요소를 배포합니다.
- 확장 가능하고 안전하며 고가용성을 갖춘 Databricks 환경을 유지합니다.
- 플랫폼 표준, 아키텍처 패턴 및 운영 방식을 수립합니다.
- Unity Catalog, Delta Lake 및 워크스페이스 거버넌스를 관리합니다.
- 플랫폼 수명 주기 관리, 업그레이드 및 용량 계획을 담당합니다.
- Terraform으로 인프라를 프로비저닝하고 배포 및 구성 관리를 자동화합니다.
- 네트워킹, 프라이빗 연결 및 안전한 통합을 설계합니다.
- 백업, 재해 복구 및 고가용성을 구현합니다.
- 클라우드 리소스 활용도를 높이고 플랫폼 비용을 관리합니다.
- 엔터프라이즈 보안 제어 및 컴플라이언스 요구 사항을 적용합니다.
- 역할 기반 액세스 제어와 최소 권한 모델을 구성합니다.
- 시크릿, Key Vault 통합 및 암호화 표준을 관리합니다.
- 모니터링, 감사 로그 및 거버넌스 제어를 설정합니다.
- 규제 및 보안 감사를 지원합니다.
- 플랫폼 상태, 가용성 및 성능을 모니터링합니다.
- 인프라 및 데이터 워크로드의 관측 가능성을 구축합니다.
- 플랫폼, 네트워크 및 워크로드 문제를 해결합니다.
- 운영 런북과 지원 프로세스를 작성합니다.
- 근본 원인 분석과 문제 해결을 주도합니다.
- 데이터, AI 및 클라우드 인프라 팀과 협업합니다.
- 플랫폼 아키텍처와 운영 우수성에 대해 자문합니다.
- 엔지니어링 표준과 재사용 가능한 자동화 패턴을 만듭니다.
- 엔지니어를 멘토링하고 클라우드 엔지니어링 실무를 확산합니다.
- Databricks AI 및 머신러닝 환경을 지원합니다.
- MLflow 실험, 모델 추적 및 배포를 지원합니다.
- Mosaic AI, Vector Search, Feature Store 및 RAG 아키텍처를 지원합니다.
- 생성형 AI 및 대규모 언어 모델 솔루션을 구축하는 팀을 지원합니다.
- AI 워크로드를 위한 인프라와 거버넌스를 개발합니다.
- Databricks AI의 신규 기능을 평가하고 도입 전략을 제안합니다.
지원 자격
- 컴퓨터 과학, 정보 기술, 공학 또는 관련 분야 학사 학위.
- 클라우드, 플랫폼 또는 인프라 엔지니어링 경력 5년 이상.
- Databricks 환경을 배포하고 관리한 실무 경력 3년 이상.
- Azure 및/또는 AWS 엔터프라이즈 클라우드 플랫폼 지원 경험.
- 안전하고 확장 가능하며 고가용성을 갖춘 클라우드 솔루션 설계 경험.
- Databricks 관리, Unity Catalog, Delta Lake, 워크스페이스 관리, 클러스터 구성 및 최적화, 워크플로, 작업 스케줄링 역량.
- Microsoft Azure 및 Amazon Web Services (AWS)에 대한 지식.
- Terraform 경험.
- Azure DevOps 또는 GitHub Actions 경험.
- CI/CD 파이프라인 경험.
- PowerShell, Python 또는 Bash 스크립팅 역량.
- RBAC, 프라이빗 엔드포인트, VNET/VPC 설계, 암호화 및 키 관리, ID 페더레이션, 시크릿 관리에 대한 지식.
- Databricks 모니터링, Azure Monitor, CloudWatch, Log Analytics, 성능 튜닝 및 용량 관리 경험.
- 우대: Databricks Certified Platform Administrator, Databricks Certified Data Engineer Professional, Azure Administrator Associate, Azure Solutions Architect 또는 AWS Solutions Architect 인증.
- 우대: 엔터프라이즈 AI 및 머신러닝 플랫폼 구현 경험.
- 우대: 보험 또는 금융 서비스와 같은 규제 산업 지원 경험.
- Mosaic AI, MLflow, Databricks Model Serving, Vector Search, Feature Store, RAG, 대규모 언어 모델, AI 거버넌스 및 책임 있는 AI 실무, AI 기반 데이터 엔지니어링 패턴에 대한 이해가 있으면 좋습니다.
복리후생
- 계약자 업무 형태(PJ).
- 하이브리드 근무로, 주 3일 상파울루 Pinheiros 사무실에서 근무합니다.
