시니어 데이터 엔지니어, Databricks 및 AI 데이터 플랫폼
글로벌 보험 및 자산 관리 기업의 Databricks 데이터 플랫폼 설계를 주도합니다. 클라우드 분석, AI 및 머신러닝, 거버넌스, 엔터프라이즈 현대화를 지원합니다.
설명
- Databricks, Spark 및 클라우드 기술을 활용해 확장 가능한 데이터 파이프라인을 설계하고 유지 관리합니다.
- 배치 및 실시간 데이터 수집 프레임워크를 구축하고 최적화합니다.
- 엔터프라이즈 데이터 솔루션을 위한 재사용 가능한 엔지니어링 패턴과 가속 도구를 만듭니다.
- 데이터 생태계 전반에 데이터 품질, 관측 가능성, 계보 및 거버넌스를 구현합니다.
- 대규모 데이터 현대화 및 클라우드 마이그레이션 이니셔티브를 지원합니다.
- Delta Lake 아키텍처와 Medallion 데이터 모델을 설계합니다.
- Databricks 노트북, 워크플로 및 Delta Live Tables를 사용해 최적화된 ETL 및 ELT 파이프라인을 개발합니다.
- 성능 튜닝, 비용 최적화 및 워크로드 관리 방식을 수립합니다.
- Unity Catalog를 사용해 데이터 거버넌스, 보안 및 메타데이터를 관리합니다.
- Databricks 배포를 위한 CI/CD 파이프라인과 인프라 코드화를 구현합니다.
- Azure 및 AWS용 클라우드 네이티브 데이터 아키텍처를 설계합니다.
- SQL Server, Oracle, API, SaaS 및 스트리밍 플랫폼을 포함한 엔터프라이즈 데이터 소스를 통합합니다.
- 고가용성 및 재해 복구 요구 사항을 충족하는 복원력 있고 안전한 데이터 서비스를 구축합니다.
- 인프라 및 보안 팀과 협력해 클라우드 보안 제어와 규정 준수 표준을 적용합니다.
- AI, 머신러닝 및 생성형 AI 워크로드를 위한 데이터 제품을 구축하고 최적화합니다.
- 모델 학습 및 추론을 위한 피처 엔지니어링 파이프라인과 정제된 데이터셋을 개발합니다.
- 벡터 데이터베이스, 시맨틱 검색, 검색 증강 생성 및 LLM 애플리케이션을 지원합니다.
- 데이터 과학자 및 AI 엔지니어와 협력해 머신러닝 솔루션의 운영 환경 적용을 추진합니다.
- 확장 가능한 AI 제공을 지원하기 위해 MLOps 및 DataOps 방식을 적용합니다.
- 복잡한 데이터 엔지니어링 이니셔티브를 주도합니다.
- 아키텍처 표준, 엔지니어링 방식 및 개발 지침을 수립합니다.
- 주니어 및 중급 엔지니어를 멘토링합니다.
- 아키텍처를 검토하고 기술 권고 사항을 제공합니다.
- 자동화, 관측 가능성 및 플랫폼 엔지니어링 방식을 확산합니다.
지원 자격
- 컴퓨터 과학, 정보 기술, 공학 또는 관련 분야의 학사 학위.
- 데이터 엔지니어링, 데이터 웨어하우징 또는 데이터 플랫폼 개발 경력 8년 이상.
- Databricks 및 Apache Spark 실무 경력 5년 이상.
- 엔터프라이즈 규모 클라우드 데이터 플랫폼의 설계 및 구현 경험.
- 기술 이니셔티브를 주도하고 엔지니어링 팀을 멘토링한 경험.
- Databricks, Apache Spark(PySpark 및 Spark SQL), Delta Lake, Delta Live Tables, Unity Catalog, 데이터 웨어하우징 및 데이터 모델링 경험.
- Python, SQL 및 PowerShell 또는 스크립트 자동화 경험.
- Microsoft Azure, AWS 및 클라우드 네이티브 스토리지·컴퓨팅 서비스 경험.
- SQL Server, Oracle, PostgreSQL 및 데이터베이스 경험.
- Azure Data Factory, Databricks Workflows, Kafka 또는 이벤트 스트리밍, REST API 경험.
- GitHub, Azure DevOps, CI/CD 파이프라인, Terraform 및 인프라 코드화 경험.
- 모니터링 및 알림 도구, 데이터 품질 프레임워크, 성능 최적화, 로깅 및 문제 해결에 대한 지식.
- 머신러닝 데이터 파이프라인, 피처 스토어, MLOps, 생성형 AI 개념, 벡터 데이터베이스, 검색 증강 생성, AI 거버넌스 및 책임 있는 AI 원칙에 대한 지식.
- 우대 자격증: Databricks Certified Data Engineer Professional, Azure Data Engineer Associate 또는 AWS Data Analytics.
- 규제 산업, 엔터프라이즈 데이터 거버넌스 프로그램 및 운영 환경 AI 통합 경험 우대.
- 전략적 사고, 문제 해결, 기술 리더십, 아키텍처 설계, 이해관계자 관리, 커뮤니케이션 및 발표 능력, 지속적 개선, 혁신과 AI 도입, 위험 및 규정 준수에 대한 인식.
복리후생
- 계약 형태: 독립 계약자(Pessoa Jurídica, PJ).
- 하이브리드 근무 방식이며 일부 시간은 원격 근무를 선택할 수 있습니다.
