Allata는 조직이 디지털 전략을 실질적인 비즈니스 개선으로 이어가도록 돕는 글로벌 컨설팅 회사입니다. 전략, 고객 경험, 클라우드 및 기술, 데이터, 인공지능 분야에서 팀을 구성해 고객의 현대화, 개인화, 운영 효율성 향상을 지원합니다. 자동차, 의료, 물류, 금융 서비스, 첨단 기술 등 여러 산업에 서비스를 제공하며, 전직 IT 리더와 컨설팅 전문가의 경험을 바탕으로 복잡한 디지털 이니셔티브를 안내합니다.
Databricks 데이터 플랫폼 매니저(텍사스 원격)
Allata의 거버넌스가 적용된 Lakehouse 및 엔터프라이즈 데이터 웨어하우스 플랫폼의 아키텍처와 구축을 이끕니다. 데이터 파이프라인, 보안, 확장성 및 데이터 제품 개발을 지도합니다.
설명
- Lakehouse 및 엔터프라이즈 데이터 웨어하우스 플랫폼의 아키텍처, 기술 선택, 참조 패턴 및 통합 청사진을 수립합니다.
- 멀티테넌트 및 산업별 데이터 제품을 위한 개념적·논리적·물리적 모델을 만듭니다.
- 수집, 원시 저장, 큐레이션 및 제공을 위한 데이터 계층을 표준화합니다.
- 메타데이터, 카탈로그, 계보, 데이터 계약 및 분류에 관한 거버넌스 관행을 마련합니다.
- 액세스, 마스킹, 암호화, 네트워크 분할 및 감사를 위한 보안 및 규정 준수 제어를 정의합니다.
- 플랫폼의 확장성, 고가용성, 재해 복구, 용량 및 비용 관리를 계획합니다.
- Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory 또는 Data Fabric, 오케스트레이션 및 모니터링 도구의 선정과 통합을 주도합니다.
- 테스트, 자동 릴리스 및 롤백 계획을 포함해 데이터 자산의 CI/CD 관행을 수립하고 시행합니다.
- 배치 및 스트리밍 수집, 압축, 파티셔닝 및 저장 방식을 정의합니다.
- 지표, SLA, 대시보드, 로그, 트레이스 및 알림을 포함한 관측성 표준을 정합니다.
- 데이터 엔지니어링 팀에 기술 리더십과 멘토링을 제공합니다.
- 핵심 구성 요소의 아키텍처와 코드를 검토합니다.
- 데이터 제품 책임자 및 보안, 인프라, BI, ML 이해관계자와 협력해 요구 사항을 솔루션과 로드맵으로 구체화합니다.
- Spark, PySpark 또는 Scala, Spark SQL 및 저장 프로시저를 사용해 처리 모듈을 구축, 테스트 및 배포합니다.
- Databricks 및 데이터베이스 플랫폼에서 데이터 파이프라인을 개발하고 튜닝합니다.
- DevOps 관행, 코드형 인프라, CI/CD, 자동화 테스트 및 버전 관리를 적용합니다.
- 복잡한 데이터 품질, 성능 및 가용성 문제를 해결하고 지속적인 개선을 추진합니다.
지원 자격
- 엔터프라이즈 데이터 플랫폼 아키텍트 또는 기술 리드 경력.
- Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader 및 Structured Streaming을 포함한 Databricks 기술에 대한 실무 지식.
- Spark, PySpark 및/또는 Scala, Spark SQL, 분산 작업 최적화에 관한 높은 숙련도.
- 데이터 웨어하우스 및 Lakehouse 설계 경험.
- Medallion, Lambda 및 Kappa 패턴에 대한 실무 지식.
- Fivetran과 같은 SaaS, ETL 또는 커넥터 도구를 통합한 경험.
- Airflow, Azure Data Factory, Data Fabric과 같은 오케스트레이션 도구 사용 경험.
- MS SQL Server, PostgreSQL, Oracle, Azure SQL, AWS RDS/Aurora 또는 이에 상응하는 관계형 및 하이브리드 데이터베이스 경험.
- Azure DevOps, GitHub Actions, Jenkins 또는 유사 도구를 활용한 데이터 파이프라인 CI/CD 역량.
- .whl 파일 및 컨테이너와 같은 아티팩트를 패키징하고 배포한 경험.
- 배치 및 스트리밍 처리, 파일 압축, 파티셔닝 및 스토리지 튜닝 경험.
- 클라우드 보안, IAM/RBAC, 암호화, VPC/VNet 개념 및 클라우드 네트워킹에 대한 이해.
- Prometheus, Grafana, Datadog 또는 클라우드 네이티브 서비스와 같은 관측성 및 모니터링 도구에 대한 지식.
- CI/CD 파이프라인 자동화 및 트렁크 기반 개발 경험 우대.
- 고급 PySpark 기술 보유자 우대.
- 고급 Spark 워크플로 최적화 및 오케스트레이션 기술 보유자 우대.
- Databricks, 클라우드 아키텍처 또는 데이터 관련 자격증 보유자 우대.
- 복잡한 데이터 문제를 파악하고 조사해 해결할 수 있는 능력.
- 뛰어난 협업 및 의사소통 능력.
- 새로운 도구, 기술 및 방법에 호기심을 갖고 열린 태도.
복리후생
- 정규직 역할.
- 기회 균등과 포용을 중시하는 근무 환경.
- 다양성에 대한 약속.
