Google Cloud 데이터 엔지니어—콜롬비아 원격 근무
KeyrusKeyrus의 엔터프라이즈 인텔리전스 솔루션을 위한 확장 가능한 Google Cloud 데이터 파이프라인을 구축합니다. BigQuery, Pub/Sub, Dataform, Cloud Storage, Cloud Composer를 사용합니다.
열기
시니어 데이터 엔지니어(AI 및 Databricks)
RevStar 고객을 위해 클라우드에 구애받지 않는 Databricks Lakehouse 파이프라인과 프로덕션 AI 솔루션을 구축합니다. Spark 성능, MLOps, 거버넌스 및 배포 자동화를 개선합니다.
설명
- Apache Spark와 Delta Lake를 사용해 AWS, Azure, GCP 전반에서 ETL/ELT 파이프라인을 구축하고 최적화합니다.
- 엔터프라이즈 규모의 정형 및 비정형 데이터를 위한 Lakehouse 아키텍처를 설계합니다.
- 분석 및 실시간 AI 워크로드를 위해 데이터 수집, 저장, 피처 엔지니어링을 자동화합니다.
- Spark 작업을 튜닝해 처리량을 높이고 지연 시간과 비용을 줄입니다.
- ML 엔지니어 및 데이터 과학자와 협력해 MLflow를 사용하여 Databricks에 AI 모델을 배포합니다.
- Terraform과 Databricks CLI로 CI/CD 파이프라인을 구축하고 인프라를 코드로 관리합니다.
- GDPR, HIPAA, SOC 2를 포함한 엔터프라이즈 보안, 접근 제어 및 규정 준수 기준을 적용합니다.
- 고객 기술 책임자, 제품 관리자 및 엔지니어링 팀과 협력해 AI 데이터 요구를 비즈니스 성과로 연결합니다.
- 기술 문서를 작성합니다.
- 솔루션을 고객 엔지니어링 팀에 원활히 인계하도록 지원합니다.
지원 자격
- 클라우드 네이티브 데이터 엔지니어링 경력 3년 이상.
- Databricks, Apache Spark, Delta Lake 및 MLflow 실무 경험 2년 이상.
- Python, SQL, Spark 프레임워크, CI/CD 및 Terraform 또는 Databricks CLI를 활용한 인프라 코드화 역량.
- 빠르게 변화하는 애자일 및 DevOps 컨설팅 환경에서 성과를 낸 경험.
- 클라우드에 구애받지 않는 아키텍처를 제공한 경험.
- 뛰어난 고객 커뮤니케이션 능력.
- 유효한 Databricks Certified Data Engineer(Associate 또는 Professional) 또는 Databricks ML Professional 자격 보유자를 우대합니다.
복리후생
- 글로벌 팀과 연결되는 원격 우선 근무 환경.
- 호기심과 주도성을 중시하는 협업적이고 혁신적인 문화.
- 기회 균등을 보장하는 직장.
- 장애가 있는 구성원에게 합리적인 편의를 제공합니다.
