데이터 엔지니어(PySpark 및 Databricks)
PySpark와 SQL을 사용해 Databricks에서 데이터 파이프라인을 구축하고, 분석 및 머신러닝 팀을 위한 신뢰할 수 있고 거버넌스가 적용된 데이터셋을 만듭니다.
설명
- 대규모 데이터 처리를 위해 PySpark와 SQL로 ETL 및 ELT 파이프라인을 개발합니다
- 노트북, 작업, 클러스터 구성을 포함한 Databricks 워크플로를 구축하고 최적화합니다
- 분석 및 머신러닝 팀과 협업해 정제되고 문서화된 데이터셋을 제공합니다
- 파이프라인 성능을 추적하고 장애를 해결하며 데이터 품질과 무결성을 유지합니다
- 데이터 거버넌스와 플랫폼 모범 사례를 수립합니다
- 설계 검토와 아키텍처 의사결정에 참여합니다
지원 자격
- 데이터 엔지니어링 또는 관련 분야에서 4~6년의 실무 경험이 있습니다
- 대규모 분산 처리를 위해 PySpark를 능숙하게 사용합니다
- 쿼리 최적화, 윈도 함수, CTE, 복잡한 조인을 포함한 고급 SQL을 활용합니다
- Databricks, Delta Lake, 워크플로에 대한 충분한 경험이 있습니다. Unity Catalog 경험은 우대합니다
- AWS 또는 Azure 클라우드 플랫폼 경험이 있습니다
- PySpark, SQL, Databricks, AWS, Azure, Python, Git의 핵심 역량을 갖추고 있습니다
- Apache Kafka 또는 Spark Streaming과 같은 스트리밍 도구 경험은 우대합니다
- 머신러닝 파이프라인 및 피처 엔지니어링 워크플로 경험은 우대합니다
관련 채용공고
원격 콜센터 슈퍼바이저 – 의료 청구
State Collection Service, Inc.
미국
앨라배마
애리조나
플로리다
아이다호
일리노이
아이오와
캔자스
켄터키
루이지애나주
메릴랜드주
미시간주
미네소타주
미시시피주
미주리주
몬태나주
네바다주
뉴멕시코주
노스캐롤라이나주
오하이오주
오클라호마주
펜실베이니아주
사우스캐롤라이나주
테네시주
텍사스주
위스콘신주원격풀타임주니어중급학위 불필요필수 언어: 영어콜센터 상담원State Collection Service의 의료 청구 업무를 지원하는 원격 고객 서비스 팀을 이끕니다. 직원 성과, 교육, 규정 준수, 에스컬레이션 및 고객 커뮤니케이션을 감독합니다.
열기
