시니어 AI 연구원, 파운데이션 모델 사전 학습 — Aleph Alpha, 하이델베르크
Aleph Alpha 유럽 파운데이션 모델의 아키텍처와 대규모 사전 학습을 주도하고, 수천 개 GPU에 적용할 학습 방법을 설계합니다. 하이델베르크 기반 하이브리드 팀과 함께 PyTorch 학습 레시피를 구축하고 개선합니다.
설명
- Aleph Alpha의 차세대 파운데이션 모델을 위한 아키텍처와 학습 방법을 개발합니다.
- 옵티마이저, 스케줄, 초기화 등 핵심 학습 레시피 구성 요소를 주도합니다.
- 수렴성, 안정성, 학습 효율을 높이는 PyTorch 아키텍처 개선 사항을 만듭니다.
- 하이퍼파라미터 스케일링 법칙과 학습 실행 규모를 확장하는 방법을 수립합니다.
- 소규모 프록시 실험을 진행해 수천 개 GPU에서의 동작을 예측하고 학습 위험을 낮춥니다.
- 손실 급증과 발산을 비롯한 수렴 문제를 진단합니다.
- 통신 병목, 경쟁 상태, 동기화 오류와 같은 분산 학습 장애를 해결합니다.
- 컴퓨팅 성능, 데이터, 평가, 사후 학습 팀과 협력해 시스템과 모델을 공동 설계합니다.
- 수학적 분석과 실험 증거를 타당한 학습 의사결정으로 연결합니다.
- 모델 품질, 실행 신뢰성, 효율을 높이는 프로덕션 수준의 코드를 제공합니다.
지원 자격
- Python을 능숙하게 사용하고 PyTorch 학습 워크플로에 익숙해야 합니다.
- 머신러닝 연구 및 소프트웨어 엔지니어링 분야에서 출시된 모델, 영향력 있는 오픈 소스 성과, 발표된 연구 등 입증된 실적이 있어야 합니다.
- 탄탄한 수학적 기반을 갖추고 최적화, 스케일링 동작, 학습 역학을 형식적으로 추론할 수 있어야 합니다.
- 트랜스포머 학습 역학, 최적화, 대규모 분산 학습 실행에 대한 깊은 지식이 있어야 합니다.
- 엄밀한 실험을 설계하고 결과를 바탕으로 견고한 학습 의사결정을 내릴 수 있어야 합니다.
- 대규모 모델 사전 학습 실무 경험이 있어야 합니다. 예를 들어 100개 이상의 GPU 클러스터와 같은 대규모 인프라에서 매개변수 70억 개 이상의 모델을 학습한 경험이 필요합니다.
- 유지보수하기 쉽고 충분히 테스트된 코드와 재현 가능한 실험을 포함한 건전한 소프트웨어 엔지니어링 관행을 갖춰야 합니다.
- 복잡한 아키텍처를 효율적이고 안정적으로 구현하고 모델 코드, 학습 동작, 분산 시스템을 디버깅할 수 있어야 합니다.
- 명확하게 소통하고 여러 팀과 효과적으로 협업할 수 있어야 합니다.
- 독일에서 일할 자격이 있고 하이델베르크에서 정기적으로 대면 협업할 수 있어야 합니다.
- 우대 사항: Megatron-LM, DeepSpeed, torchtitan과 같은 분산 프레임워크를 사용해 대규모 GPU 클러스터에서 LLM 또는 멀티모달 모델을 학습한 경험.
- 우대 사항: 스케일링 법칙, 하이퍼파라미터 전이 또는 프록시 실행으로 대규모 학습 동작을 예측하는 방법에 대한 지식.
- 우대 사항: 분산 작업 프로파일링 및 학습 이상 현상 진단 경험.
- 우대 사항: Mixture-of-Experts와 같은 희소 학습 방법을 접한 경험.
- 우대 사항: 최상위권 논문, 영향력 있는 오픈 소스 기여 또는 중요 기술의 실질적인 출시 실적.
복리후생
- 유급 연차 30일.
- Wellhub를 통한 피트니스 및 웰니스 서비스 이용.
- nilo.health를 통한 정신 건강 지원.
- 회사 연금 제도에 대한 상당한 보조금.
- 독일 전국 교통 티켓 보조금.
- 추가 기술 장비 구입 예산.
- 유연 근무 시간.
- 하이브리드 근무 방식.
- JobRad® 자전거 리스.