Baseten은 머신러닝 및 AI 애플리케이션을 배포하는 기업을 위해 모델 추론 인프라를 제공합니다. 이 플랫폼은 높은 처리량의 추론, 신속한 배포, 자동 확장, 안전한 엔터프라이즈 모델 서빙, 오픈 소스 모델 패키징 지원을 결합해 빠르고 확장 가능한 서빙을 구현하도록 설계되었습니다. Baseten은 엔지니어링 및 머신러닝 팀이 모델 인프라 운영에 필요한 업무를 관리할 수 있도록 지원하여, 도메인별 모델 개발에 집중할 수 있게 합니다. 회사는 인공지능, SaaS, 엔터프라이즈 기술 분야에서 사업을 운영하며, 직원 수는 11~50명입니다.
Baseten 추론 성능 소프트웨어 엔지니어(하이브리드 근무)
Baseten은 LLM 런타임, GPU 커널, 모델 서빙 시스템을 최적화할 추론 성능 엔지니어를 채용하고 있습니다. 이 직무는 프로덕션 환경의 추론 속도, 하드웨어 활용도, 비용 효율성을 높이는 데 중점을 둡니다.
설명
- 양자화, 추측 디코딩, KV 캐시 재사용, 청크 프리필, LoRA, 가이드 생성, 맞춤형 스케줄링 또는 라우팅과 같은 고급 추론 방법을 프로덕션 환경에 적용한다.
- 전체 추론 파이프라인을 분석하고 커널 오버헤드, 메모리 배치, 요청 스케줄링, 프리필과 디코드 분리, 캐시 인식 라우팅을 최적화한다.
- 지연 시간, 처리량, 비용 사이의 균형을 유지하면서 GPU 시간당 토큰 수와 활용도를 높인다.
- 새로운 하드웨어 플랫폼에 최신 모델 아키텍처를 배포하고 최적화한다.
- 모델 유형, 배치 크기, 시퀀스 길이, 하드웨어 구성을 아우르는 벤치마크를 만든다.
- vLLM, SGLang, TensorRT-LLM을 비롯한 오픈 소스 추론 프로젝트에 개선 사항을 제출한다.
- 모델, 인프라, 고객 대응 팀과 협력하여 측정 가능한 성능 향상을 달성한다.
지원 자격
- 컴퓨터 과학, 공학, 수학 또는 관련 분야의 학사, 석사 또는 박사 학위.
- Python 또는 C++를 포함한 하나 이상의 범용 프로그래밍 언어를 사용한 실무 경험.
- 양자화, 추측 디코딩, 연속 배칭과 같은 LLM 최적화 방법에 대한 지식.
- 특히 PyTorch, TensorRT 또는 TensorRT-LLM 등 머신러닝 라이브러리에 능숙한 능력.
- 대규모 언어 모델에 대한 높은 관심과 실무 경험.
- GPU 아키텍처에 대한 깊은 이해.
복리후생
- 경쟁력 있는 보상 패키지와 의미 있는 지분 참여.
- 미국 직원에게는 직원과 부양가족을 대상으로 하는 종합 의료, 치과, 안과 보험이 제공된다.
- 유연한 유급 휴가와 전사 겨울 휴가.
- 유급 육아휴직.
- Carrot 수당을 통한 난임 및 가족 형성 지원.
- 미국 직원에게는 회사가 지원하는 401(k) 플랜이 제공된다.
- 다양한 머신러닝 스타트업과 협업하며 폭넓은 학습과 전문 네트워킹 기회를 얻을 수 있다.