Baseten은 머신러닝 및 AI 애플리케이션을 배포하는 기업을 위해 모델 추론 인프라를 제공합니다. 이 플랫폼은 높은 처리량의 추론, 신속한 배포, 자동 확장, 안전한 엔터프라이즈 모델 서빙, 오픈 소스 모델 패키징 지원을 결합해 빠르고 확장 가능한 서빙을 구현하도록 설계되었습니다. Baseten은 엔지니어링 및 머신러닝 팀이 모델 인프라 운영에 필요한 업무를 관리할 수 있도록 지원하여, 도메인별 모델 개발에 집중할 수 있게 합니다. 회사는 인공지능, SaaS, 엔터프라이즈 기술 분야에서 사업을 운영하며, 직원 수는 11~50명입니다.
소프트웨어 엔지니어, LLM 추론 플랫폼 - Baseten 하이브리드 근무
AI 기업을 위한 Baseten의 분산형 LLM 추론 플랫폼을 구축합니다. Kubernetes 오케스트레이션, 모델 API, 라우팅, 오토스케일링, 프로덕션 관측성을 폭넓게 담당합니다.
설명
- 대규모 분산형 LLM 추론을 위한 인프라와 오케스트레이션을 구축하고 라우팅, 오토스케일링, 스케줄링, 런타임 관리를 담당합니다.
- 구조화된 출력, 도구 및 함수 호출, 멀티모달 서빙을 지원하는 Model API를 개발하고 운영합니다.
- API 버전 관리, 요청 검증, 사용량 측정, 쿼터, 인증을 구현합니다.
- 메트릭, 트레이스, 로그를 위한 계측을 구축하고 속도, 안정성, 품질을 평가할 수 있는 반복 가능한 벤치마크를 마련합니다.
- 테스트, 릴리스 자동화, 운영 우수성을 위한 강력한 관행을 수립합니다.
- Kubernetes, 분산 런타임, 네트워킹, GPU 워크로드 전반의 프로덕션 시스템을 진단하고 강화합니다.
- Inference Performance 엔지니어 및 파트너 팀과 협업하여 고객 대상 최적화를 제공합니다.
- 아키텍처와 배포부터 모니터링, 고객 피드백을 반영한 반복 개선까지 프로젝트를 이끕니다.
- 시스템 성능, 안정성, 운영 단순성, 개발자 경험 사이의 균형을 맞춥니다.
지원 자격
- 컴퓨터 과학, 공학 또는 관련 분야의 학사, 석사, 박사 학위 또는 이에 상응하는 실무 경험.
- 신뢰성, 지연 시간, 확장성이 중요한 분산 시스템, 백엔드 인프라 또는 대규모 API를 구축하고 운영한 경력 3년 이상.
- 속도 제한, 인증, 쿼터, 사용량 측정, 마이그레이션을 포함하는 저지연·고신뢰 백엔드 서비스를 주도한 경험.
- 프로파일링, 트레이싱, 용량 계획, SLO 관리를 포함한 뛰어난 인프라 판단력.
- 애플리케이션, 런타임, 인프라 계층 전반의 성능 및 안정성 문제를 진단할 수 있는 능력.
- 개발자 경험을 중시하는 태도.
- 새로운 언어, 프레임워크, 시스템을 배우려는 의지와 추론 엔지니어링에 대한 관심.
- 명확한 설계 문서 작성과 효과적인 직무 간 협업을 포함하는 뛰어난 문서 작성 및 협업 능력.
- vLLM, SGLang, TensorRT-LLM, TGI, Dynamo와 같은 LLM 추론 엔진 또는 프레임워크 경험이나 기여 이력이 있으면 우대합니다.
- Operator와 커스텀 리소스를 포함한 풍부한 Kubernetes 경험. 서비스 메시 또는 API 게이트웨이 경험이 있으면 우대합니다.
- 분산 스케줄링, 오토스케일링 또는 서비스 오케스트레이션 경험이 있으면 우대합니다.
- 프로덕션 환경에서 GPU 워크로드를 운영한 경험이 있으면 우대합니다.
- 개발자 대상 인프라 또는 API 경험, 혹은 오픈 소스 인프라나 머신러닝 시스템에 기여한 경험이 있으면 우대합니다.
- 관측성 도구, CI/CD 시스템 또는 릴리스 자동화에 익숙하면 우대합니다.
복리후생
- 경쟁력 있는 보상과 의미 있는 지분.
- 미국 직원과 부양가족을 대상으로 의료, 치과, 안과 보험을 전액 지원합니다.
- 전사 겨울 휴가를 포함한 유연한 유급 휴가.
- 유급 육아휴직.
- Carrot 스티펜드를 통한 난임 및 가족 구성 지원.
- 미국 직원을 위한 회사 지원 401(k) 플랜.
- 다양한 머신러닝 스타트업을 접하며 학습과 전문적 네트워킹을 쌓을 수 있는 폭넓은 기회.