adaption은 개인 사용자, 언어, 산업 및 전문적인 특수 상황에 맞춰 지능을 조정하도록 설계된 적응형 AI 시스템과 도구를 개발합니다. 적응형 데이터, 적응형 인텔리전스, 적응형 인터페이스를 아우르는 이 회사의 접근 방식은 모델이 지속적으로 조정되도록 지원하며, 수동 프롬프트나 단일 거대 모델에 대한 의존도를 낮추면서 더욱 유연하고 반응성 높은 사용자 경험을 제공합니다. adaption의 기술은 컨설팅, 물류, 마케팅 등 다양한 분야에서 실용적인 AI 활용을 모색하는 조직에 적용될 수 있습니다.
추론 엔지니어 — Adaption(하이브리드, 베이 에어리어)
적응형 지능 시스템을 개발하는 AI 기업 Adaption에서 추론 인프라의 처리량, 비용, 지연 시간을 최적화합니다. GPU, 추론 엔진, 프로덕션 워크로드 전반의 모델 서빙을 개선합니다.
설명
- 추론 스택의 비용과 성능을 총괄합니다.
- KV 캐시 관리, 연속 배칭, 추측 디코딩, 양자화를 통해 처리량을 높이고 비용과 테일 레이턴시를 줄입니다.
- 실제 프로덕션 트래픽을 기준으로 긴 컨텍스트 프리필 및 디코드 워크로드를 최적화합니다.
- 비용, 용량, 성능에 따라 내부 인프라와 외부 제공업체 간 라우팅을 조정합니다.
- vLLM, SGLang, TensorRT-LLM 등의 서빙 엔진을 사용하고, 필요할 경우 프레임워크 하위 계층까지 다룹니다.
- 시간, 메모리, 컴퓨팅 리소스 사용량을 파악하기 위한 프로파일링 및 측정 시스템을 개발합니다.
- 서빙 플릿을 담당하는 엔지니어들과 긴밀히 협업합니다.
지원 자격
- 머신러닝 시스템, 추론 인프라 또는 성능 엔지니어링 분야에서 5년 이상의 경력이 있으며, 비용이나 지연 시간을 측정 가능한 수준으로 개선한 경험이 있어야 합니다.
- 프리필과 디코드, 메모리 대역폭, 배칭, 동시성을 포함한 모델 서빙에 대한 깊은 지식이 있어야 합니다.
- vLLM, SGLang, TensorRT-LLM 등의 서빙 엔진을 프로덕션 환경에서 사용한 경험이 있어야 합니다.
- Python을 능숙하게 사용하고 C++, Rust 또는 다른 시스템 프로그래밍 언어에 능숙해야 합니다.
- CUDA, NCCL, 혼합 정밀도, 메모리 레이아웃, 커널, 양자화 등 GPU 성능 주제를 이해해야 합니다.
- 하이브리드 근무 환경에서 베이 에어리어에 출근할 수 있어야 합니다.
복리후생
- 베이 에어리어에서 대면 협업을 진행하는 동시에 분산형 글로벌 우선 팀의 일원으로 일하고 팀 오프사이트에도 참여합니다.
- 이전에 방문한 적이 없는 국가를 탐방할 수 있도록 연간 Adaption Passport 여행 수당을 받습니다.
- 테이크아웃 식사나 식료품 배송에 사용할 수 있는 주간 수당을 받습니다.
- 종합적인 의료 보장과 넉넉한 유급 휴가를 이용할 수 있습니다.