Hewlett Packard Enterprise는 하이브리드 클라우드와 AI 기반 운영을 수행하는 조직을 위한 엔터프라이즈 기술을 개발합니다. 제품 포트폴리오는 HPE ProLiant 서버, HPE Cray 고성능 컴퓨팅, HPE Alletra 스토리지, HPE Aruba 네트워킹, AI 플랫폼과 턴키 AI 팩토리, 서비스형 솔루션인 GreenLake를 아우릅니다. 또한 HPE는 제로 트러스트와 SASE 같은 보안 기능과 전문 서비스, 자문 서비스, 지원 서비스를 제공하여 대규모 조직이 인프라를 현대화하고 데이터센터 환경을 관리하며 AI를 대규모로 배포할 수 있도록 지원합니다.
HPE Hybrid 시니어 추론 소프트웨어 엔지니어
고객 소유 인프라를 위한 HPE AI Essentials의 엔터프라이즈 LLM 추론 런타임 개발을 주도합니다. GPU 효율적 서빙, 분산 실행, Kubernetes 오케스트레이션을 개선합니다.
설명
- 엔진 통합, 연속 배칭, KV 캐시 관리 및 재사용, 양자화 실행을 포함한 LLM 서빙 배포의 핵심 구성 요소를 담당합니다.
- 추론 엔지니어링 팀과 협력하여 첫 토큰까지의 시간, 토큰 간 지연 시간, GPU 처리량, P95/P99 꼬리 지연 시간을 줄입니다.
- 분리형 프리필 및 디코드, 텐서 병렬 처리와 파이프라인 병렬 처리, GPU 메모리·호스트 메모리·RDMA 연결 스토리지 간 KV 캐시 오프로딩과 같은 분산 실행 기능을 개발하고 운영합니다.
- 새로운 런타임, 양자화 방법, 추측 디코딩, 전문가 혼합 모델 서빙을 평가하고 도입할 기술을 제안합니다.
- 모델 승인, GPU 스케줄링 및 분할, 캐시 인식 요청 라우팅, 자동 확장을 포함하는 오케스트레이션 계층 구축을 지원합니다.
- 고객 문제를 처음부터 끝까지 해결하고 근본 원인을 파악하며 관련 시스템과 프로세스를 강화합니다.
- 코드와 설계를 검토하고 동료를 멘토링하며 우수한 엔지니어링 관행을 실천합니다.
지원 자격
- 소프트웨어 엔지니어링 경력 8년 이상.
- LLM 추론 런타임 또는 프로덕션 모델 서빙 분야의 직접적인 경력 1~2년 이상.
- 컴퓨터 과학 또는 관련 분야의 학위.
- vLLM, SGLang, TensorRT-LLM, TGI, NVIDIA NIM과 같은 LLM 추론 엔진에 익숙하며 엔진 내부 구현을 수정한 경험.
- 연속 배칭, 페이징 어텐션, KV 캐시 재사용 및 프리픽스 캐싱, 청크형 프리필, 양자화, 추측 디코딩에 대한 풍부한 지식.
- 텐서 병렬 처리와 파이프라인 병렬 처리, NCCL 집단 통신 연산, GPU 메모리 계층 구조, 인터커넥트 동작에 대한 실무 지식.
- 오퍼레이터, 사용자 정의 리소스, 컨트롤러, 스케줄링을 포함한 Kubernetes 플랫폼 아키텍처에 대한 고급 역량.
- Go와 Python에 대한 뛰어난 프로그래밍 능력.
- Nsight와 같은 도구를 사용하여 C++와 CUDA 코드를 읽고 디버깅하며 프로파일링할 수 있는 능력.
- RAG 및 에이전트 애플리케이션을 포함한 다중 계층 워크로드의 디버깅과 프로파일링에 익숙함.
- 뛰어난 분석력, 디버깅 능력, 문제 해결 능력.
- 우대: vLLM, SGLang, TensorRT-LLM, llm-d, LMCache 또는 KServe에 기여한 경험.
- 우대: 분리형 프리필 및 디코드 서빙 또는 대규모 KV 캐시 오프로딩 및 재사용 경험.
- 우대: RDMA, GPUDirect Storage, InfiniBand 또는 RoCE 경험.
- 우대: MIG, 분할 GPU 할당, 멀티테넌트 GPU 격리 경험.
- 우대: 온프레미스, 에어갭 또는 규제 대상 엔터프라이즈 환경을 위한 소프트웨어 제공 경험.
복리후생
- 신체 건강, 재정적 안정, 정서적 웰빙을 지원하는 종합적인 복리후생.
- 개인적·전문적 성장을 지원하는 프로그램.
- 업무 방식과 개인적 필요에 대응할 수 있는 유연성.
- 포용적인 직장 문화.
- 자격을 갖춘 장애인 지원자에게 지원 또는 면접 과정에서 합리적인 편의를 제공합니다.