LogoFresh Jobs Ahead
Hewlett Packard Enterprise
Hewlett Packard Enterprise
Sponsor wizy H1BPrzedsiębiorstwoSprzęt komputerowySztuczna inteligencja
Hewlett Packard Enterprise opracowuje technologie dla przedsiębiorstw, które korzystają z hybrydowej chmury i prowadzą operacje oparte na sztucznej inteligencji. Portfolio firmy obejmuje serwery HPE ProLiant i wysokowydajne systemy obliczeniowe HPE Cray, systemy pamięci masowej HPE Alletra, rozwiązania sieciowe HPE Aruba, platformy sztucznej inteligencji i gotowe fabryki AI, a także rozwiązania GreenLake oferowane w modelu „jako usługa”. HPE zapewnia również funkcje bezpieczeństwa, takie jak Zero Trust i SASE, oraz usługi profesjonalne, doradcze i wsparcia, które pomagają dużym organizacjom modernizować infrastrukturę, zarządzać środowiskami centrów danych i wdrażać sztuczną inteligencję na dużą skalę.
LinkedIn
Oferty pracy firmy

Starszy inżynier oprogramowania inferencji w HPE Hybrid

Pokierujesz rozwojem korporacyjnego środowiska inferencji LLM HPE AI Essentials dla infrastruktury klientów. Usprawnisz wydajne wykorzystanie GPU, wykonywanie rozproszone i orkiestrację Kubernetes.

USStany ZjednoczoneCOKoloradoNCKarolina PółnocnaTXTeksas
137 000 $ – 315 000 $ / rok
HybrydowoPełny etatSeniorWymagany Język: angielskiInżynier full-stackInżynier oprogramowania
C++GoKubernetesPython

Opis

  • Będziesz odpowiadać za kluczowe elementy wdrażania obsługi LLM, w tym integrację silnika, ciągłe grupowanie żądań, zarządzanie pamięcią podręczną KV i jej ponowne wykorzystywanie oraz wykonywanie z kwantyzacją.
  • Będziesz współpracować z zespołami inżynierii inferencji nad skróceniem czasu do pierwszego tokena i opóźnienia między tokenami, zwiększeniem przepustowości GPU oraz ograniczeniem opóźnień ogona P95/P99.
  • Będziesz rozwijać i obsługiwać funkcje wykonywania rozproszonego, takie jak rozdzielone prefill i decode, równoległość tensorowa i potokowa oraz przenoszenie pamięci podręcznej KV między pamięcią GPU, pamięcią hosta i pamięcią masową podłączoną przez RDMA.
  • Będziesz oceniać nowe środowiska uruchomieniowe, metody kwantyzacji, dekodowanie spekulatywne i obsługę modeli mixture-of-experts, a następnie rekomendować technologie do wdrożenia.
  • Pomożesz tworzyć warstwę orkiestracji obejmującą dopuszczanie modeli, planowanie i partycjonowanie GPU, routing żądań uwzględniający pamięć podręczną oraz automatyczne skalowanie.
  • Będziesz rozwiązywać problemy klientów od początku do końca, ustalać ich przyczyny źródłowe oraz wzmacniać powiązane systemy i procesy.
  • Będziesz przeglądać kod i projekty, wspierać rozwój współpracowników oraz promować wysokie standardy inżynierskie.

Wymagania

  • Co najmniej 8 lat doświadczenia w inżynierii oprogramowania.
  • Co najmniej rok lub dwa lata bezpośredniego doświadczenia z rozwiązaniami inferencji LLM lub produkcyjną obsługą modeli.
  • Wykształcenie informatyczne lub pokrewne.
  • Znajomość silników inferencji LLM, takich jak vLLM, SGLang, TensorRT-LLM, TGI lub NVIDIA NIM, w tym doświadczenie w modyfikowaniu ich wewnętrznych mechanizmów.
  • Bardzo dobra znajomość ciągłego grupowania żądań, paged attention, ponownego wykorzystywania pamięci KV i buforowania prefiksów, porcjowanego prefill, kwantyzacji oraz dekodowania spekulatywnego.
  • Praktyczna znajomość równoległości tensorowej i potokowej, operacji kolektywnych NCCL, hierarchii pamięci GPU oraz działania interkonektów.
  • Zaawansowana znajomość architektury platformy Kubernetes, w tym operatorów, zasobów niestandardowych, kontrolerów i planowania.
  • Bardzo dobre umiejętności programowania w Go i Pythonie.
  • Umiejętność czytania, debugowania i profilowania C++ oraz CUDA za pomocą narzędzi takich jak Nsight.
  • Znajomość debugowania i profilowania wielowarstwowych obciążeń, w tym aplikacji RAG i aplikacji agentowych.
  • Doskonałe umiejętności analityczne, debugowania i rozwiązywania problemów.
  • Mile widziane: wkład w rozwój vLLM, SGLang, TensorRT-LLM, llm-d, LMCache lub KServe.
  • Mile widziane: doświadczenie w obsłudze rozdzielonych etapów prefill i decode albo w wielkoskalowym przenoszeniu i ponownym wykorzystywaniu pamięci podręcznej KV.
  • Mile widziane: doświadczenie z RDMA, GPUDirect Storage, InfiniBand lub RoCE.
  • Mile widziane: doświadczenie z MIG, przydzielaniem ułamkowych zasobów GPU i izolacją GPU dla wielu dzierżawców.
  • Mile widziane: doświadczenie w dostarczaniu oprogramowania dla lokalnych, odłączonych od sieci lub regulowanych środowisk korporacyjnych.

Benefity

  • Kompleksowe świadczenia wspierające zdrowie fizyczne, bezpieczeństwo finansowe i dobrostan emocjonalny.
  • Programy wspierające rozwój osobisty i zawodowy.
  • Elastyczne warunki pracy uwzględniające potrzeby zawodowe i osobiste.
  • Kultura pracy oparta na inkluzywności.
  • Racjonalne usprawnienia podczas procesu aplikacji lub rozmowy kwalifikacyjnej dla wykwalifikowanych kandydatów z niepełnosprawnościami.

Powiązane oferty pracy

Impossible Cloud

Starszy menedżer sprzedaży rozwiązań chmurowych

Impossible Cloud
11 – 50 Pracownicy
Chmura
DENiemcyHybrydowoPełny etatSeniorWymagany Język: angielskiSprzedaż
Chmura

Rozwijaj sprzedaż partnerską Impossible Cloud w Wielkiej Brytanii i Irlandii — od rozwiązań do przechowywania danych po zarządzany inferencing. Pozyskuj dystrybutorów, MSP i resellerów oraz zwiększaj przychody na rynku.

Otwórz
EK Health Services Inc.

Starszy kierownik zdalnego zespołu sprzedaży ds. ubezpieczeń wypadkowych pracowników — EK Health

EK Health Services Inc.
201 – 500 Pracownicy
DoradztwoOpieka zdrowotnaUbezpieczenia
USStany ZjednoczoneZdalniePełny etatSeniorWymagany Język: angielskiSprzedaż

Kieruj przedstawicielami handlowymi i wspieraj ich rozwój, jednocześnie zarządzając klientami w obszarze ubezpieczeń wypadkowych pracowników EK Health Services. Pozyskuj nowych klientów i umacniaj relacje z ubezpieczycielami, pracodawcami oraz placówkami medycznymi.

Otwórz
M.R. Williams, Inc.

Przedstawiciel handlowy ds. dostaw żywności

M.R. Williams, Inc.
201 – 500 Pracownicy
Handel detalicznyLogistykaŻywność i napoje
USStany ZjednoczoneVAWirginiaStacjonarniePełny etatPoziom średniSeniorWymagany Język: angielskiSprzedaż

Dostarczaj gotową żywność stałą trasą i wykładaj produkty w sklepach, zarządzając zamówieniami i zapasami klientów prowadzących sklepy convenience. Praca w terenie w firmie M.R. Williams obejmuje obsługę klientów w Wirginii w ramach bezpośrednich dostaw do sklepów.

Otwórz
NEFCO

Menedżer sprzedaży kluczowym klientom krajowym, region zachodni

NEFCO
1001 – 5000 Pracownicy
DoradztwoLogistykaMarketing
USStany ZjednoczoneAZArizona
150 000 $ – 175 000 $ / rok
ZdalniePełny etatPoziom średniSeniorWymagany Język: angielskiSprzedaż

Kieruj regionalnym zespołem menedżerów sprzedaży obsługujących krajowych klientów NEFCO, rozwijaj relacje z dużymi firmami i wspieraj rentowny wzrost w zachodniej części USA. Zakres stanowiska obejmuje strategię sprzedaży, prognozowanie i wyniki zespołu.

Otwórz