LogoFresh Jobs Ahead
Hewlett Packard Enterprise
Hewlett Packard Enterprise
Sponsor für H1B-VisumHardwareKünstliche IntelligenzUnternehmen
Hewlett Packard Enterprise entwickelt Unternehmenstechnologien für Organisationen, die hybride Cloud-Umgebungen und KI-gestützte Betriebsabläufe betreiben. Das Portfolio umfasst HPE ProLiant-Server und HPE Cray-Hochleistungsrechner, HPE Alletra-Speicherlösungen, HPE Aruba-Netzwerke, KI-Plattformen und schlüsselfertige KI-Fabriken sowie GreenLake als Service. Darüber hinaus bietet HPE Sicherheitslösungen wie Zero Trust und SASE sowie professionelle, beratende und Support-Services an, die große Organisationen bei der Modernisierung ihrer Infrastruktur, der Verwaltung von Rechenzentrumsumgebungen und der Einführung von KI im großen Maßstab unterstützen.
LinkedIn
Stellen im Unternehmen

Senior Softwareentwickler für Inferenz bei HPE Hybrid

Leiten Sie die Entwicklung der Enterprise-LLM-Inferenzlaufzeit von HPE AI Essentials für kundeneigene Infrastrukturen. Verbessern Sie GPU-effizientes Serving, verteilte Ausführung und Kubernetes-Orchestrierung.

USVereinigte StaatenCOColoradoNCNorth CarolinaTXTexas
137.000 $ – 315.000 $ / Jahr
HybridVollzeitSeniorErforderliche Sprache: EnglischFull-Stack-IngenieurSoftwareentwickler
C++GoKubernetesPython

Beschreibung

  • Verantworten Sie zentrale Komponenten der LLM-Serving-Bereitstellung, einschließlich Engine-Integration, kontinuierlichem Batching, Verwaltung und Wiederverwendung des KV-Caches sowie quantisierter Ausführung.
  • Arbeiten Sie mit Inferenz-Engineering-Teams daran, die Zeit bis zum ersten Token, die Inter-Token-Latenz, den GPU-Durchsatz sowie die P95-/P99-Tail-Latenz zu reduzieren.
  • Entwickeln und betreiben Sie Funktionen für die verteilte Ausführung, etwa disaggregiertes Prefill und Decode, Tensor- und Pipeline-Parallelismus sowie das Auslagern des KV-Caches über GPU-Speicher, Hauptspeicher und RDMA-angebundenen Speicher.
  • Bewerten Sie neue Laufzeiten, Quantisierungsmethoden, spekulatives Decoding und Serving für Mixture-of-Experts und empfehlen Sie anschließend Technologien zur Einführung.
  • Unterstützen Sie den Aufbau der Orchestrierungsschicht für die Modellzulassung, GPU-Planung und -Partitionierung, cachebewusstes Request-Routing und Autoscaling.
  • Lösen Sie Kundenprobleme ganzheitlich, ermitteln Sie die Grundursachen und stärken Sie die zugehörigen Systeme und Prozesse.
  • Prüfen Sie Code und Designs, betreuen Sie Kolleginnen und Kollegen und leben Sie starke Engineering-Praktiken vor.

Anforderungen

  • Mindestens 8 Jahre Erfahrung in der Softwareentwicklung.
  • Ein bis zwei oder mehr Jahre direkte Erfahrung mit LLM-Inferenzlaufzeiten oder produktivem Model Serving.
  • Ein Abschluss in Informatik oder einer verwandten Fachrichtung.
  • Vertrautheit mit LLM-Inferenz-Engines wie vLLM, SGLang, TensorRT-LLM, TGI oder NVIDIA NIM, einschließlich Erfahrung mit Änderungen an den internen Komponenten der Engines.
  • Fundierte Kenntnisse in kontinuierlichem Batching, paged attention, KV-Cache-Wiederverwendung und Prefix-Caching, Chunked Prefill, Quantisierung und spekulativem Decoding.
  • Praktische Kenntnisse in Tensor- und Pipeline-Parallelismus, NCCL-Kollektivoperationen, GPU-Speicherhierarchie und Interconnect-Verhalten.
  • Fortgeschrittene Kenntnisse der Kubernetes-Plattformarchitektur, einschließlich Operatoren, Custom Resources, Controllern und Scheduling.
  • Sehr gute Programmierkenntnisse in Go und Python.
  • Fähigkeit, C++ und CUDA mit Tools wie Nsight zu lesen, zu debuggen und zu profilieren.
  • Vertrautheit mit dem Debuggen und Profiling mehrstufiger Workloads, einschließlich RAG- und Agentenanwendungen.
  • Ausgeprägte analytische Fähigkeiten sowie sehr gute Debugging- und Problemlösungskompetenzen.
  • Von Vorteil: Beiträge zu vLLM, SGLang, TensorRT-LLM, llm-d, LMCache oder KServe.
  • Von Vorteil: Erfahrung mit disaggregiertem Prefill- und Decode-Serving oder dem Auslagern und der Wiederverwendung großer KV-Caches.
  • Von Vorteil: Erfahrung mit RDMA, GPUDirect Storage, InfiniBand oder RoCE.
  • Von Vorteil: Erfahrung mit MIG, fraktionierter GPU-Zuweisung und mandantenfähiger GPU-Isolierung.
  • Von Vorteil: Erfahrung in der Entwicklung von Software für On-Premises-, Air-Gapped- oder regulierte Unternehmensumgebungen.

Zusatzleistungen

  • Umfassende Leistungen zur Unterstützung der körperlichen Gesundheit, finanziellen Sicherheit und emotionalen Gesundheit.
  • Programme zur Förderung der persönlichen und beruflichen Weiterentwicklung.
  • Flexibilität bei Arbeitsmodellen und persönlichen Bedürfnissen.
  • Eine inklusive Arbeitsplatzkultur.
  • Angemessene Vorkehrungen während des Bewerbungs- oder Vorstellungsgesprächs für qualifizierte Bewerberinnen und Bewerber mit Behinderungen.

Ähnliche Stellen

Medtronic

Remote Außendiensttechniker:in für Hugo-Chirurgierobotik

Medtronic
Sponsor für H1B-VisumFertigungGesundheitswesenKrankenversicherung
USVereinigte StaatenAZArizonaKYKentuckyMDMarylandMIMichiganMNMinnesotaMOMissouriNVNevadaNCNorth CarolinaOHOhioOKOklahomaPAPennsylvania
60.000 $ – 90.000 $ / Jahr
RemoteVollzeitMittlere StufeSeniorErforderliche Sprache: EnglischAußendienstingenieur

Installieren und warten Sie Medtronics Plattform Hugo für robotergestützte Chirurgie und unterstützen Sie Kunden im Gesundheitswesen bei Fehlerdiagnose, Reparaturen und Schulungen. Die Tätigkeit umfasst ein zugewiesenes US-Gebiet und erfordert Reisen von bis zu 75 %.

Öffnen
Enformion

Site Reliability Engineer (SRE)

Enformion
51 – 200 Mitarbeitende
BeratungLogistikRecht
USVereinigte Staaten
150.000 $ – 165.000 $ / Jahr
RemoteVollzeitMittlere StufeSeniorErforderliche Sprache: EnglischDevOps-Ingenieur
AWSCloudDNSLinuxPythonTCP/IPTerraform

Schützt die Identitätsdaten-APIs und Verbraucher-Websites von Enformion durch höhere Zuverlässigkeit, Leistungsüberwachung und automatisierte AWS-Sicherheit. Die Rolle umfasst außerdem die Erkennung missbräuchlichen Datenverkehrs und die Verbesserung von Infrastrukturkontrollen.

Öffnen
Danaher Corporation

Servicetechniker/in im Außendienst I, digitale Pathologie

Danaher Corporation
Sponsor für H1B-VisumBeratungGesundheitswesenLogistik
USVereinigte StaatenILIllinoisMNMinnesota
35 $ – 38 $ / Stunde
RemoteVollzeitJuniorErforderliche Sprache: EnglischAußendienstingenieur

Installieren, warten und reparieren Sie digitale Pathologie-Scanner und angeschlossene Systeme von Leica Biosystems. Sie sind viel in Ihrem zugewiesenen Gebiet unterwegs, um die Betriebsbereitschaft der Kundensysteme und zuverlässige diagnostische Arbeitsabläufe zu unterstützen.

Öffnen