Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise kehittää yritysteknologiaa organisaatioille, jotka käyttävät hybridipilviympäristöjä ja tekoälyohjattuja toimintoja. Sen tuotevalikoimaan kuuluvat HPE ProLiant -palvelimet ja HPE Cray -tehokas laskenta, HPE Alletra -tallennusratkaisut, HPE Aruba -verkkoratkaisut, tekoälyalustat ja avaimet käteen -periaatteella toimitettavat tekoälytehtaat sekä GreenLake palveluna tarjottavat ratkaisut. HPE tarjoaa myös Zero Trust- ja SASE-ratkaisujen kaltaisia tietoturvaominaisuuksia sekä ammatillisia, konsultointi- ja tukipalveluja, jotka auttavat suuria organisaatioita uudistamaan infrastruktuuriaan, hallitsemaan datakeskusympäristöjään ja ottamaan tekoälyn käyttöön laajassa mittakaavassa.

Senior Inference Software Engineer HPE:n hybridiympäristössä

Johda HPE AI Essentialsin yrityksille tarkoitetun LLM-inferenssiajon ympäristön kehitystä asiakkaan omassa infrastruktuurissa. Paranna GPU-tehokasta palvelua, hajautettua suorittamista ja Kubernetes-orkestrointia.

Kuvaus

  • Vastaa LLM-palvelun käyttöönoton keskeisistä komponenteista, kuten moottori-integraatiosta, jatkuvasta eräajosta, KV-välimuistin hallinnasta ja uudelleenkäytöstä sekä kvantisoidusta suorituksesta.
  • Työskentele inferenssitekniikan tiimien kanssa lyhentääksesi ensimmäisen tokenin saamiseen kuluvaa aikaa ja tokenien välistä viivettä sekä parantaaksesi GPU-suorituskykyä ja P95/P99-häntäviivettä.
  • Kehitä ja ylläpidä hajautetun suorittamisen ominaisuuksia, kuten eriytettyä esitäyttöä ja purkua, tensori- ja putkirinnakkaisuutta sekä KV-välimuistin siirtoa GPU-muistin, isäntämuistin ja RDMA-liitetyn tallennustilan välillä.
  • Arvioi uusia ajonaikaisia ympäristöjä, kvantisointimenetelmiä, spekulatiivista purkua ja mixture-of-experts-palvelua sekä suosittele käyttöönotettavia teknologioita.
  • Auta rakentamaan orkestrointikerros, joka kattaa mallien hyväksymisen, GPU-aikataulutuksen ja osioinnin, välimuistitietoisen pyyntöjen reitityksen sekä automaattisen skaalauksen.
  • Ratkaise asiakkaiden ongelmat alusta loppuun, selvitä niiden perimmäiset syyt ja vahvista niihin liittyviä järjestelmiä ja prosesseja.
  • Tarkasta koodia ja suunnitelmia, ohjaa kollegoita ja näytä esimerkkiä vahvoista ohjelmistokehityskäytännöistä.

Vaatimukset

  • Vähintään 8 vuoden kokemus ohjelmistokehityksestä.
  • Yhdestä kahteen vuotta tai enemmän suoraa kokemusta LLM-inferenssiajoista tai tuotantotason mallipalveluista.
  • Tietojenkäsittelytieteen tai vastaavan alan tutkinto.
  • LLM-inferenssimoottoreiden, kuten vLLM:n, SGLangin, TensorRT-LLM:n, TGI:n tai NVIDIA NIM:n, tuntemus sekä kokemus moottorien sisäosien muokkaamisesta.
  • Vahva jatkuvan eräajon, sivutetun huomion, KV-välimuistin uudelleenkäytön ja etuliitevälimuistin, lohkoittaisen esitäytön, kvantisoinnin sekä spekulatiivisen purkamisen tuntemus.
  • Tensori- ja putkirinnakkaisuuden, NCCL-kollektiivioperaatioiden, GPU-muistihierarkian ja liitäntöjen toiminnan tuntemus.
  • Edistynyt Kubernetes-alusta-arkkitehtuurin osaaminen, mukaan lukien operaattorit, mukautetut resurssit, ohjaimet ja ajoitus.
  • Vahvat ohjelmointitaidot Go- ja Python-kielillä.
  • Kyky lukea, selvittää ja profiloida C++- ja CUDA-koodia esimerkiksi Nsight-työkaluilla.
  • Monitasoisten työkuormien, kuten RAG- ja agenttisovellusten, virheenkorjauksen ja profiloinnin tuntemus.
  • Erinomaiset analyyttiset, virheenkorjaus- ja ongelmanratkaisutaidot.
  • Eduksi: osallistuminen vLLM:n, SGLangin, TensorRT-LLM:n, llm-d:n, LMCache:n tai KServen kehittämiseen.
  • Eduksi: kokemus eriytetystä esitäytöstä ja purkupalvelusta tai laajamittaisesta KV-välimuistin siirrosta ja uudelleenkäytöstä.
  • Eduksi: kokemus RDMA:sta, GPUDirect Storagesta, InfiniBandista tai RoCE:sta.
  • Eduksi: kokemus MIG:stä, murto-osaisten GPU-resurssien varaamisesta ja usean vuokraajan GPU-eristyksestä.
  • Eduksi: kokemus ohjelmistojen toimittamisesta paikallisiin, verkosta eristettyihin tai säännellyissä yritysympäristöissä käytettäviin ympäristöihin.

Edut

  • Kattavat edut, jotka tukevat fyysistä terveyttä, taloudellista turvaa ja henkistä hyvinvointia.
  • Ohjelmia henkilökohtaisen ja ammatillisen kasvun tueksi.
  • Joustavuutta työjärjestelyihin ja henkilökohtaisiin tarpeisiin.
  • Osallistava työpaikkakulttuuri.
  • Kohtuulliset mukautukset hakemus- tai haastatteluprosessin aikana päteville vammaisille hakijoille.

Samankaltaiset työpaikat

Arctic Wolf

Etäkanavamyyntipäällikkö, Alankomaat

Arctic Wolf

Kasvata Arctic Wolfin kyberturvallisuuskumppaniverkostoa Alankomaissa ja Benelux-maissa. Johda kanavamyyntiä, kumppanien valmiuksien kehittämistä, myyntiputken ennustamista ja liikevaihdon kasvua.

Avaa
Triumph

VIP-asiakkuuspäällikkö Triumphilla (etätyö Yhdysvalloissa)

Triumph
11 – 50 Työntekijät
B2CPelaaminenVerkkokauppa

Hoida henkilökohtaisia suhteita Triumphin peli- ja keräilykorttialustan arvokkaimpiin pelaajiin. Vastaa pelaajatuesta, VIP-kokemuksista ja vastuullisesta pelaamisesta sekä välitä palautetta kanta-asiakasohjelman ja tuotekehityksen tueksi.

Avaa
Peraton

Peratonin liiketoiminnan kehitysjohtaja, DIA

Peraton

Johda Peratonin liiketoiminnan kehitystä puolustustiedusteluviraston tehtävissä strategisesta asiakassuunnittelusta tarjousten toimittamiseen. Muotoile hankkeita, asiakassuhteita ja kumppanuuksia Peratonin kansallisen turvallisuuden liiketoiminnan kasvattamiseksi.

Avaa
FEVO

Liiketoiminnan kehitysjohtaja, FEVO (etätyö Yhdysvalloissa)

FEVO

Johdat yritysmyyntiä ja kumppanuuksia FEVO:n live-viihteen lippualustalla ja kasvatat liikevaihtoa Yhdysvaltain urheilu- ja viihdemarkkinoilla. Työhön kuuluu uusasiakashankintaa, neuvotteluja ja yhteistyötä eri tiimien kanssa kauppojen viemiseksi maaliin.

Avaa
Peraton

Peratonin liiketoiminnan kehitysjohtaja, puolustustiedustelu

Peraton

Johda liiketoiminnan kehitystä Peratonin DIA-portfoliossa, muotoile puolustustiedustelun mahdollisuuksia ja ohjaa vaativia tarjoushankkeita. Rakenna strategisia asiakassuhteita ja kasvata mahdollisuuksien portfoliota tiedustelu- ja puolustusorganisaatioissa.

Avaa