LogoFresh Jobs Ahead
STN Incorporated
STN Incorporated
11 – 50 Työntekijät
KyberturvallisuusLaitteistoYritys
STN Incorporated tarjoaa hallinnoituja IT-palveluja ja pilvi-infrastruktuuria yrityksille ja tiimeille, jotka kehittävät liiketoimintakriittisiä ohjelmistoja, tekoälyjärjestelmiä ja robotiikkaa. Palveluihin kuuluvat yksityiset CPU-pilvet, GPU One -tekoälyinfrastruktuuri, suojatut verkkoyhteydet ja tallennus sekä jatkuvat pilvipalvelut, joita tukevat ympärivuorokautinen ihmistuki ja korkean käytettävyyden palvelutasosopimukset. Yhtiö huolehtii myös kyberturvallisuudesta ja tietoturvapoikkeamien hallinnasta, vaatimustenmukaisuudesta ja riskienhallinnasta, varmuuskopioinnista ja palautuksesta sekä teknologiainvestoinneista ja laitteiden elinkaaren hallinnasta. STN palvelee SaaS-yrityksiä, tekoälyratkaisujen kehittäjiä ja mallien kehittäjiä, robotiikkayrityksiä sekä säänneltyjä organisaatioita, kuten terveydenhuollon palveluntarjoajia. Infrastruktuuri on suunniteltu tukemaan auditointivalmiutta ja viitekehyksiä, kuten SOC 2 Type II -standardia ja HIPAA-vaatimuksia.
LinkedIn
Yrityksen työpaikat

Senior-tason päättelykuormien optimoinnin vetäjä

Johda asiakkaiden tekoälykuormien GPU-suorituskyvyn viritystä STN:n autonomisella datakeskusalustalla. Muunna optimointiosaaminen agenttien toteutettaviksi korjauksiksi ja vastaa sisäisestä mallien tarjoilusta.

USYhdysvallatEtätyöKokoaikainenSeniorVaadittu Kieli: englantiTekoäly

Kuvaus

  • Analysoi asiakkaiden koulutus- ja päättelykuormia löytääksesi suorituskyvyn pullonkaulat datan latauksessa, kollektiivisessa viestinnässä, muistikaistassa, ytimissä, eräkoossa ja rinnakkaisuudessa.
  • Määritä suorituskyvyn vertailutasot kullekin laitesukupolvelle aloittaen nykyisen sukupolven NVIDIA-järjestelmistä.
  • Muunna optimointiosaaminen korjauksiksi, joita agentit voivat soveltaa asiakkaiden klustereissa.
  • Viritä kuormia kapasiteettiin sitoutuneiden asiakkaiden kanssa suoraan tai heidän operatiivisten tiimiensä kautta.
  • Toissijaisena vastuualueena hallinnoi sisäistä mallien tarjoilua, mukaan lukien kustannukset ja viive huomioiva reititys sekä malliversioiden siirrot.
  • Neuvo GPU-resurssien jakamisessa sisäisen päättelyn ja asiakkaiden kuormien välillä.

Vaatimukset

  • Sinulla on syvällistä GPU-suorituskyvyn suunnitteluosaamista, mukaan lukien profilointi, muistin ja kaistanleveyden toiminta sekä ytimien tason ymmärrys.
  • Tunnet käytännön tasolla tarjoilupinoja, kuten vLLM, SGLang tai TensorRT-LLM, mukaan lukien eräajo, KV-välimuistin hallinta ja kvantisoinnin kompromissit.
  • Sinulla on kokemusta hajautetusta koulutuksesta ja päättelystä suuressa mittakaavassa, mukaan lukien tensor-, putki- ja datarinnakkaisuus.
  • Sinulla on kokemusta kollektiivisen viestinnän, kuten NCCL:n, virittämisestä.
  • Hallitset profilointityökalut, kuten Nsightin, DCGM:n ja kehystason profiloijat.
  • Osaat selittää suorituskykyä koskevat havainnot asiakkaille ja koodata ratkaisut agentin toteutettaviksi.
  • Eduksi katsotaan CUDA-ytimien kehittäminen, avointen painojen mallien käyttöönotto suuressa mittakaavassa, vertailutestien suunnittelu ja aiempi tekninen asiakastyö.

Samankaltaiset työpaikat

CDW

Tekoälyinfrastruktuurin konsultointi-insinööri, laskenta ja tallennus

CDW
H1B-viisumin sponsoriKonsultointiKoulutusTerveydenhuolto
USYhdysvallat
77 725 $ – 108 265 $ / vuosi
EtätyöKokoaikainenKeskitasoSeniorVaadittu Kieli: englantiTekoäly
KubernetesLinuxNFS

Suunnittelet ja validoit GPU-laskenta- ja tehokkaan tallennuksen ratkaisuja yritysten tekoäly- ja koneoppimistyökuormiin. Autat CDW:n asiakkaita toteuttamaan infrastruktuuria tekoälyn koulutukseen, hienosäätöön ja päättelyyn.

Avaa