TMTG, odnosno Trump Media & Technology Group, medijska je i tehnološka tvrtka čije su platforme usmjerene na društvene mreže, streaming zabavu, vijesti i kulturu. Korisnicima i kreatorima pruža prostor za dijeljenje i objavljivanje sadržaja, a svoje usluge predstavlja kao alternativu narativima mainstream medija.
Viši backend inženjer, AI platforma
Razvijajte produkcijske značajke temeljene na LLM-u i temeljnu AI infrastrukturu za platformu društvenih medija s milijunima korisnika. Vodite sustave za dohvat, posluživanje modela, evaluaciju i sigurnost.
Opis
- Razvijajte AI značajke za platformu društvenih medija s milijunima korisnika.
- Blisko surađujte s arhitektom platforme i inženjerskim timom.
- Izgradite temeljnu AI infrastrukturu u okruženju koje se razvija od početka.
- Pomozite definirati inženjerske prakse kako tim raste.
- Povežite usluge s aplikacijama Ruby on Rails i React/TypeScript.
- Preuzmite odgovornost za backend usluge od dizajna podatkovne sheme do implementacije i dežurne podrške.
- Izgradite i održavajte sustave za posluživanje LLM-a, dohvat, evaluaciju, instrumentaciju i sigurnost.
Zahtjevi
- Najmanje pet godina iskustva u backend inženjerstvu sa statički tipiziranim jezikom kao što su Go, Java, Kotlin ili C#.
- Iskustvo s produkcijskom isporukom značajki temeljenih na LLM-u, uključujući generiranje prošireno dohvatom, odgovore u toku i upotrebu alata.
- Praktično iskustvo s infrastrukturom za posluživanje LLM-a, uključujući usmjeravanje među više pružatelja, prebacivanje na pričuvne sustave, tokene u stvarnom vremenu te praćenje troškova i upotrebe.
- Iskustvo u izgradnji sustava za dohvat uz vektorsko pretraživanje, cjevovode za izradu embeddinga, sastavljanje konteksta i odgovore potkrijepljene citatima.
- Sposobnost instrumentiranja halucinacija, neuspjelog dohvata, prekida rada pružatelja i prekoračenja troškova.
- Iskustvo u evaluaciji kvalitete AI odgovora prema relevantnosti, sigurnosti, kvaliteti izvora i ponovljivosti rezultata.
- Izražene vještine dizajna API-ja.
- Sposobnost preuzimanja odgovornosti za uslugu od dizajna sheme do implementacije i dežurne podrške.
- Smještenost u Sjedinjenim Američkim Državama i ovlaštenje za rad ondje.
- Go je izrazito poželjan.
- Iskustvo s Pythonom.
- Iskustvo s LLM pristupnicima ili alatima za posluživanje kao što su LiteLLM, vLLM ili TGI.
- Iskustvo s vektorskim bazama podataka kao što su Qdrant ili pgvector te s cjevovodima za izradu embeddinga.
- Iskustvo s finim podešavanjem modela otvorenih težina putem LoRA-e ili potpunog finog podešavanja.
- Iskustvo s moderiranjem sadržaja ili sigurnosnim alatima.
- Poznavanje Ruby on Railsa ili Reacta/TypeScripta.