TMTG, teda Trump Media & Technology Group, je mediálna a technologická spoločnosť. Jej platformy sa zameriavajú na sociálne médiá, streamovanú zábavu, správy a kultúru. Poskytuje priestor používateľom a tvorcom na zdieľanie a publikovanie obsahu a svoje služby predstavuje ako alternatívu k naratívom mainstreamových médií.
Senior backend inžinier, AI platforma
Vyvíjajte produkčné funkcie založené na LLM a základnú AI infraštruktúru pre platformu sociálnych médií s miliónmi používateľov. Veďte systémy vyhľadávania, obsluhy modelov, evaluácie a bezpečnosti.
Popis
- Vyvíjajte AI funkcie pre platformu sociálnych médií s miliónmi používateľov.
- Úzko spolupracujte s architektom platformy a inžinierskym tímom.
- Vytvárajte základnú AI infraštruktúru v prostredí budovanom od základov.
- Pomáhajte určovať inžinierske postupy pri rozširovaní tímu.
- Prepájajte služby s aplikáciami Ruby on Rails a React/TypeScript.
- Zodpovedajte za backendové služby od návrhu dátovej schémy cez nasadenie až po pohotovostnú podporu.
- Vytvárajte a prevádzkujte systémy na obsluhu LLM, vyhľadávanie, evaluáciu, monitorovanie a bezpečnosť.
Požiadavky
- Aspoň päť rokov skúseností s vývojom backendu v staticky typovanom jazyku, napríklad Go, Java, Kotlin alebo C#.
- Skúsenosti s nasadzovaním funkcií založených na LLM do produkcie vrátane generovania rozšíreného o vyhľadávanie, streamovaných odpovedí a používania nástrojov.
- Praktické skúsenosti s infraštruktúrou na obsluhu LLM vrátane smerovania medzi viacerými poskytovateľmi, záložného prepínania, streamovania tokenov a sledovania nákladov a využitia.
- Skúsenosti s budovaním systémov vyhľadávania pomocou vektorového vyhľadávania, procesov tvorby embeddingov, zostavovania kontextu a odpovedí s citáciami zdrojov.
- Schopnosť monitorovať halucinácie, zlyhania vyhľadávania, výpadky poskytovateľov a prekročenia nákladov.
- Skúsenosti s hodnotením kvality odpovedí AI z hľadiska relevantnosti, bezpečnosti, kvality zdrojov a reprodukovateľnosti výsledkov.
- Dobré zručnosti v návrhu API.
- Schopnosť prevziať zodpovednosť za službu od návrhu schémy cez nasadenie až po pohotovostnú podporu.
- Pôsobisko v Spojených štátoch a oprávnenie pracovať tam.
- Go je výrazne preferovaný.
- Skúsenosti s Pythonom.
- Skúsenosti s bránami alebo nástrojmi na obsluhu LLM, ako sú LiteLLM, vLLM alebo TGI.
- Skúsenosti s vektorovými databázami, ako sú Qdrant alebo pgvector, a s procesmi tvorby embeddingov.
- Skúsenosti s dolaďovaním modelov s otvorenými váhami pomocou LoRA alebo úplného dolaďovania.
- Skúsenosti s moderovaním obsahu alebo bezpečnostnými nástrojmi.
- Znalosť Ruby on Rails alebo React/TypeScript.