TMTG, ou Trump Media & Technology Group, est une entreprise de médias et de technologies dont les plateformes se consacrent aux réseaux sociaux, au divertissement en streaming, à l’actualité et à la culture. Elle met à la disposition des utilisateurs et des créateurs des espaces pour partager et publier du contenu, et présente ses services comme des alternatives aux récits des médias traditionnels.
Ingénieur backend senior, plateforme d’IA
Développez des fonctionnalités LLM prêtes pour la production et une infrastructure d’IA fondamentale pour une plateforme sociale comptant des millions d’utilisateurs. Dirigez les systèmes de récupération, de service des modèles, d’évaluation et de sécurité.
Description
- Développer des fonctionnalités d’IA pour une plateforme sociale comptant des millions d’utilisateurs.
- Collaborer étroitement avec l’architecte de la plateforme et l’équipe d’ingénierie.
- Créer une infrastructure d’IA fondamentale dans un environnement greenfield.
- Contribuer à définir les pratiques d’ingénierie à mesure que l’équipe s’agrandit.
- Connecter des services à des applications Ruby on Rails et React/TypeScript.
- Prendre en charge les services backend, de la conception du schéma de données au déploiement et aux opérations d’astreinte.
- Créer et exploiter les systèmes de service des LLM, de récupération, d’évaluation, d’instrumentation et de sécurité.
Exigences
- Au moins cinq ans d’expérience en ingénierie backend avec un langage à typage statique tel que Go, Java, Kotlin ou C#.
- Expérience en production dans la livraison de fonctionnalités reposant sur des LLM, notamment la génération augmentée par récupération, les réponses en streaming et l’utilisation d’outils.
- Expérience pratique de l’infrastructure de service des LLM, notamment du routage multi-fournisseurs, du basculement, du streaming de jetons et du suivi des coûts et de l’utilisation.
- Expérience dans la création de systèmes de récupération avec recherche vectorielle, pipelines d’embeddings, assemblage du contexte et réponses étayées par des citations.
- Capacité à instrumenter les hallucinations, les échecs de récupération, les interruptions de fournisseurs et les dépassements de coûts.
- Expérience dans l’évaluation de la qualité des réponses d’IA selon leur pertinence, leur sécurité, la qualité des sources et la reproductibilité des résultats.
- Solides compétences en conception d’API.
- Capacité à prendre en charge un service depuis la conception du schéma jusqu’au déploiement et à l’assistance d’astreinte.
- Résider aux États-Unis et être autorisé à y travailler.
- Go est fortement privilégié.
- Expérience avec Python.
- Expérience des passerelles LLM ou des outils de service, tels que LiteLLM, vLLM ou TGI.
- Expérience des bases de données vectorielles comme Qdrant ou pgvector et des pipelines d’embeddings.
- Expérience du réglage fin de modèles à poids ouverts avec LoRA ou par réglage fin complet.
- Expérience des outils de modération de contenu ou de sécurité.
- Connaissance de Ruby on Rails ou de React/TypeScript.