TMTG, или Trump Media & Technology Group, е медийна и технологична компания, чиито платформи са насочени към социалните медии, стрийминг развлеченията, новините и културата. Тя предоставя пространства, където потребители и създатели могат да споделят и публикуват съдържание, като представя услугите си като алтернатива на наративите на масовите медии.
Старши бекенд инженер, AI платформа
Разработвайте продукционни LLM функции и основна AI инфраструктура за социална медийна платформа с милиони потребители. Ръководете системите за извличане, обслужване на модели, оценяване и безопасност.
Описание
- Разработвайте AI функции за социална медийна платформа с милиони потребители.
- Работете в тясно сътрудничество с архитекта на платформата и инженерния екип.
- Създавайте основна AI инфраструктура в среда, изграждана от нулата.
- Помагайте за определянето на инженерните практики с разрастването на екипа.
- Свързвайте услугите с приложения на Ruby on Rails и React/TypeScript.
- Поемайте отговорност за бекенд услугите от проектирането на схемата на данните до внедряването и дежурната поддръжка.
- Изграждайте и поддържайте системи за обслужване на LLM, извличане, оценяване, инструментариум и безопасност.
Изисквания
- Най-малко пет години опит в бекенд инженерството със статично типизиран език като Go, Java, Kotlin или C#.
- Професионален опит с внедряване на LLM функции в продукционна среда, включително генериране с допълнено извличане, поточно предаване на отговори и използване на инструменти.
- Практически опит с инфраструктура за обслужване на LLM, включително маршрутизиране към няколко доставчика, превключване при отказ, поточно предаване на токени и проследяване на разходите и използването.
- Опит в изграждането на системи за извличане с векторно търсене, процеси за създаване на embedding-и, сглобяване на контекст и отговори с цитирани източници.
- Умение за инструментално наблюдение на халюцинации, неуспешно извличане, прекъсвания при доставчици и надхвърляне на разходите.
- Опит в оценяването на качеството на AI отговори по отношение на релевантност, безопасност, качество на източниците и възпроизводимост на резултатите.
- Отлични умения за проектиране на API.
- Умение за поемане на отговорност за услуга от проектирането на схемата до внедряването и дежурната поддръжка.
- Местоживеене в Съединените щати и разрешение за работа там.
- Go е силно предпочитан.
- Опит с Python.
- Опит с LLM шлюзове или инструменти за обслужване като LiteLLM, vLLM или TGI.
- Опит с векторни бази данни като Qdrant или pgvector и с процеси за създаване на embedding-и.
- Опит с дообучаване на модели с отворени тегла чрез LoRA или пълно дообучаване.
- Опит с модериране на съдържание или инструменти за безопасност.
- Познаване на Ruby on Rails или React/TypeScript.