Beacon Venture Capital je stopercentne vlastnená korporátna spoločnosť rizikového kapitálu banky Kasikornbank PLC, poprednej komerčnej banky v Thajsku. Fond bol založený v roku 2016 a strategicky investuje do technologických startupov od raných fáz až po fázu rastu, pričom sa primárne zameriava na fintech. Medzi jeho investičné záujmy patria aj podniky v oblasti spotrebiteľského životného štýlu a hlboké technologické oblasti, ako sú umelá inteligencia a podnikové IT. Beacon Venture Capital začal s kapitálom 30 miliónov dolárov a do roku 2018 ho zvýšil na 135 miliónov dolárov.
Vedúci softvérový inžinier, umelá inteligencia a LLM
Vediete vývoj leteckých funkcií využívajúcich LLM pre platformu Beacon AI na zvýšenie bezpečnosti letov vrátane RAG, volania nástrojov, vyhodnocovania, bezpečnosti a spoľahlivosti v produkcii.
Popis
- Budovať používateľské produktové funkcie využívajúce LLM od návrhu až po produkciu
- Navrhovať pracovné postupy pre generovanie s rozšíreným vyhľadávaním a volanie nástrojov
- Vytvárať spoľahlivé výstupy JSON a výstupy obmedzené schémou s validáciou, opakovaniami a záložným spracovaním
- Používať volanie funkcií na prepájanie interných nástrojov, vyhľadávania, smerovania a dátových služieb
- Vyvíjať rozhrania API a workery v Pythone alebo TypeScripte s explicitnými kontraktmi, streamovaním a exponenciálnym čakaním
- Používať kešovanie, úpravu požiadaviek, šablóny promptov a zhromažďovanie kontextu na riadenie latencie a nákladov
- Prepájať aplikácie s AWS Bedrock, OpenAI, Anthropic alebo vlastnými endpointmi modelov
- Spolupracovať s infraštruktúrnymi inžiniermi na segmentácii, embeddingoch a indexovaní dokumentov, časových radov a multimédií
- Vyberať a optimalizovať vektorové databázy vrátane OpenSearch, pgvector a Pinecone
- Udržiavať znalostné databázy aktuálne synchronizáciou údajov zo S3, Aurora, DynamoDB a externých zdrojov
- Vytvárať offline vyhodnocovania a referenčné datasety pre prompty, retrievery a nástroje
- Definovať online metriky úspešnosti úloh, mieru halucinácií, presnosť a úplnosť vyhľadávania, latenciu p95 a náklady na požiadavku
- Vykonávať A/B testy a zavádzať zmeny promptov a verzií s ochrannými mechanizmami a kanárikovými vydaniami
- Implementovať presadzovanie pravidiel obsahu a politík, detekciu a redakciu osobných údajov, riadenie prístupu a auditné záznamy
- Vytvárať pracovné postupy s človekom v rozhodovacej slučke pre citlivé operácie
- Spracúvať letecké údaje v súlade s internými bezpečnostnými štandardmi
- Poskytovať trasovanie, protokolovanie a dashboardy pre volania modelov, využitie tokenov, chyby a vyťaženie systému
- Preskúmavať zlyhania vo vyhľadávaní, promptoch, nástrojoch a poskytovateľoch modelov
- Určovať technické smerovanie naprieč službami a tímami pri zložitých a nejednoznačných problémoch
- Spolupracovať s partnermi z oblasti ML, infraštruktúry a produktov na používateľskej skúsenosti, výsledkoch, spoľahlivosti a bezpečnostne kritických systémoch
Požiadavky
- Aspoň 8 rokov skúseností vrátane zodpovednosti za systémy alebo štandardy používané inými inžiniermi
- Prípadne relevantné magisterské vzdelanie a 4 roky relevantných skúseností
- Skúsenosti so spúšťaním funkcií LLM pre koncových používateľov a ich zlepšovaním na základe údajov
- Silné zručnosti v produkčnom vývoji, testovaní a technickej dokumentácii
- Znalosť embeddingov, segmentácie, kompromisov vektorového vyhľadávania a volania funkcií
- Skúsenosti s navrhovaním vyhodnocovaní, stanovovaním metrík úspechu a iteráciou na základe dôkazov
- Schopnosť monitorovať latenciu p95, plniť SLA a znižovať náklady pri zachovaní kvality
- Schopnosť komunikovať kompromisy a zosúladiť zainteresované strany z oblasti produktov, infraštruktúry a bezpečnosti
- Skúsenosti s technickým vedením pri určovaní smerovania alebo štandardov prijatých inžiniermi či tímami
- Znalosť Pythonu alebo TypeScriptu
- Skúsenosti s RAG, pracovnými postupmi volania nástrojov, JSON obmedzeným schémou, validáciou, opakovaniami, záložným spracovaním, API, workermi, streamovaním, exponenciálnym čakaním, kešovaním, šablónami promptov, zhromažďovaním kontextu a poskytovateľmi modelov
- Skúsenosti s AWS Bedrock, OpenAI, Anthropic alebo vlastnými endpointmi
- Znalosť OpenSearch, pgvector, Pinecone alebo Weaviate
- Skúsenosti s dátovými zdrojmi S3, Aurora a DynamoDB
- Skúsenosti s offline vyhodnocovaním, referenčnými datasetmi, online metrikami, A/B testovaním, zavádzaním promptov a verzií, ochrannými mechanizmami a kanárikovými vydaniami
- Skúsenosti s implementáciou kontrol obsahu a politík, detekciou a redakciou osobných údajov, riadením prístupu a auditom
- Skúsenosti s trasovaním, protokolovaním, dashboardmi, riešením problémov pri volaniach modelov a prevádzkou v produkcii
- Vyžaduje sa status osoby z USA; sponzorovanie víz ani transfery nie sú dostupné
- Všetka práca sa musí vykonávať v Spojených štátoch
- Schopnosť pracovať v oblasti San Francisco Bay Area alebo v San Carlose v Kalifornii aspoň 3 dni týždenne na pracovisku
Benefity
- Ponúka sa podielové vlastníctvo
- Spoločnosť hradí 100 % poistného na zdravotné poistenie zamestnanca
- Spoločnosť hradí 25 % poistného na zdravotné poistenie závislých osôb
- Tri týždne platenej dovolenky
- Aspoň 13 platených firemných sviatkov
- Ponúka sa plán 401(k)
- Počas zostávajúcich dní hybridného pracovného režimu je k dispozícii práca na diaľku