Pinterest je vizuální platforma pro objevování, na které lidé hledají inspiraci, ukládají si nápady a organizují je podle zájmů, projektů a nákupů. Platforma propojuje personalizovaná doporučení s vizuálním vyhledáváním témat, jako jsou bydlení, móda, recepty a události, a zároveň pomáhá tvůrcům a maloobchodníkům oslovovat publikum prostřednictvím nástrojů pro obchod a reklamu.
Seniorní hlavní softwarový inženýr, platforma AI — hybridní práce, Palo Alto
Povedete strategii, architekturu a zavádění platformy Pinterest pro hodnocení AI a strojového učení. Pomůžete zavést spolehlivé postupy hodnocení generativních AI řešení napříč celou společností.
Popis
- Identifikujte příležitosti k modernizaci a rozšiřujte plán rozvoje celopodnikového systému hodnocení s využitím technického vedení
- Určujte technické směřování napříč funkcemi, slaďujte partnerské týmy a zvyšujte využívání sdílených možností hodnocení
- Přijímejte dlouhodobá architektonická rozhodnutí, která posilují uživatelskou zkušenost a spolehlivost platformy Pinterest pro hodnocení AI a strojového učení
- Vyvíjejte metody a standardy hodnocení kombinující automatizované metriky, odborné posouzení, zpětnou vazbu od lidí, bezpečnost a obchodní výsledky
- Veďte složité iniciativy napříč týmy, řiďte technické kompromisy a rizika a dosahujte měřitelného dopadu
- Rozvíjejte platformu Pinterest pro hodnocení AI a strojového učení v jednotný a spolehlivý systém používaný v celé společnosti
- Spolupracujte s vývojovými, výzkumnými, produktovými a bezpečnostními týmy na zvyšování kvality, zlepšování rozhodování o uvedení na trh a posilování důvěry v AI řešení
Požadavky
- Nejméně 3 roky praktických zkušeností s návrhem a provozem systémů hodnocení pro generativní AI a komplexní systémy strojového učení
- Zkušenosti s vytvářením benchmarků a referenčních datových sad, používáním automatizovaných metrik a hodnocení lidmi, klasifikací založenou na modelech a analýzou selhání
- Velmi dobrá znalost Pythonu
- Praktická znalost principů distribuovaných systémů
- Schopnost efektivně iterovat s nástroji AI při programování a návrhu systémů
- Rozsáhlá znalost knihoven a frameworků pro hodnocení generativní AI a doporučovacích systémů včetně AutoEvals, OpenEvals a Ragas
- Nejméně 5 let zkušeností s vývojem škálovatelných platforem pro distribuované experimentování, verzování dat a modelů, orchestraci, observabilitu, správu vydání a produkční monitoring
- Dobrý úsudek v otázkách rizik generativní AI, jako jsou robustnost, předpojatost, soukromí, bezpečnost a limity automatizovaných signálů hodnocení
- Bakalářský titul v oboru informatiky, inženýrství nebo příbuzném oboru, případně rovnocenné zkušenosti
Benefity
- Možnost získat podíl ve společnosti
- Flexibilní pracovní model PinFlex
- Osobní spolupráce jednou nebo dvakrát za čtvrtletí
- Zaměstnavatel poskytující rovné příležitosti
- Podpora zdravotních nebo náboženských úprav během náborového procesu