42dot je společnost zaměřená na umělou inteligenci pro mobilitu, která působí na pomezí automobilových technologií a logistiky. Zaměřuje se na softwarově definované technologie vozidel, autonomní elektrická vozidla a softwarovou a datovou infrastrukturu potřebnou pro škálovatelnou městskou dopravu. Společnost vyvíjí software pro vozidla, datové platformy pro vozové parky a modely umělé inteligence pro vnímání okolí a řízení. Součástí jejího portfolia je také TAP!, operační systém pro mobilitu určený k nasazování autonomních služeb. Prostřednictvím výzkumu a spolupráce v oblasti elektroniky vozidel a softwarově orientovaných architektur chce 42dot učinit systémy mobility autonomnějšími, adaptabilnějšími a snadněji provozovatelnými.
Inženýr posilovaného učení pro autonomní řízení
Vyvíjejte a optimalizujte politiky posilovaného učení pro modely autonomního řízení 42dot. Vytvářejte simulace self-play, průběhy scénářů a hodnocení bezpečnosti pro zlepšení jízdního výkonu.
Popis
- Navrhujte rozhraní pro pozorování a akce mezi politikami VLA a simulátory a vyvíjejte následný trénink posilovaného učení v uzavřené smyčce pomocí metod, jako jsou GRPO a PPO.
- Vytvářejte trénink self-play ve vektorových simulátorech jízdy nebo simulátorech založených na obsazenosti, kde vozidlo ego a účastníci provozu interagují se současnými politikami a předchozími checkpointy.
- Vyvíjejte varianty akcí a průběhy trajektorií pro možné budoucí scénáře a poté vybírejte akce podle očekávaného výnosu a bezpečnostních omezení.
- Hodnoťte bezpečnost a zobecnitelnost politik pomocí benchmarků v uzavřené smyčce.
- Analyzujte reward hacking a zkreslení simulátoru.
- Veďte perspektivní nápady z oblasti posilovaného učení od návrhu přes rozsáhlý trénink a důkladné hodnocení až po integraci s modely řízení.
Požadavky
- Nejméně tři roky zkušeností se strojovým učením, posilovaným učením nebo robotikou, případně odpovídající výzkumné a vývojové schopnosti.
- Zkušenosti s implementací algoritmů učení politik a s tréninkem a vyhodnocováním pomocí Pythonu a PyTorch.
- Znalost optimalizace politik, návrhu odměn a přiřazování zásluh a schopnost navrhovat experimenty s posilovaným učením.
- Zkušenosti s trénováním politik v simulacích nebo multiagentních prostředích a ověřováním zlepšení vůči výchozím modelům.
- Znalost angličtiny dostačující k diskusi o technických otázkách a spolupráci se zahraničními pobočkami.
- Zkušenosti s vývojem systémů self-play, multiagentního posilovaného učení nebo tréninku populací politik (výhodou).
- Zkušenosti s aplikací metod následného tréninku posilovaného učení, například GRPO nebo PPO, na VLA či generativní politiky (výhodou).
- Zkušenosti s trénováním politik ve vektorových simulátorech jízdy nebo simulátorech založených na obsazenosti, případně s vývojem plánování průběhů založeného na modelu světa (výhodou).
- Zkušenosti s rozsáhlými paralelními průběhy, distribuovaným tréninkem nebo ověřováním sim-to-real (výhodou).
Benefity
- Přednost mají veteráni a osoby oprávněné k ochraně zaměstnání podle příslušných právních předpisů.
- Přednost mají uchazeči s registrovaným průkazem osoby se zdravotním postižením.
- Po pohovorech mohou být se souhlasem uchazeče ověřeny reference.
- Může se uplatnit tříměsíční zkušební doba.