Výzkumný inženýr algoritmů pro hardwarovou inferenci velkých jazykových modelů
Vyvíjejte algoritmy inference velkých jazykových modelů pro paměťový AI hardware společnosti Normal Computing. Spolupracujte s hardwarovými a architektonickými týmy na návrhu numerických metod, testů a prototypů.
Popis
- Vyvíjejte algoritmy pro úlohy inference velkých jazykových modelů na hardwaru s výpočty v paměti.
- Spolupracujte s hardwarovými a architektonickými týmy na společném návrhu softwaru a hardwaru.
- Vytvářejte numerické metody využívající tepelný šum a analogovou dynamiku.
- Budujte hodnoticí rámce a srovnávací testy pro simulace i fyzický hardware.
- Převádějte poznatky o pracovním zatížení modelů na omezení a příležitosti pro návrh hardwaru.
- Vytvářejte a zdokonalujte prototypy algoritmů, jak hardware postupuje od simulace k výrobě křemíkových čipů.
- Zlepšujte výkon na úrovni logických hradel i algoritmů.
- Testujte algoritmy pomocí simulátorů, prototypů FPGA a křemíkových čipů, jakmile budou k dispozici.
Požadavky
- Dobrá znalost inference velkých modelů včetně mechanismů pozornosti, mezipaměti KV, dekódování dlouhého kontextu a omezení propustnosti paměti.
- Zkušenosti se zlepšováním inference pomocí technik, jako jsou kvantizace, řídkost, slučování jader nebo paměťově úsporná pozornost.
- Znalost stochastických systémů, pravděpodobnostních metod, numerické analýzy nebo analogových výpočtů.
- Zkušenosti s implementací algoritmů blízko hardwaru, nikoli pouze pomocí vysokoúrovňových frameworků.
- Schopnost uvažovat o nových výpočetních platformách od základních principů.
- Prokazatelná schopnost převést nápady od teorie až k implementaci na skutečném hardwaru.
- Dobrá znalost Pythonu a alespoň jednoho jazyka pro systémové programování.
- Schopnost spolupracovat s hardwarovými, architektonickými a softwarovými týmy.
- Doktorát ze strojového učení, aplikované matematiky, fyziky, elektrotechniky nebo příbuzného oboru je výhodou.
- Zkušenosti s analogovými či smíšenými signálovými systémy, výpočty v paměti nebo architekturami odlišnými od von Neumannovy architektury jsou výhodou.
- Zkušenosti s prací na hardwaru, který se v době vašeho nástupu stále vyvíjel, jsou výhodou.
- Publikace nebo příspěvky k projektům s otevřeným zdrojovým kódem v oblasti efektivní inference, stochastických algoritmů či nových výpočetních přístupů jsou výhodou.
Benefity
- Inkluzivní pracoviště s důrazem na rozmanitost.
- Přiměřené úpravy pracovních podmínek pro osoby se zdravotním postižením.
- Ochrana rovného přístupu k zaměstnání.
Související pracovní nabídky
Nebyly nalezeny žádné pracovní nabídky
Zkuste upravit nebo vymazat filtry a najít další příležitosti.