Gramian Consulting je poradenská firma, ktorá uprednostňuje prácu na diaľku a zameriava sa na technické, dátové a AI talenty. Organizáciám pomáha rozširovať technické kapacity prostredníctvom dopĺňania talentov, náboru, špecializovaných tímov a riadenia kontraktorov. Poskytuje tiež služby, ako sú trénovanie a dolaďovanie veľkých jazykových modelov, AI agenti a asistenti, MLOps a AI infraštruktúra. Podporuje aj individuálny kariérny rozvoj prostredníctvom mentoringových a vzdelávacích programov zameraných na pripravenosť na kariéru, prípravu na pohovory a orientáciu na medzinárodnom trhu. Jej práca spája praktické skúsenosti z inžinierstva a náboru, aby klientom pomohla budovať technické tímy a využívať AI na riešenie obchodných potrieb.
Kontraktor pre hodnotenie AI v chemických vedách a Pythone
Kontraktorská pozícia na tvorbu chemických úloh v Pythone, validačných testov a dôsledných dátových súborov používaných na trénovanie a hodnotenie pokročilých modelov AI v spoločnosti Gramian Consulting.
Popis
- Vytvárať úlohy z oblasti vedeckého programovania s ústredným chemickým problémom a najmenej tromi logicky prepojenými podproblémami, ktoré sa zvyšujúcou štruktúrou a zložitosťou postupne rozvíjajú.
- Vytvárať overené referenčné riešenia v Pythone s komplexným pokrytím jednotkovými testami.
- Navrhovať cielené testovacie prípady, ktoré odlíšia správne odpovede vygenerované AI od nesprávnych.
- Vykonávať kontroly kvality v centrálnej platforme úloh vrátane štrukturálnej validácie úrovne 1 a hodnotiacich kritérií kvality úrovne 2.
- Upravovať požiadavky na úlohy, implementácie a testovacie prípady na základe spätnej väzby z kontroly kvality.
- Ladiť úlohy tak, aby spĺňali hodnotiace štandardy Pass@K v rámci modelov GPT, Gemini, Nemotron a ďalších hodnotiteľov LLM.
- Dodržiavať vedeckú presnosť, deterministické správanie, jasnú formuláciu problémov a požiadavky projektu na kvalitu.
- Odovzdávať kvalitné prvé návrhy, obmedzovať potrebu prepracovania a dôsledne smerovať k schváleniu na úrovni L1.
- Zúčastňovať sa kontrolných stretnutí, spätnoväzbových stretnutí a projektových porád počas požadovaných hodín časového prekryvu.
Požiadavky
- Magisterské vzdelanie alebo doktorát z chémie.
- Pokročilá znalosť programovania v Pythone a praktické skúsenosti s vedeckými výpočtami.
- Skúsenosti s vedeckými nástrojmi Pythonu, ako sú NumPy, SciPy, SymPy alebo porovnateľné doménovo špecifické knižnice.
- Schopnosť definovať dôsledné vedecké problémy s presne stanovenými obmedzeniami a očakávanými výstupmi.
- Skúsenosti s implementáciou vedeckých riešení s jednotkovými testami a deterministickými výsledkami.
- Skúsenosti s anotáciou údajov pre AI, vedeckým výskumom alebo odborným vedeckým písaním.
- Znalosť systémov hodnotenia LLM, programátorských benchmarkov alebo posudzovania kódu vytvoreného AI.
- Publikovaný výskum alebo skúsenosti s akademickými projektmi v chémii alebo inom odbore STEM.