Mindrift je tržiště talentů v oblasti umělé inteligence a platforma SaaS, která propojuje profesionální přispěvatele a odborníky z různých oborů s projekty technologických společností zaměřenými na trénování a hodnocení AI. Jako součást společnosti Toloka spolupracuje s autory, editory, specialisty na kontrolu kvality, vědci a dalšími odborníky, kteří pomáhají vytvářet tréninková data, posuzovat bezpečnost a schopnost modelů uvažovat, hodnotit kvalitu médií a vytvářet realistické scénáře pro zlepšování výkonu a spolehlivosti AI. Mindrift získává a prověřuje přispěvatele prostřednictvím hodnocení a ověření identity a následně nabízí flexibilní placené projekty v oblasti trénování a hodnocení AI.
Seniorní inženýr pro scrapování dat v Pythonu (částečný úvazek, práce na dálku z Gruzie)
Mindrift hledá seniorního Python inženýra pro tvorbu spolehlivých procesů scrapování dat pro technologické projekty v oblasti umělé inteligence. Role se zaměřuje na získávání, ověřování a škálování strukturovaných datových sad ze složitých dynamických webů.
Popis
- Spravovat komplexní procesy extrakce dat od začátku do konce
- Dodávat úplné, přesné a spolehlivé strukturované datové sady
- Využívat dostupné nástroje a vlastní pracovní postupy ke zrychlení sběru a ověřování dat i provádění úkolů
- Extrahovat data z dynamických a interaktivních webových zdrojů včetně stránek vykreslovaných pomocí JavaScriptu
- Přizpůsobovat metody scrapování podle toho, jak se mění chování webů
- Udržovat kvalitu dat pomocí validačních kontrol, ověřování konzistence mezi zdroji, požadavků na formátování a systematického ověřování
- Škálovat scrapování velkých datových sad pomocí efektivního dávkového nebo paralelního zpracování
- Sledovat selhání a zachovávat stabilitu i při drobných změnách struktury webů
- Kombinovat nástroje jako Apify a OpenRouter s relevantními technickými znalostmi
Požadavky
- Nejméně 5 let relevantních zkušeností v datovém inženýrství, web scrapingu, automatizaci nebo vývoji softwaru
- Upřednostňuje se bakalářské nebo magisterské vzdělání v oboru inženýrství, aplikované matematiky, informatiky nebo příbuzném technickém oboru
- Silné zkušenosti s web scrapingem v Pythonu pomocí BeautifulSoup, Selenium nebo srovnatelných nástrojů, s dynamickým obsahem a API přístupnými prostřednictvím proxy
- Prokázaná schopnost extrahovat informace ze složitých struktur včetně hierarchií, archivovaných stránek a nekonzistentního HTML
- Solidní zkušenosti s čištěním, normalizací a validací dat pro dodání ve formátu CSV, JSON nebo Google Sheets
- Praktické zkušenosti se správou mechanismů proti botům a dynamických struktur webů ve velkém měřítku
- Zkušenosti s AWS nebo srovnatelnou cloudovou infrastrukturou a kontejnerizací založenou na Dockeru
- Praktické zkušenosti s využitím LLM frameworků, jako jsou LangChain nebo OpenRouter, pro automatizační úlohy
- Velký smysl pro detail a silný důraz na přesnost dat
- Schopnost pracovat samostatně a řešit problémy bez blízkého dohledu
- Angličtina na úrovni Upper-Intermediate (B2) nebo vyšší
- Odkaz na profil GitHub je výhodou
Benefity
- Vzdálená freelance spolupráce na částečný úvazek
- Přibližně 10–20 hodin týdně během aktivních fází projektů
- Práce na technologických projektech a projektech rozvoje umělé inteligence