Mindrift je tržiště talentů v oblasti umělé inteligence a platforma SaaS, která propojuje profesionální přispěvatele a odborníky z různých oborů s projekty technologických společností zaměřenými na trénování a hodnocení AI. Jako součást společnosti Toloka spolupracuje s autory, editory, specialisty na kontrolu kvality, vědci a dalšími odborníky, kteří pomáhají vytvářet tréninková data, posuzovat bezpečnost a schopnost modelů uvažovat, hodnotit kvalitu médií a vytvářet realistické scénáře pro zlepšování výkonu a spolehlivosti AI. Mindrift získává a prověřuje přispěvatele prostřednictvím hodnocení a ověření identity a následně nabízí flexibilní placené projekty v oblasti trénování a hodnocení AI.
Seniorní inženýr pro web scraping v Pythonu (freelance, práce na dálku z Portugalska)
Budujte spolehlivé procesy web scrapingu a zpracování dat pro projekt Tendem AI společnosti Mindrift. Extrahujte, ověřujte a škálujte strukturované datové sady ze složitých a dynamických webových stránek.
Popis
- Zajišťovat celý proces extrakce ze složitých webových stránek a dodávat úplné, přesné a spolehlivé strukturované datové sady
- Využívat nástroje a přizpůsobené pracovní postupy ke zrychlení sběru a ověřování dat i dokončování úkolů
- Sbírat data z dynamických a interaktivních zdrojů a přizpůsobovat se obsahu vykreslovanému JavaScriptem i měnícímu se chování webových stránek
- Udržovat kvalitu dat pomocí validačních kontrol, porovnávání mezi zdroji, požadavků na formátování a systematických kontrol
- Rozšiřovat scraping velkých datových sad pomocí efektivního dávkového nebo paralelního zpracování
- Sledovat selhání extrakce a zachovávat stabilitu při drobných strukturálních změnách webových stránek
- Využívat odborné znalosti web scrapingu, extrakce a zpracování dat ve specializovaných pracovních postupech projektů Tendem
Požadavky
- Mít alespoň pět let relevantních zkušeností v datovém inženýrství, web scrapingu, automatizaci nebo vývoji softwaru
- Prokazovat silné dovednosti v oblasti scrapingu v Pythonu s využitím nástrojů BeautifulSoup, Selenium nebo srovnatelných nástrojů a zkušenosti s obsahem JavaScriptu a AJAX, nekonečným posouváním, API a proxy servery
- Umět extrahovat informace ze složitých hierarchií, archivovaných stránek a nekonzistentního HTML
- Mít pevné základy v čištění, normalizaci a validaci dat a zkušenosti s vytvářením strukturovaných datových sad CSV, JSON a Google Sheets
- Mít zkušenosti se zvládáním ochrany proti botům a měnících se struktur webů ve velkém měřítku
- Mít zkušenosti s AWS nebo srovnatelnou cloudovou infrastrukturou a kontejnerizací založenou na Dockeru
- Mít praktické zkušenosti s využitím LLM frameworků, jako jsou LangChain, OpenRouter nebo podobné nástroje, pro automatizační úlohy
- Pracovat s velkou pečlivostí a soustavně se zaměřovat na přesnost dat
- Umět pracovat samostatně, převzít odpovědnost za řešení problémů a zachovávat proaktivní přístup
- Ovládat angličtinu na úrovni Upper-intermediate (B2) nebo vyšší
- Bakalářské nebo magisterské vzdělání v oboru inženýrství, aplikované matematiky, informatiky nebo příbuzné technické disciplíně je výhodou
- Odkaz na profil GitHub je výhodou
Benefity
- Spolupráce na bázi freelance
- Práce na částečný úvazek v odhadovaném rozsahu 10–20 hodin týdně během aktivních fází projektu
- Práce na dálku
- Příležitost pracovat na inovativních technologických projektech prostřednictvím platformy Mindrift