Mindrift ni soko la vipaji vya akili bandia na jukwaa la SaaS linalowaunganisha wachangiaji wa kitaalamu na wataalamu wa nyanja mbalimbali na miradi ya mafunzo na tathmini ya AI kutoka kwa kampuni za teknolojia. Ikiwa sehemu ya Toloka, inafanya kazi na waandishi, wahariri, wataalamu wa QA, wanasayansi na wataalamu wengine wa mada wanaosaidia kuzalisha data ya mafunzo, kutathmini usalama na uwezo wa kufikiri wa miundo, kutathmini ubora wa maudhui ya vyombo vya habari, na kuunda hali za ulimwengu halisi kwa ajili ya kuboresha utendaji na kutegemeka kwa AI. Mindrift huajiri na kuwachunguza wachangiaji kupitia tathmini na uthibitishaji wa utambulisho, kisha kutoa fursa rahisi za miradi inayolipwa katika kazi za mafunzo na tathmini ya AI.
Mhandisi Mwandamizi wa Python Web Scraping (Freelance, Kazi ya Mbali Portugal)
Jenga mifumo thabiti ya web scraping na uchakataji wa data kwa mradi wa Tendem AI wa Mindrift. Toa, thibitisha, na panua dataset zilizopangwa kutoka kwenye tovuti changamano na zenye mabadiliko.
Maelezo
- Simamia uchotaji wa data kutoka mwanzo hadi mwisho kwenye tovuti changamano ili kutoa dataset zilizopangwa zilizo kamili, sahihi na za kuaminika
- Tumia zana na mtiririko wa kazi uliobinafsishwa ili kuharakisha ukusanyaji wa data, uthibitishaji na ukamilishaji wa kazi
- Kusanya data kutoka kwenye vyanzo vinavyobadilika na shirikishi kwa kuzoea maudhui yanayowasilishwa na JavaScript na mabadiliko ya tabia ya tovuti
- Dumisha ubora wa data kupitia ukaguzi wa uthibitishaji, ulinganishaji wa vyanzo mbalimbali, mahitaji ya uumbizaji na mapitio ya kimfumo
- Panua shughuli za scraping kwa dataset kubwa kupitia upangaji wa mafungu wenye ufanisi au uchakataji sambamba
- Fuatilia hitilafu za uchotaji na dumisha uthabiti tovuti zinapopitia mabadiliko madogo ya muundo
- Tumia utaalamu wa web scraping, uchotaji wa data na uchakataji wa data katika mtiririko maalum wa kazi wa mradi wa Tendem
Mahitaji
- Uwe na angalau miaka mitano ya uzoefu unaohusiana katika uhandisi wa data, web scraping, otomatiki au uundaji wa programu
- Onyesha ujuzi thabiti wa Python scraping ukitumia BeautifulSoup, Selenium au zana zinazolingana, maudhui ya JavaScript na AJAX, infinite scroll, API na proksi
- Uwe na uwezo wa kuchota taarifa kutoka kwenye miundo changamano ya viwango, kurasa zilizohifadhiwa na HTML isiyolingana
- Uwe na msingi imara katika usafishaji, usanifishaji na uthibitishaji wa data, pamoja na uzoefu wa kutengeneza dataset zilizopangwa za CSV, JSON na Google Sheets
- Uwe na uzoefu wa kudhibiti ulinzi wa anti-bot na miundo ya tovuti inayobadilika kwa kiwango kikubwa
- Uwe na uzoefu wa AWS au miundombinu ya wingu inayolingana pamoja na uwekaji wa kontena kwa kutumia Docker
- Uwe na uzoefu wa vitendo wa kutumia mifumo ya LLM kama LangChain, OpenRouter au zana zinazofanana katika kazi za otomatiki
- Fanya kazi kwa umakini mkubwa wa maelezo na uzingatie kwa uthabiti usahihi wa data
- Uweze kufanya kazi kwa kujitegemea, kuwajibikia utatuzi wa matatizo na kudumisha mtazamo wa kujiongoza
- Uwe na ujuzi wa Kiingereza wa kiwango cha Upper-intermediate (B2) au zaidi
- Shahada ya Bachelor au Master katika Uhandisi, Hisabati Tumizi, Sayansi ya Kompyuta au taaluma ya kiufundi inayohusiana ni faida ya ziada
- Kiungo cha wasifu wa GitHub ni faida ya ziada
Manufaa
- Ajira ya freelance
- Mzigo wa kazi wa muda unaokadiriwa kuwa saa 10–20 kwa wiki wakati wa awamu zinazotumika za mradi
- Mpangilio wa kazi ya mbali
- Fursa ya kufanya kazi kwenye miradi bunifu ya teknolojia kupitia jukwaa la Mindrift