Mindrift ni soko la vipaji vya akili bandia na jukwaa la SaaS linalowaunganisha wachangiaji wa kitaalamu na wataalamu wa nyanja mbalimbali na miradi ya mafunzo na tathmini ya AI kutoka kwa kampuni za teknolojia. Ikiwa sehemu ya Toloka, inafanya kazi na waandishi, wahariri, wataalamu wa QA, wanasayansi na wataalamu wengine wa mada wanaosaidia kuzalisha data ya mafunzo, kutathmini usalama na uwezo wa kufikiri wa miundo, kutathmini ubora wa maudhui ya vyombo vya habari, na kuunda hali za ulimwengu halisi kwa ajili ya kuboresha utendaji na kutegemeka kwa AI. Mindrift huajiri na kuwachunguza wachangiaji kupitia tathmini na uthibitishaji wa utambulisho, kisha kutoa fursa rahisi za miradi inayolipwa katika kazi za mafunzo na tathmini ya AI.
Mhandisi Mwandamizi wa Ukusanyaji Data Mtandaoni kwa Python — Kazi ya Kujitegemea kwa Mbali
Jenga na udumishe mtiririko sahihi na unaoweza kupanuka wa ukusanyaji data kutoka wavuti kwa mradi wa Tendem AI wa Mindrift. Tumia Python na zana za otomatiki kutoa, kuthibitisha, na kuchakata data changamano ya wavuti.
Maelezo
- Simamia uchukuaji wa data kuanzia mwanzo hadi mwisho katika tovuti changamano
- Wasilisha seti za data zilizopangwa zenye ufunikaji mpana, usahihi wa juu, na muda wa kukamilisha unaotegemeka
- Changanya zana zinazopatikana na mtiririko maalum wa kazi ili kuharakisha ukusanyaji, uthibitishaji, na kukamilisha kazi
- Kusanya data kutoka tovuti zinazobadilika na shirikishi huku ukizoea maudhui yanayowasilishwa na JavaScript na mabadiliko ya tabia ya tovuti
- Linda ubora wa seti za data kwa taratibu za uthibitishaji, ukaguzi wa vyanzo mbalimbali, viwango vya uumbizaji, na mapitio ya kimfumo
- Panua uwezo wa ukusanyaji kwa seti kubwa za data kupitia upangaji wa makundi wenye ufanisi au utekelezaji sambamba
- Fuatilia kushindwa kwa uchukuaji data na udumishe uthabiti wakati miundo ya tovuti inapobadilika kidogo
- Tumia zana zikiwemo Apify na OpenRouter pamoja na uamuzi thabiti wa kiufundi
Mahitaji
- Kuwa na angalau miaka mitano ya uzoefu unaohusiana katika uhandisi wa data, ukusanyaji data mtandaoni, otomatiki, au uundaji wa programu
- Kuonyesha ujuzi thabiti wa ukusanyaji data kwa Python kwa kutumia BeautifulSoup, Selenium au zana zinazolingana, maudhui ya JavaScript na AJAX, infinite scroll, na API zinazotegemea proksi
- Kuweza kupata data kutoka vyanzo changamano kama vile miundo ya ngazi, kurasa zilizohifadhiwa, na HTML isiyolingana
- Kujua jinsi ya kusafisha, kusawazisha, na kuthibitisha data kwa uwasilishaji uliopangwa katika CSV, JSON, na Google Sheets
- Kuwa na uzoefu wa vitendo wa kushughulikia ulinzi dhidi ya roboti na miundo ya tovuti inayobadilika kwa kiwango kikubwa
- Kuwa umetumia AWS au miundombinu ya wingu inayolingana pamoja na uwekaji wa kontena za Docker katika miradi halisi
- Kuwa umetumia mifumo ya LLM kama LangChain au OpenRouter katika kazi za otomatiki
- Kufanya kazi kwa umakini mkubwa kwa maelezo na kulenga kwa dhati usahihi wa data
- Kufanya kazi kwa kujitegemea, kuchukua hatua, na kutatua matatizo bila usimamizi wa karibu
- Kuwasiliana kwa Kiingereza katika kiwango cha Upper-intermediate (B2) au zaidi
- Shahada ya Kwanza au Uzamili katika Uhandisi, Hisabati Tumizi, Sayansi ya Kompyuta, au taaluma ya kiufundi inayohusiana ni faida
- Kiungo cha wasifu wa GitHub ni faida
Manufaa
- Kazi ya freelance ya muda wa sehemu inayofanywa kwa mbali
- Takriban saa 10–20 kwa wiki wakati wa awamu za mradi unaoendelea
- Malipo ya hadi sawa na $25 kwa saa, kulingana na kiwango cha uzoefu na kasi ya mchango