Mindrift ni soko la vipaji vya akili bandia na jukwaa la SaaS linalowaunganisha wachangiaji wa kitaalamu na wataalamu wa nyanja mbalimbali na miradi ya mafunzo na tathmini ya AI kutoka kwa kampuni za teknolojia. Ikiwa sehemu ya Toloka, inafanya kazi na waandishi, wahariri, wataalamu wa QA, wanasayansi na wataalamu wengine wa mada wanaosaidia kuzalisha data ya mafunzo, kutathmini usalama na uwezo wa kufikiri wa miundo, kutathmini ubora wa maudhui ya vyombo vya habari, na kuunda hali za ulimwengu halisi kwa ajili ya kuboresha utendaji na kutegemeka kwa AI. Mindrift huajiri na kuwachunguza wachangiaji kupitia tathmini na uthibitishaji wa utambulisho, kisha kutoa fursa rahisi za miradi inayolipwa katika kazi za mafunzo na tathmini ya AI.
Mhandisi Mwandamizi wa Python Web Scraping — Serbia, Kazi ya Mbali, Muda wa Sehemu
Mhandisi mwandamizi wa Python anayehusika na kujenga mifumo ya kuaminika ya web scraping na uchakataji wa data kwa mradi wa Tendem AI wa Mindrift. Jukumu hili linalenga kutoa, kuthibitisha, na kupanua seti za data zilizopangwa kutoka kwenye tovuti changamano na zenye kubadilika.
Maelezo
- Simamia mifumo ya uchimbaji wa data kutoka mwanzo hadi mwisho kwenye tovuti changamano, ukitoa seti za data zilizopangwa ambazo ni kamili, sahihi, na za kuaminika.
- Tumia zana zilizopo na mifumo iliyoboreshwa ili kuharakisha ukusanyaji, uthibitishaji, na kukamilisha kazi kulingana na mahitaji yaliyowekwa.
- Toa data kwa uaminifu kutoka kwenye vyanzo vyenye mwingiliano na vinavyobadilika, huku ukizoea maudhui yanayorenderwa na JavaScript na mabadiliko ya tabia ya tovuti.
- Dumisha ubora wa data kupitia ukaguzi wa uthibitishaji, ulinganishaji wa vyanzo mbalimbali, udhibiti wa muundo, na uhakiki wa kimfumo kabla ya kuwasilisha.
- Panua scraping ya kiasi kikubwa kwa kutumia batching au uchakataji sambamba wenye ufanisi, fuatilia hitilafu, na dumisha uthabiti wakati wa mabadiliko madogo ya tovuti.
- Tumia utaalamu wa web scraping, uchimbaji wa data, na uchakataji wa data kwenye mradi wa Tendem.
- Fanya kazi na Apify, OpenRouter, na teknolojia nyingine husika.
Mahitaji
- Uzoefu wa miaka mitano au zaidi katika uhandisi wa data, web scraping, otomati, au uundaji wa programu.
- Shahada ya Bachelor au Master katika Uhandisi, Hisabati Tumizi, Sayansi ya Kompyuta, au taaluma nyingine ya kiufundi inayohusiana ni faida.
- Uzoefu mkubwa wa Python web scraping kwa kutumia BeautifulSoup, Selenium, au zana zinazofanana, ikijumuisha JavaScript, AJAX, infinite scroll, na ufikiaji wa API unaotumia proxy.
- Uwezo wa kutoa taarifa kutoka kwenye miundo changamano kama vile hierarkia, kurasa zilizohifadhiwa, na HTML isiyo thabiti.
- Uzoefu mzuri wa kusafisha, kusawazisha, na kuthibitisha data kwa ajili ya kuwasilishwa katika miundo iliyopangwa ikijumuisha CSV, JSON, na Google Sheets.
- Uzoefu wa vitendo wa kusimamia ulinzi wa anti-bot na miundo ya tovuti inayobadilika kwa kiwango kikubwa.
- Uzoefu wa kutumia AWS au miundombinu sawa ya cloud pamoja na Docker katika mifumo ya uzalishaji au miradi.
- Uzoefu wa vitendo wa kutumia mifumo ya LLM kama LangChain, OpenRouter, au zana zinazofanana kwa kazi za otomati.
- Umakini mkubwa kwa maelezo na kujitolea kwa dhati kwa usahihi wa data.
- Mtazamo wa kujiongoza na uwezo wa kutatua matatizo kwa kujitegemea.
- Ustadi wa Kiingereza wa kiwango cha upper-intermediate, B2 au zaidi, unahitajika.
- Kuwa na wasifu wa GitHub ni faida.
Manufaa
- Ushirikiano wa kazi za kujitegemea.
- Kazi ya mbali ya muda wa sehemu.
- Takriban saa 10–20 kwa wiki katika awamu za mradi zinazofanya kazi.