Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος μηχανικός μηχανικής δεδομένων και εξαγωγής δεδομένων από τον ιστό με Python στην Ιταλία (Εξ αποστάσεως)
Γίνετε μέλος του έργου Tendem AI της Mindrift για τη δημιουργία αξιόπιστων ροών εξαγωγής δεδομένων από τον ιστό και δομημένων δεδομένων. Ο ρόλος εστιάζει σε δυναμικούς ιστοτόπους, στην επικύρωση δεδομένων, στην επεκτάσιμη εξαγωγή και στην αυτοματοποίηση.
Περιγραφή
- Ηγεσία ολοκληρωμένων διαδικασιών εξαγωγής σε σύνθετους ιστοτόπους, με παράδοση ολοκληρωμένων, ακριβών και αξιόπιστων δομημένων συνόλων δεδομένων
- Χρήση διαθέσιμων πλατφορμών και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής, της επικύρωσης και της ολοκλήρωσης εργασιών βάσει καθορισμένων προδιαγραφών
- Προσαρμογή των μεθόδων εξαγωγής για σελίδες που αποδίδονται με JavaScript, διαδραστικές πηγές και μεταβαλλόμενη συμπεριφορά ιστοτόπων
- Διατήρηση της ποιότητας των δεδομένων μέσω επικύρωσης, διασταυρώσεων μεταξύ πηγών, ελέγχων μορφοποίησης και δομημένης επανεξέτασης πριν από την παράδοση
- Επέκταση της δυνατότητας εξαγωγής για μεγάλα σύνολα δεδομένων μέσω αποτελεσματικής ομαδοποίησης και παράλληλης επεξεργασίας
- Παρακολούθηση αποτυχιών εξαγωγής και διατήρηση της επιχειρησιακής αξιοπιστίας καθώς αλλάζουν οι δομές των ιστοτόπων
- Εφαρμογή τεχνογνωσίας στην εξαγωγή δεδομένων από τον ιστό, στην άντληση και στην επεξεργασία δεδομένων στο έργο Tendem
- Συνδυασμός τεχνικής κρίσης με τα Apify, OpenRouter και άλλα εργαλεία για την ανάπτυξη αποτελεσματικών προσαρμοσμένων λύσεων
Απαιτήσεις
- Απαιτούνται περισσότερα από 5 έτη σχετικής εμπειρίας στη μηχανική δεδομένων, στην εξαγωγή δεδομένων από τον ιστό, στην αυτοματοποίηση ή στην ανάπτυξη λογισμικού
- Πτυχίο ή μεταπτυχιακό στην engineering, στα εφαρμοσμένα μαθηματικά, στην επιστήμη υπολογιστών ή σε συναφή τεχνικό κλάδο αποτελεί πλεονέκτημα
- Προχωρημένη εμπειρία εξαγωγής δεδομένων με Python, BeautifulSoup, Selenium ή συγκρίσιμα εργαλεία, δυναμικό περιεχόμενο και API μέσω proxy
- Ικανότητα ανάκτησης δεδομένων από σύνθετες πηγές, όπως ιεραρχίες, αρχειοθετημένες σελίδες και μη συνεπή HTML
- Εμπειρία στον καθαρισμό, στην κανονικοποίηση και στην επικύρωση δεδομένων για παράδοση σε CSV, JSON ή Google Sheets
- Πρακτική εμπειρία στη διαχείριση προστασιών κατά των bot και μεταβαλλόμενων δομών ιστοτόπων σε μεγάλη κλίμακα
- Εξοικείωση με AWS ή συγκρίσιμη υποδομή cloud και με containerization βάσει Docker
- Πρακτική χρήση των LangChain, OpenRouter ή παρόμοιων πλαισίων LLM για αυτοματοποίηση
- Εξαιρετική προσοχή στη λεπτομέρεια και έντονη εστίαση στην ακρίβεια των δεδομένων
- Ικανότητα ανεξάρτητης εργασίας, διερεύνησης ζητημάτων και επίλυσής τους χωρίς στενή επίβλεψη
- Απαιτείται γνώση αγγλικών σε επίπεδο άνω του μεσαίου (B2) ή υψηλότερο
- Σύνδεσμος προς προφίλ GitHub αποτελεί πλεονέκτημα
Παροχές
- Συνεργασία ως ελεύθερος επαγγελματίας
- Μερική απασχόληση εξ αποστάσεως
- Αναμενόμενος φόρτος εργασίας 10–20 ώρες εβδομαδιαίως κατά τις ενεργές περιόδους του έργου