Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος μηχανικός Python για εξαγωγή δεδομένων από τον Ιστό — Εξ αποστάσεως στη Ρουμανία
Ανώτερος μηχανικός Python υπεύθυνος για τη δημιουργία αξιόπιστων ροών εργασίας εξαγωγής δεδομένων από τον Ιστό και επεξεργασίας δεδομένων για το έργο Tendem AI της Mindrift. Ο ρόλος επικεντρώνεται στην εξαγωγή, επικύρωση και κλιμάκωση δομημένων συνόλων δεδομένων από σύνθετους ιστότοπους.
Περιγραφή
- Διαχείριση ολοκληρωμένων ροών εξαγωγής δεδομένων από σύνθετους ιστότοπους, με διατήρηση ευρείας κάλυψης, ακρίβειας και αξιόπιστης παράδοσης δομημένων συνόλων δεδομένων.
- Χρήση διαθέσιμων εργαλείων και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής, της επικύρωσης και της εκτέλεσης εργασιών σύμφωνα με τις απαιτήσεις του έργου.
- Αξιόπιστη εξαγωγή δεδομένων από δυναμικούς και διαδραστικούς ιστότοπους μέσω προσαρμογής σε περιεχόμενο που αποδίδεται με JavaScript και στις μεταβαλλόμενες συμπεριφορές των ιστότοπων.
- Διατήρηση προτύπων ποιότητας δεδομένων μέσω επικύρωσης, ελέγχων συνέπειας μεταξύ πηγών, ελέγχων μορφοποίησης και συστηματικής επαλήθευσης πριν από την παράδοση.
- Κλιμάκωση της εξαγωγής μεγάλου όγκου δεδομένων με αποδοτική ομαδοποίηση ή παράλληλη επεξεργασία, διερεύνηση αποτυχιών και διατήρηση της σταθερότητας παρά τις μικρές αλλαγές στη δομή των ιστότοπων.
- Εφαρμογή τεχνογνωσίας στην εξαγωγή δεδομένων από τον Ιστό και στην επεξεργασία δεδομένων στο έργο Tendem.
Απαιτήσεις
- Πάνω από 5 χρόνια σχετικής εμπειρίας στη μηχανική δεδομένων, στην εξαγωγή δεδομένων από τον Ιστό, στον αυτοματισμό ή στην ανάπτυξη λογισμικού.
- Προχωρημένη εμπειρία στην εξαγωγή δεδομένων με Python και εργαλεία όπως BeautifulSoup, Selenium ή αντίστοιχα, συμπεριλαμβανομένων JavaScript, AJAX, άπειρης κύλισης και API που βασίζονται σε proxy.
- Ικανότητα εξαγωγής πληροφοριών από σύνθετες δομές, όπως ιεραρχίες, αρχειοθετημένες σελίδες και ασυνεπή HTML.
- Ισχυρή εμπειρία στον καθαρισμό, την κανονικοποίηση και την επικύρωση δεδομένων για δομημένες εξόδους, συμπεριλαμβανομένων CSV, JSON και Google Sheets.
- Πρακτική εμπειρία στη διαχείριση προστασιών κατά των bot και μεταβαλλόμενων δομών ιστότοπων σε μεγάλη κλίμακα.
- Εμπειρία στη χρήση AWS ή αντίστοιχης υποδομής cloud και στη χρήση container Docker σε ροές εργασίας παραγωγής.
- Πρακτική εμπειρία στην εφαρμογή πλαισίων LLM, όπως LangChain ή OpenRouter, σε εργασίες αυτοματισμού.
- Εξαιρετική προσοχή στη λεπτομέρεια και σταθερή εστίαση στην ακρίβεια των δεδομένων.
- Ικανότητα ανεξάρτητης εργασίας, αντιμετώπισης προβλημάτων και ολοκλήρωσης εργασιών μέχρι την επίλυσή τους.
- Αγγλικά ανώτερου-μεσαίου επιπέδου, B2 ή υψηλότερο.
- Το προφίλ στο GitHub αποτελεί πλεονέκτημα.
Παροχές
- Συνεργασία ως ελεύθερος επαγγελματίας.
- Μερική απασχόληση.
- Εξ αποστάσεως εργασία από τη Ρουμανία.
- Περίπου 10–20 ώρες την εβδομάδα κατά τις ενεργές φάσεις του έργου.
- Αμοιβή έως το ισοδύναμο των 40 δολαρίων ΗΠΑ ανά ώρα.