Mindrift היא שוק כישרונות בתחום הבינה המלאכותית ופלטפורמת תוכנה כשירות, המקשרת בין תורמים מקצועיים ומומחים בתחומי ידע שונים לבין פרויקטים של חברות טכנולוגיה לאימון ולהערכה של מערכות בינה מלאכותית. כחלק מ-Toloka, היא עובדת עם כותבים, עורכים, מומחי אבטחת איכות, מדענים ומומחים נוספים, המסייעים ליצור נתוני אימון, להעריך את בטיחותם ואת יכולות ההסקה של מודלים, לבחון את איכות המדיה וליצור תרחישים מהעולם האמיתי לשיפור הביצועים והאמינות של הבינה המלאכותית. Mindrift מגייסת תורמים ובוחנת את התאמתם באמצעות הערכות ואימות זהות, ולאחר מכן מציעה הזדמנויות גמישות בתשלום בפרויקטים של אימון והערכה של מערכות בינה מלאכותית.
מהנדס/ת בכיר/ה להפקת נתונים מהאינטרנט באמצעות Python (משרה חלקית, עבודה מרחוק בגאורגיה)
Mindrift מחפשת מהנדס/ת Python בכיר/ה לבניית תהליכי סריקה אמינים עבור פרויקטים בתחום טכנולוגיות הבינה המלאכותית. התפקיד מתמקד בהפקה, באימות ובהרחבת היקפם של מאגרי נתונים מובנים מאתרים מורכבים ודינמיים.
תיאור
- ניהול תהליכי הפקת נתונים מקצה לקצה באתרים מורכבים
- אספקת מאגרי נתונים מובנים, מלאים, מדויקים ואמינים
- שימוש בכלים זמינים ובתהליכי עבודה מותאמים כדי להאיץ איסוף נתונים, אימות נתונים וביצוע משימות
- הפקת נתונים ממקורות אינטרנט דינמיים ואינטראקטיביים, כולל דפים שנוצרים באמצעות JavaScript
- התאמת שיטות הסריקה בהתאם לשינויים בהתנהגות האתר
- שמירה על איכות הנתונים באמצעות בדיקות אימות, בקרות עקביות בין מקורות, דרישות עיצוב ואימות שיטתי
- הרחבת היקף הסריקה של מאגרי נתונים גדולים באמצעות אצווה יעילה או עיבוד מקבילי
- ניטור תקלות ושמירה על יציבות במהלך שינויים קלים במבנה האתר
- שילוב כלים כגון Apify ו-OpenRouter עם מומחיות טכנית רלוונטית
דרישות
- לפחות 5 שנות ניסיון רלוונטי בהנדסת נתונים, סריקת אתרים, אוטומציה או פיתוח תוכנה
- תואר ראשון או שני בהנדסה, מתמטיקה שימושית, מדעי המחשב או תחום טכני קשור הוא יתרון
- ניסיון משמעותי בסריקת אתרים באמצעות Python, BeautifulSoup, Selenium או כלים מקבילים, בעבודה עם תוכן דינמי ועם ממשקי API שאליהם ניגשים דרך שרתי Proxy
- יכולת מוכחת להפיק מידע ממבנים מורכבים, כולל היררכיות, דפים בארכיון ו-HTML לא עקבי
- ניסיון מוצק בניקוי, בנרמול ובאימות נתונים למסירה בפורמטים CSV, JSON או Google Sheets
- ניסיון מעשי בניהול מנגנוני מניעת בוטים ומבני אתרים דינמיים בקנה מידה גדול
- ניסיון עם AWS או תשתית ענן מקבילה ועם קונטיינרים המבוססים על Docker
- ניסיון מעשי ביישום מסגרות עבודה למודלי שפה גדולים, כגון LangChain או OpenRouter, במשימות אוטומציה
- תשומת לב גבוהה לפרטים ומחויבות חזקה לדיוק הנתונים
- יכולת לעבוד באופן עצמאי ולאתר ולפתור בעיות ללא פיקוח צמוד
- שליטה באנגלית ברמה בינונית-גבוהה (B2) ומעלה
- קישור לפרופיל GitHub מהווה יתרון
הטבות
- התקשרות פרילנסרית מרחוק במשרה חלקית
- כ-10 עד 20 שעות בשבוע במהלך שלבי פרויקט פעילים
- עבודה על פרויקטים לפיתוח טכנולוגיה ובינה מלאכותית