Mindrift هي سوق للمواهب في مجال الذكاء الاصطناعي ومنصة برمجيات كخدمة تربط المساهمين المحترفين والخبراء المتخصصين بمشاريع تدريب الذكاء الاصطناعي وتقييمه لدى شركات التكنولوجيا. وباعتبارها جزءًا من Toloka، تتعاون مع الكتّاب والمحررين ومتخصصي ضمان الجودة والعلماء وغيرهم من الخبراء المتخصصين للمساعدة في إنشاء بيانات التدريب، وتقييم سلامة النماذج وقدرتها على الاستدلال، وتقييم جودة الوسائط، وإنشاء سيناريوهات واقعية لتحسين أداء الذكاء الاصطناعي وموثوقيته. تستقطب Mindrift المساهمين وتتحقق من كفاءتهم من خلال التقييمات والتحقق من الهوية، ثم تقدم فرصًا مرنة ومدفوعة للمشاركة في مشاريع تدريب الذكاء الاصطناعي وتقييمه.
مهندس أول لهندسة كشط البيانات باستخدام بايثون — عن بُعد من الهند
مهندس بايثون أول مسؤول عن بناء عمليات كشط بيانات موثوقة لمشروع Tendem AI التابع لـ Mindrift. يركز الدور على استخراج البيانات المنظمة والتحقق منها وتوسيع نطاقها من مواقع ويب معقدة وديناميكية.
الوصف
- إدارة عمليات استخراج البيانات الكاملة عبر مواقع ويب معقدة، مع الحفاظ على تغطية واسعة ودقة وتسليم موثوق لمجموعات البيانات المنظمة.
- استخدام الأدوات المتاحة وعمليات العمل المصممة خصيصًا لتحسين جمع البيانات والتحقق منها وتنفيذ المهام مع استيفاء المتطلبات المحددة.
- استخراج البيانات بشكل موثوق من المصادر الديناميكية والتفاعلية عبر التكيف مع المحتوى المعروض باستخدام JavaScript وسلوك المواقع المتغير.
- الحفاظ على جودة البيانات من خلال فحوصات التحقق والمقارنات بين المصادر وضوابط التنسيق والتحقق المنهجي قبل التسليم.
- توسيع نطاق كشط الكميات الكبيرة من البيانات باستخدام تقنيات التجميع الفعالة والمعالجة المتوازية.
- تتبع حالات فشل الاستخراج والحفاظ على استقرار سير العمل عند حدوث تغييرات طفيفة في بنية المواقع.
- تطبيق الخبرة في كشط الويب واستخراج البيانات ومعالجتها على حالات استخدام واقعية ضمن مشروع Tendem.
المتطلبات
- خبرة لا تقل عن 5 سنوات في هندسة البيانات أو كشط الويب أو الأتمتة أو تطوير البرمجيات.
- خبرة قوية في كشط البيانات باستخدام Python وBeautifulSoup أو Selenium أو أدوات مماثلة، بما في ذلك JavaScript وAJAX والتمرير اللانهائي والوصول إلى واجهات API عبر الوكلاء.
- القدرة على استخراج المعلومات من هياكل معقدة مثل التسلسلات الهرمية والصفحات المؤرشفة وHTML غير المتسق.
- خبرة عملية في تنظيف البيانات وتوحيدها والتحقق منها لتسليمها بتنسيقات CSV أو JSON أو Google Sheets.
- خبرة في إدارة إجراءات مكافحة الروبوتات وهياكل المواقع المتغيرة ضمن عمليات كشط واسعة النطاق.
- خبرة عملية في AWS أو بنية تحتية سحابية مماثلة، وفي الحاويات القائمة على Docker ضمن عمليات إنتاجية.
- خبرة في تطبيق أطر عمل النماذج اللغوية الكبيرة مثل LangChain أو OpenRouter أو أدوات مماثلة على مهام الأتمتة.
- اهتمام قوي بالتفاصيل مع تركيز مستمر على دقة البيانات.
- القدرة على العمل باستقلالية والتحقيق في المشكلات واستكشاف الأخطاء وإصلاحها بفعالية.
- إتقان اللغة الإنجليزية بمستوى فوق المتوسط، عند مستوى B2 أو أعلى.
المزايا
- تعاون مستقل.
- عمل عن بُعد بدوام جزئي من الهند.
- ما يقرب من 10 إلى 20 ساعة أسبوعيًا خلال مراحل المشروع النشطة.