Mindrift یک بازار کار استعدادهای هوش مصنوعی و پلتفرم SaaS است که مشارکت‌کنندگان حرفه‌ای و متخصصان حوزه‌های مختلف را به پروژه‌های آموزش و ارزیابی هوش مصنوعی شرکت‌های فناوری متصل می‌کند. این مجموعه به‌عنوان بخشی از Toloka با نویسندگان، ویراستاران، متخصصان تضمین کیفیت، دانشمندان و دیگر کارشناسان موضوعی همکاری می‌کند تا در تولید داده‌های آموزشی، ارزیابی ایمنی و توانایی استدلال مدل‌ها، بررسی کیفیت رسانه و ایجاد سناریوهای دنیای واقعی برای بهبود عملکرد و قابلیت اطمینان هوش مصنوعی مشارکت داشته باشند. Mindrift از طریق ارزیابی و راستی‌آزمایی هویت، مشارکت‌کنندگان را جذب و بررسی می‌کند و سپس فرصت‌های پروژه‌ای منعطف و دارای دستمزد را در زمینه آموزش و ارزیابی هوش مصنوعی ارائه می‌دهد.
مهندس ارشد اسکرپینگ داده با پایتون — فریلنس، دورکاری از هند
Mindrift برای پروژه Tendem AI به دنبال یک مهندس ارشد پایتون است تا گردش‌کارهای داده وب ساختاریافته را استخراج، اعتبارسنجی و مقیاس‌پذیر کند. این نقش شامل پایتون، زیرساخت ابری، Docker و چارچوب‌های خودکارسازی مبتنی بر LLM است.
توضیحات
- گردش‌کارهای کامل استخراج داده را در وب‌سایت‌های پیچیده مدیریت کنید
- مجموعه‌داده‌های ساختاریافته را با پوشش جامع، دقت بالا و زمان‌بندی قابل‌اعتماد ارائه دهید
- برای سرعت‌بخشیدن به جمع‌آوری، اعتبارسنجی و اجرای وظایف از ابزارهای تخصصی و گردش‌کارهای متناسب استفاده کنید
- اطلاعات را از منابع پویا و تعاملی، از جمله صفحات رندرشده با JavaScript، دریافت کنید
- با تغییر رفتار وب‌سایت‌ها و ساختار صفحات، روش‌های اسکرپینگ را تنظیم کنید
- با اعتبارسنجی، بررسی میان‌منبعی، استانداردهای قالب‌بندی و بازبینی نظام‌مند کیفیت داده را حفظ کنید
- اسکرپینگ در حجم بالا را با دسته‌بندی کارآمد و پردازش موازی مقیاس‌پذیر کنید
- خطاها را پیگیری کنید و به عملیات اسکرپینگ پایدار و قابل‌اعتماد کمک کنید
- از تخصص خود در پایتون، اسکرپینگ وب، استخراج داده و پردازش داده در پروژه Tendem استفاده کنید
شرایط لازم
- حداقل ۵ سال تجربه مرتبط در مهندسی داده، اسکرپینگ وب، خودکارسازی یا توسعه نرم‌افزار
- مدرک کارشناسی یا کارشناسی ارشد در مهندسی، ریاضیات کاربردی، علوم کامپیوتر یا حوزه فنی مرتبط مزیت محسوب می‌شود
- پایه عملی قوی در اسکریپت‌نویسی، خودکارسازی و گردش‌کارهای استخراج داده
- تجربه پیشرفته در اسکرپینگ با پایتون و BeautifulSoup، Selenium یا ابزارهای مشابه، محتوای پویا و APIهای مبتنی بر پروکسی
- توانایی استخراج اطلاعات از ساختارهای پیچیده، از جمله سلسله‌مراتب، صفحات آرشیوشده و HTMLهای ناسازگار
- تجربه قوی در پاک‌سازی، نرمال‌سازی و اعتبارسنجی داده
- تجربه عملی در مدیریت سازوکارهای ضدربات و ساختارهای پویای وب‌سایت در مقیاس بالا
- تجربه کار با AWS یا زیرساخت ابری مشابه و کانتینرسازی با Docker
- تجربه عملی در استفاده از LangChain، OpenRouter یا چارچوب‌های مشابه LLM برای خودکارسازی
- رویکردی بسیار دقیق نسبت به صحت و کیفیت داده
- توانایی کار مستقل، رفع اشکال و مدیریت پیش‌دستانه وظایف
- تسلط زبان انگلیسی در سطح متوسط رو به بالا (B2) یا بالاتر
- داشتن لینک GitHub مزیت محسوب می‌شود
مزایا
- همکاری به‌صورت فریلنس
- کار پاره‌وقت دورکاری از هند
- حدود ۱۰ تا ۲۰ ساعت در هفته در مراحل فعال پروژه
- فرصت کار روی پروژه‌های فناوری از طریق پلتفرم Mindrift
- دریافت حداکثر معادل ۳۰ دلار به‌ازای هر ساعت، بسته به سطح تجربه و سرعت مشارکت