
Mindrift একটি কৃত্রিম বুদ্ধিমত্তা প্রতিভা মার্কেটপ্লেস এবং SaaS প্ল্যাটফর্ম, যা পেশাদার অবদানকারী ও বিষয়বিশেষজ্ঞদের প্রযুক্তি কোম্পানিগুলোর AI প্রশিক্ষণ এবং মূল্যায়ন প্রকল্পের সঙ্গে সংযুক্ত করে। Toloka-এর অংশ হিসেবে, এটি লেখক, সম্পাদক, QA বিশেষজ্ঞ, বিজ্ঞানী এবং অন্যান্য বিষয়বিশেষজ্ঞদের সঙ্গে কাজ করে। তাঁরা প্রশিক্ষণ ডেটা তৈরি, মডেলের নিরাপত্তা ও যুক্তি বিশ্লেষণ মূল্যায়ন, মিডিয়ার গুণমান যাচাই এবং AI-এর কর্মদক্ষতা ও নির্ভরযোগ্যতা উন্নত করার জন্য বাস্তবজগতের পরিস্থিতি তৈরিতে সহায়তা করেন। Mindrift মূল্যায়ন ও পরিচয় যাচাইয়ের মাধ্যমে অবদানকারীদের নিয়োগ এবং যাচাই করে, এরপর AI প্রশিক্ষণ ও মূল্যায়নসংক্রান্ত কাজে নমনীয়, পারিশ্রমিকযুক্ত প্রকল্পের সুযোগ দেয়।
সিনিয়র পাইথন ডেটা স্ক্র্যাপিং ইঞ্জিনিয়ার — ফিলিপাইনে রিমোট
Mindrift AI প্রকল্পের জন্য নির্ভরযোগ্য স্ক্র্যাপিং ওয়ার্কফ্লো তৈরি করতে একজন সিনিয়র পাইথন ইঞ্জিনিয়ার খুঁজছে। এই পদে জটিল ও গতিশীল ওয়েবসাইট থেকে কাঠামোবদ্ধ ডেটা সংগ্রহ, যাচাই এবং বৃহৎ পরিসরে প্রসারণের ওপর গুরুত্ব দেওয়া হবে।
বিবরণ
- জটিল ওয়েবসাইটজুড়ে সম্পূর্ণ ডেটা সংগ্রহের প্রক্রিয়া পরিচালনা করা
- সম্পূর্ণ, নির্ভুল ও নির্ভরযোগ্য কাঠামোবদ্ধ ডেটাসেট তৈরি করা
- সংগ্রহ, যাচাই ও কাজ সম্পন্ন করার গতি বাড়াতে টুল এবং উপযোগী ওয়ার্কফ্লো প্রয়োগ করা
- JavaScript-এ রেন্ডার করা পেজসহ গতিশীল ও ইন্টার্যাক্টিভ উৎস থেকে তথ্য সংগ্রহ করা
- ওয়েবসাইটের আচরণ ও কাঠামো পরিবর্তিত হলে স্ক্র্যাপিং পদ্ধতি সমন্বয় করা
- যাচাই, একাধিক উৎসের পারস্পরিক পরীক্ষা, ফরম্যাটিং নিয়ম এবং পদ্ধতিগত পর্যালোচনার মাধ্যমে ডেটার মান নিশ্চিত করা
- দক্ষ ব্যাচিং ও সমান্তরাল প্রসেসিংয়ের মাধ্যমে বিপুল পরিমাণ স্ক্র্যাপিং প্রসারিত করা
- ডেটা সংগ্রহের ব্যর্থতা পর্যবেক্ষণ করা এবং ওয়েবসাইটে সামান্য পরিবর্তন হলেও ওয়ার্কফ্লোর স্থিতিশীলতা বজায় রাখা
প্রয়োজনীয়তা
- ডেটা ইঞ্জিনিয়ারিং, ওয়েব স্ক্র্যাপিং, অটোমেশন বা সফটওয়্যার ডেভেলপমেন্টে কমপক্ষে পাঁচ বছরের প্রাসঙ্গিক অভিজ্ঞতা থাকতে হবে
- ইঞ্জিনিয়ারিং, অ্যাপ্লাইড ম্যাথমেটিক্স, কম্পিউটার সায়েন্স বা সংশ্লিষ্ট কারিগরি বিষয়ে ব্যাচেলরস বা মাস্টার্স ডিগ্রি থাকা অগ্রাধিকারযোগ্য
- BeautifulSoup, Selenium বা সমতুল্য টুল, গতিশীল কনটেন্ট এবং প্রক্সিযুক্ত API ব্যবহার করে Python স্ক্র্যাপিংয়ে শক্তিশালী অভিজ্ঞতা প্রদর্শন করতে হবে
- হায়ারার্কি, আর্কাইভ করা পেজ এবং অসামঞ্জস্যপূর্ণ HTML-এর মতো জটিল উৎস থেকে তথ্য সংগ্রহ করতে হবে
- CSV, JSON বা Google Sheets ফরম্যাটে সরবরাহের জন্য ডেটা পরিষ্কার, স্বাভাবিকীকরণ ও যাচাই করতে হবে
- বৃহৎ পরিসরের স্ক্র্যাপিং প্রকল্পে অ্যান্টি-বট সুরক্ষা এবং পরিবর্তনশীল ওয়েবসাইট কাঠামো সামলাতে হবে
- AWS বা সমতুল্য ক্লাউড অবকাঠামো এবং Docker-ভিত্তিক কনটেইনারাইজেশন ব্যবহার করতে হবে
- অটোমেশন ওয়ার্কফ্লোতে LangChain, OpenRouter বা অনুরূপ LLM ফ্রেমওয়ার্ক প্রয়োগ করতে হবে
- অসাধারণ মনোযোগ ও ডেটার নির্ভুলতার প্রতি ধারাবাহিক গুরুত্ব নিয়ে কাজ করতে হবে
- প্রযুক্তিগত সমস্যা শনাক্ত ও সমাধান করার সময় স্বাধীনভাবে কাজ করতে হবে
- উচ্চ-মধ্যবর্তী স্তর (B2) বা তার বেশি পর্যায়ে ইংরেজিতে যোগাযোগ করতে হবে
সুবিধাসমূহ
- ফ্রিল্যান্স প্রকল্পভিত্তিক কাজ
- খণ্ডকালীন রিমোট কাজের ব্যবস্থা
- সক্রিয় প্রকল্প চলাকালে প্রতি সপ্তাহে আনুমানিক ১০–২০ ঘণ্টা
- অভিজ্ঞতার স্তর ও অবদানের গতির ভিত্তিতে প্রতি ঘণ্টায় সমতুল্য সর্বোচ্চ ৩০ ডলার পারিশ্রমিক