AWISEE

11 – 50 従業員

AWISEEは、国際的なリンク構築、デジタルPR、インフルエンサーおよびKOLマーケティングを専門とする欧州のデジタルマーケティング・SEOエージェンシーです。完全リモートのチームが、欧州、ラテンアメリカ、アジア太平洋、北米などに広がるパブリッシャーネットワークを活用し、企業や代理店向けに手作業によるアウトリーチとホワイトラベルのリンク構築を提供しています。SaaS、eコマース、iGaming、暗号資産、フィンテックなどの分野の顧客に、個別に調整したSEO施策を提供しています。

企業の求人

シニアデータ基盤エンジニア（Webスクレイピング）

ソーシャルメディアデータラボ向けに、ボット対策回避用クラスターと高スループットのデータ取り込みパイプラインを構築します。 AI モデリングを支える、拡張性の高いストレージおよびデータシステムを開発します。

3 日前

スウェーデンリモートフルタイムシニア必須言語：英語データエンジニア

Go Kafka Puppeteer Python Ray Redis Selenium SQL 分散システム

仕事内容

ソーシャルメディアデータラボのデータ取り込みエンジンを開発、保守します。
住宅用プロキシ、TLS フィンガープリント、ブラウザーファーム、セッションローテーションを活用し、秘匿性の高いスクレイピングクラスターを構築、運用します。
Instagram、TikTok、YouTube、X などのWebソース向けに、堅牢で拡張性の高いスクレイピングパイプラインを作成します。
分散キューとワークフローエンジンを設計し、毎日数百万件の非同期スクレイピングタスクを処理します。
後続のAIモデリング向けに、構造化データと非構造化データのストレージを設計します。
プラットフォームのインターフェースやAPIの変更、ブロックのパターン、プロキシ障害を検知する自動アラートを設定します。
ほぼ継続的な可用性を保ちながら、プロフィール、投稿、動画のレコードを毎日数百万件提供します。

応募要件

大量のWebスクレイピング、データエンジニアリング、またはリバースエンジニアリングの実務経験が4年以上あること。
TLSの偽装、ブラウザー自動化、プロキシ管理を使い、Cloudflare、Akamai、PerimeterXなどの高度なボット対策サービスを回避した豊富な経験があること。
PythonまたはGoを使いこなせること。
Playwright、Puppeteer、Scrapy、またはSeleniumに関する深い知識があること。
Temporal、Ray、Kafka、Redisなどの分散システムやタスクキューの経験があること。
SQLの優れたスキルがあること。
最新の分析用データレイクまたはデータウェアハウスの経験があること。
歓迎：TikTok、Instagram、YouTubeからショート動画コンテンツやユーザーメタデータを抽出した経験。
歓迎：スクレイピング結果をベクトルデータベースやリアルタイムAI処理キューに直接送信した経験。