Adthenaは、企業向けにAIを活用した検索インテリジェンスおよびブランド保護ソフトウェアを開発しています。同社のSaaSプラットフォームは、市場トレンドの把握、競合他社の評価、PPCキャンペーンの最適化、Google広告への投資効率の向上を支援します。特許技術と有料検索の専門知識を組み合わせ、自動車、金融、小売などの分野で、世界各地のブランドや代理店によるデータに基づく広告意思決定を支援しています。
シニア・アンチボットスクレイピングエンジニア — Adthena（英国リモート）
Adthena の有料検索インテリジェンスプラットフォーム向けに、堅牢な Python スクレイピングシステムを構築・運用します。Google のボット対策、動的ページ、信頼性の高い大規模データ収集に関する課題を解決します。
仕事内容
- Google やその他の厳格な保護対象サイト向けに、大規模な Python スクレイピングシステムを設計・運用する
- ブラウザ自動化とハイブリッド技術を用いて、動的な JavaScript 駆動ページ用のスクレイパーを開発する
- ページ構造、リクエストフロー、アンチオートメーション制御の変化に合わせてスクレイピングシステムを調整する
- データの正確性、一貫性、可観測性を重視した信頼性の高い抽出パイプラインを構築する
- プロキシ、フィンガープリンティング、リクエストルーティングの手法を適用し、安定性とスループットを向上させる
- スクレイピングの健全性を監視し、障害を迅速に特定して本番インシデントをトラブルシュートする
- スクレイピング基盤の性能、コスト効率、レイテンシを改善する
- データエンジニアリング、データサイエンス、プロダクトチームと連携し、信頼性が高く利用可能な収集データを提供する
- スクレイピングロジックと運用手順の明確なドキュメントを維持する
- エンジニアリング責任者にレポートする
応募要件
- Python または Go、Rust、JavaScript などの主要言語を用いた実務経験（本番環境のスクレイピングシステムを含む）
- Google または同等に保護されたプラットフォームのスクレイピングに関する豊富な実務経験
- HTTP、TLS、Cookie、ヘッダー、リダイレクト、ブラウザネットワークに関する深い知識
- Playwright、Selenium、Puppeteer または同等のブラウザ自動化フレームワークの使用経験
- HTML 解析、DOM トラバーサル、データ抽出に関する高度な理解
- レート制限、CAPTCHA、IP ローテーション、ボット検出システムの管理経験
- 非同期および並行スクレイピングアーキテクチャに対応できること
- クラウド環境で大規模にスクレイパーを運用した経験
- 優れたデバッグ能力と、複雑な障害モードへの体系的な対応力
- ヘッドレスブラウザのフィンガープリンティングとアンチボット回避手法の経験
- Docker と Kubernetes に精通していること
- 分散タスク処理システムとジョブキューの使用経験
- データ品質監視と異常検知のバックグラウンド
- 検索、広告、競合インテリジェンスデータを扱った経験
- 複雑な技術的挙動を非技術者にも明確に説明できること
- 応募フォームで英国の就労許可について回答すること
福利厚生
- ストックオプション
- 信頼に基づく休暇制度
- リモートファーストの勤務環境
- 柔軟な勤務形態
- Sherpaプランによるキャリア開発と個別最適化された研修
- 毎月のハックデーと専用研修日
- 最長6か月の全額支給の産休
- 2か月の育児休暇
- 200ドルのホームオフィス手当
- 会社グッズ向け70ドルのウェルカムクレジット
- 誕生日休暇
- 夏季パーティーとクリスマスパーティー
- 年次および四半期ごとのオフサイト
- 毎月のミートアップ
- 四半期ごとの有給ボランティア時間
- スタートアップ型のエンジニアリング文化