Basetenは、機械学習やAIアプリケーションを導入する企業向けに、モデル推論インフラストラクチャを提供しています。同社のプラットフォームは、高スループットの推論、迅速なデプロイ、自動スケーリング、安全なエンタープライズ向けモデルサービング、オープンソースモデルのパッケージ化への対応を組み合わせ、迅速でスケーラブルなサービングを実現します。Basetenは、エンジニアリングチームや機械学習チームがモデルインフラストラクチャの運用上の課題に対応できるよう支援し、業務領域に特化したモデルの開発に集中できる環境を提供します。同社は人工知能、SaaS、エンタープライズテクノロジーの分野で事業を展開しており、従業員数は11～50人です。
Baseten 推論パフォーマンスソフトウェアエンジニア（ハイブリッド勤務）
Baseten は、LLM ランタイム、GPU カーネル、モデルサービングシステムを最適化する推論パフォーマンスエンジニアを募集しています。 本ポジションでは、本番環境での推論速度、ハードウェア利用率、コスト効率の向上に取り組みます。
仕事内容
- 量子化、投機的デコーディング、KV キャッシュの再利用、チャンク化プリフィル、LoRA、ガイド付き生成、カスタムスケジューリングまたはルーティングなどの高度な推論手法を本番環境に導入する。
- 推論パイプライン全体を分析し、カーネルオーバーヘッド、メモリ配置、リクエストスケジューリング、プリフィルとデコードの分離、キャッシュを考慮したルーティングを最適化する。
- レイテンシ、スループット、コストのバランスを取りながら、GPU 時間あたりの生成トークン数と利用率を高める。
- 新しいハードウェアプラットフォームで新興モデルアーキテクチャをデプロイし、最適化する。
- モデルの種類、バッチサイズ、シーケンス長、ハードウェア構成を網羅するベンチマークを作成する。
- vLLM、SGLang、TensorRT-LLM などのオープンソース推論プロジェクトに改善を提案する。
- モデル、インフラストラクチャ、顧客対応チームと協力し、測定可能なパフォーマンス向上を実現する。
応募要件
- コンピュータサイエンス、工学、数学、または関連分野の学士、修士、博士のいずれかの学位。
- Python や C++ など、少なくとも 1 つの汎用プログラミング言語を使った実務経験。
- 量子化、投機的デコーディング、継続的バッチ処理などの LLM 最適化手法に関する知識。
- 特に PyTorch、TensorRT、TensorRT-LLM などの機械学習ライブラリに精通していること。
- 大規模言語モデルへの強い関心と実務経験。
- GPU アーキテクチャに関する深い理解。
福利厚生
- 競争力のある報酬パッケージと、意義のある株式報酬。
- 米国の従業員には、本人と扶養家族を対象とした包括的な医療、歯科、眼科保険。
- 柔軟な有給休暇に加え、全社一斉の冬季休暇。
- 有給の育児休暇。
- Carrot の手当による妊活・家族形成支援。
- 米国の従業員には、会社が運営を支援する 401(k) 制度。
- さまざまな機械学習スタートアップと協働し、学習とプロフェッショナルネットワーキングの機会を得られる。
