STN Incorporatedは、企業や、事業上重要なソフトウェア、AIシステム、ロボットを開発するチーム向けに、マネージドITおよびクラウドインフラを提供しています。サービスには、専用CPUクラウド、GPU One AIインフラ、安全なネットワークとストレージ、継続的なクラウド運用が含まれ、24時間365日の有人サポートと高稼働率を定めたサービスレベル契約を提供します。また、サイバーセキュリティ運用とインシデント対応、コンプライアンスとリスク管理、バックアップと復旧、テクノロジーの調達およびライフサイクル管理も担います。SaaS企業、AI開発チームやモデル開発者、ロボティクス企業、医療機関などの規制対象組織にサービスを提供し、監査への備えやSOC 2 Type II、HIPAAなどの枠組みに対応できるインフラを設計しています。
シニア推論ワークロード最適化リード
STNの自律型データセンタープラットフォーム上で、顧客のAIワークロードに対するGPU性能の最適化を主導します。 最適化の知見をエージェントが実行できる修正策に落とし込み、社内のモデルサービングを統括します。
仕事内容
- 顧客の学習および推論ワークロードを分析し、データ読み込み、集合通信、メモリ帯域幅、カーネル、バッチ処理、並列化における性能ボトルネックを特定する。
- 各世代のハードウェアについて性能基準を設定し、まず現行世代のNVIDIAシステムを対象とする。
- 最適化の知見を、エージェントが顧客クラスター全体に適用できる修正策に変換する。
- 容量を確約している顧客と連携し、直接、または顧客の運用チームを通じてワークロードを調整する。
- 副次的な役割として、コストとレイテンシを考慮したルーティングやモデルバージョンの移行など、社内のモデルサービングを管理する。
- 社内推論と顧客ワークロードの間でのGPU割り当てについて助言する。
応募要件
- GPU性能エンジニアリングに関する深い専門知識を持ち、プロファイリング、メモリと帯域幅の挙動、カーネルレベルの仕組みを理解していること。
- vLLM、SGLang、TensorRT-LLMなどのサービングスタックに関する実践知識があり、バッチ処理、KVキャッシュ管理、量子化のトレードオフを理解していること。
- テンソル並列、パイプライン並列、データ並列を含む、大規模な分散学習および推論の経験があること。
- NCCLなどの集合通信をチューニングした経験があること。
- Nsight、DCGM、フレームワークレベルのプロファイラーなどのツールに精通していること。
- 性能分析の結果を顧客にわかりやすく説明し、エージェントが実行できる形で解決策をまとめられること。
- 歓迎条件：CUDAカーネル開発、大規模なオープンウェイトモデルのデプロイ、ベンチマーク設計、および顧客対応を伴う技術職の経験。
