Cerebrasは、高性能なモデルの学習と推論に向けたウェハースケールAIハードウェアと統合ソフトウェアを開発しています。同社のウェハースケールエンジンは、CS-3システムとCerebras Inference Cloudを支え、OpenAI API互換のワークフローや、オンプレミス、クラウド、エッジ環境への展開に対応しています。このプラットフォームは、モデルサービング、ファインチューニング、事前学習、リアルタイムAIエージェント、ゲノミクス、創薬、サイバーセキュリティ、エンタープライズ検索などの用途向けに設計されています。Cerebrasは、専門チップ、システム、ソフトウェアを組み合わせ、負荷の高い人工知能ワークロードを構築・運用する組織を支援しており、従業員数は501～1,000人です。
機械学習アルゴリズムマッピングおよび性能エンジニア、コア機械学習
機械学習のトレーニングおよび推論アルゴリズムを、Cerebras AI チップアーキテクチャにマッピングします。 性能ボトルネックをモデル化し、システムのベンチマークを行い、ハードウェアとソフトウェアの協調設計に役立つ知見を提供します。
仕事内容
- 高度な機械学習トレーニングおよび推論アルゴリズムの分析的・実証的な性能モデルを構築する
- モデルサイズ、シーケンス長、バッチサイズ、並列性、ハードウェア規模に応じた漸近的挙動とアルゴリズム上のトレードオフを評価する
- モデル品質、レイテンシ、スループット、メモリ使用量、通信、計算コストにまたがるパレートフロンティアを構築する
- Cerebras WSE 向けのプロトタイプ実装とベンチマークを作成し、関連する GPU およびソフトウェアのベースラインと比較する
- システムの挙動を調査し、カーネル、コンパイラ、ランタイム、通信、アルゴリズムのボトルネックを特定する
- 並列トークン生成、拡散モデルと投機的デコーディング、アテンション、スパース性、Mixture-of-Experts、低精度計算、分散トレーニングなどの新しい手法を評価する
- 研究、カーネル、コンパイラ、ランタイム、推論、アーキテクチャの各チームと連携し、実装および協調設計の優先事項に取り組む
- 性能予測、測定結果の分析、設計上のトレードオフ比較を行うツールと可視化を作成する
- 技術レポート、プレゼンテーション、設計レビューを通じて、結論、前提、制約、推奨事項を提示する
- コア機械学習の研究優先事項、実装方針、将来のハードウェアおよびソフトウェア能力の方向性を形作る
応募要件
- コンピューターサイエンス、コンピューターエンジニアリング、電気工学、数学、または関連分野の学士号、修士号、博士号、あるいは同等の実務経験
- コンピューターアーキテクチャ、並列コンピューティング、システム性能に関する深い知識
- 機械学習の基礎と ML システムに関する確かな理解
- 分析的性能モデリング、アルゴリズム複雑度分析、ベンチマーク、またはシステムシミュレーションの経験
- 優れた分析的思考力と問題解決能力
- Python に精通し、C++ の実務知識があること
- ML、HPC、CPU、GPU、またはアクセラレータベースのシステムにおける性能プロファイリングとデバッグの経験
- 数学的分析、実験的検証、実践的なエンジニアリング提案を結び付ける能力
- 歓迎：ルーフライン分析、CPU または GPU シミュレーター、カーネル最適化、またはハードウェア・ソフトウェア協調設計の経験
- 歓迎：CUDA、Triton、PyTorch、JAX、またはオープンソースの LLM トレーニング・推論システムに関する知識
- 歓迎：Transformer の内部構造、アテンションのバリエーション、KV キャッシュ戦略、モデル並列化、スパース性、量子化、並列生成に関する知識
- 歓迎：ML システム、コンピューターアーキテクチャ、または計算効率分野での研究論文、特許、または substantial なオープンソース貢献
- 歓迎：将来のハードウェアまたはソフトウェアアーキテクチャに向けた技術選択の評価経験
福利厚生
- 先進的な AI 研究を発表し、オープンソース化する機会
- 世界最速クラスの AI スーパーコンピューターの一つと協働できる環境
- スタートアップの活気と雇用の安定性を兼ね備えた環境
- 個人の信念を尊重する、率直で企業的でない文化
- 継続的な学習、成長、サポートの機会
- 平等で多様性のある職場づくりへの取り組み
