何千ものお客様が AWS に Databricks を実装しており、MosaicML を使用してさまざまなユースケースの基礎モデルに事前トレーニングとファインチューニングを施し、提供できるようになりました。AWS Trainium は、Mosaic MPT モデルのトレーニングに必要なスケールと高いパフォーマンスを低コストで提供してくれます。次世代の Mosaic MPT モデルをトレーニングする中で、Trainium2 はモデルをさらに高速に構築できるようにし、これまでにない規模とパフォーマンスをお客様に提供できるようになり、お客様が独自の生成 AI アプリケーションをより迅速に市場に投入できるようになります。

AWS Trainium チップを搭載した Amazon EC2 Trn1 インスタンスの 16 ノードを使用して、Stockmark-13b を開発してリリースしました。Stockmark-13b は、日本の 2200 億トークンのコーパスでゼロから事前にトレーニングされた、130 億のパラメータを持つ大規模な言語モデルです。コーパスには、2023 年 9 月までの最新のビジネスドメインテキストが含まれています。このモデルは、JGLUE (日本語一般言語理解評価) ベンチマークで、他の同等のモデルと比較して最高の JSQuAD スコア（0.813）を達成しました。Hugging Face Hub で入手でき、MIT ライセンスがあれば商用利用も可能です。Trn1 インスタンスにより、同等の GPU インスタンスと比較してトレーニングコストを 20% 削減できました。

Trn1 インスタンスへの移行は非常に簡単で、13B パラメータモデルのトレーニングはわずか 8 日で完了することができました。この成功を踏まえて、Trainium での 70B パラメータモデルの開発とトレーニングを楽しみにしています。また、これらのインスタンスにより、モデルのトレーニングをより迅速かつ費用対効果の高い方法で行うことができる可能性に期待しています。

HeliXon では、タンパク質ベースの治療薬に対する次世代 AI ソリューションを構築しています。私たちは、タンパク質の機能と相互作用を解読し、大規模なゲノムデータセットを照会してターゲットを特定し、抗体や細胞治療などの治療法を設計する科学者を支援する AI ツールを開発することを目指しています。現在、私たちは FSDP のような学習分散ライブラリを使用して、多数の GPU ベースのサーバーでモデルトレーニングを並列化していますが、それでも 1 つのモデルをトレーニングするのに数週間かかっています。AWS で利用可能な最高のネットワーク帯域幅 (800 Gbps) を特徴とする Amazon EC2 Trn1 インスタンスを活用して、分散トレーニングジョブのパフォーマンスを向上させ、モデルトレーニング時間を短縮すると共に、トレーニングコストを削減できることに興奮しています。

Amazon EC2 Inf1 インスタンスで大規模な AI チャットボットサービスを開始し、同等の GPU ベースのインスタンスと比較して推論レイテンシーを 97% 低減するとともに、コストを削減できました。カスタマイズされた NLP モデルを定期的に微調整し続けるため、モデルトレーニングの時間とコストを削減することも重要です。Inf1 インスタンスでの推論ワークロードの移行に成功した経験と、AWS Trainium ベースの Amazon EC2 Trn1 インスタンスでの初期作業に基づいて、私たちは Trn1 インスタンスがエンドツーエンドの機械学習パフォーマンスとコストを改善する上でさらなる価値を提供することを期待しています。

大規模な自己回帰 Transformer ベースモデルのトレーニングは、私たちの仕事の不可欠な要素です。AWS Trainium 搭載の Trn1 インスタンスは、これらのワークロードに特化して設計されており、無限に近いスケーラビリティ、高速なノード間ネットワーク、16 ビットおよび 8 ビットデータ型への高度なサポートを提供します。Trn1 インスタンスにより、大規模なモデルをより速く、より低コストでトレーニングできるようになります。Trainium の BF16 確率的な丸め処理のネイティブサポートは、私たちに特に大きな興奮を与えます。数値的精度とフル精度との区別なく、パフォーマンスを向上させます。

Cactus Labs では、自然言語処理、ランキングとレコメンデーション、会話型 AI、大規模言語モデル、コンピュータビジョン、AR/VR、および XAI に焦点を当てた研究で、AI のパワーを利用しています。機械学習モデルの高速なトレーニングを可能にし、研究者がインフラストラクチャコストを管理しながら、より多くの実験を行えるようにするという私たちの探求に沿って、AWS Trainium を評価できたことを嬉しく思っています。XLA 最適化、マルチワーカーデータ並列トレーニング、グラフキャッシュなどの AWS Trainium のすぐに使える機能は、トレーニング時間を短縮し、より速く、より安く、より多くの実験を行うために非常に役立っています。

私たちは、大規模言語モデルを使ってユーモアを取り入れ、AI サービスで適切な言葉を使って会話をはずませる体験をお客様に提供しています。そのためには、これらのモデルを頻繁に事前トレーニングして微調整する必要があります。私たちはテンソルとデータの並列処理を活用し、EC2 Trn1.32xlarge インスタンスで GPT ベースの日本語モデルを事前にトレーニングしました。トレーニングは 28 日以内に完了し、以前の GPU ベースのインフラストラクチャよりもコストは 33% 削減しました。モデルは急速に複雑化していくので、Trn1 の 2 倍のネットワーク帯域幅を持つ Trn1n インスタンスが大規模なモデルのトレーニングをスピードアップしてできるようになることを期待しています。

PyTorch では、機械学習を研究のプロトタイピングから顧客向けの生産準備へと加速させています。私たちは、AWS チームと広範囲なコラボレーションを行い、深層学習モデルのトレーニング専用に構築された新しい AWS Trainium 搭載の Amazon EC2 Trn1 インスタンスに PyTorch のネイティブサポートを提供しています。PyTorch モデルを構築するデベロッパーは、最小限のコード変更で Trn1 インスタンスでのトレーニングを開始することができます。さらに、OpenXLA コミュニティと協力し、GPU ベースのインスタンスから Trn1 インスタンスへのモデル移行を容易にする PyTorch 分散ライブラリを実現しました。より効率的なデータ型、ダイナミックシェイプ、カスタム演算子、ハードウェア最適化型の確率的な丸め処理、イーガーデバッグモードなど、Trn1 インスタンスが PyTorch コミュニティにもたらす革新に興奮しています。これらのことから、Trn1 は PyTorch のデベロッパーが広く採用するのに適しており、今後、トレーニング性能をさらに最適化するために PyTorch に共同で貢献することを期待しています。

Hugging Face のミッションは、世界中の ML デベロッパーが実世界の問題を解決できるよう、優れた ML を民主化することです。そのための鍵は、最新かつ最高のモデルを、クラウド内の最高の ML チップで可能な限り高速かつ効率的に実行できるようにすることです。私たちは Inferentia2 が、生成 AI モデルを大規模に展開するための新しい標準方法になる可能性があることに、非常に興奮しています。Inf1 では、従来の GPU ベースのインスタンスよりも最大 70％ のコスト削減を実現し、Inf2 では、BERT のようなトランスフォーマーのレイテンシーが Inferentia1 と比較して最大 8 倍低くなりました。Inferentia2 により、私たちのコミュニティは、このパフォーマンスを 100B 以上のパラメータ規模の LLM や、最新の拡散モデルやコンピュータビジョンモデルにも容易にスケールできるようになるでしょう。

私たちは、顧客のショッピング体験を向上させるため、マルチモーダル (テキスト + 画像)、多言語、マルチロケールかつ、複数のタスクで事前トレーニング済みの、複数のエンティティ (製品、クエリ、ブランド、レビューなど) にまたがる大規模言語モデル (LLM) をトレーニングしています。Trn1 インスタンスは、他の加速機械学習ソリューションと比較して最高のパフォーマンス/ワットを提供することで、LLM をトレーニングするためのより持続可能な方法を提供し、低コストで高いパフォーマンスを実現します。今後は、新しい設定可能な FP8 データタイプや、ハードウェア加速型の確率的な丸め処理などを検討し、トレーニング効率と開発速度をさらに高めていく予定です。