AWS Trainium をご利用のお客様

Anthropic では、毎日何百万人もの人々が業務で Claude を利用しています。AWS で 2 つの大きな進歩がありました。1 つ目は、Claude 3.5 Haiku 向けの新しい「レイテンシー最適化モード」です。これは、Amazon Bedrock 経由で Trainium2 で実行され、60% の高速化を実現しています。そして 2 つ目は、Project Rainier です。これは、数十万個の Trainium2 チップを搭載した新しいクラスターで、以前のクラスターの 5 倍以上のサイズである数百エクサフロップスを実現しています。Project Rainier は、私たちの研究と次世代のスケーリングの両方を後押ししてくれます。お客様にとって、これはより多くのインテリジェンス、より低い料金、より速い速度を意味します。私たちは、より高速な AI を構築するだけでなく、スケールする信頼できる AI を構築しています。

Databricks の Mosaic AI により、組織は高品質のエージェントシステムを構築してデプロイできます。データレイクハウス上にネイティブに構築されているため、お客様はエンタープライズデータを使用してモデルを簡単かつ安全にカスタマイズし、より正確でドメイン固有の出力が得られます。Trainium の高いパフォーマンスと費用対効果のおかげで、お客様は Mosaic AI のモデルトレーニングを低コストでスケールできます。Mosaic AI の需要はすべての顧客セグメントと世界中で拡大し続けているため、Trainium2 の可用性は Databricks とその顧客にとって大きなメリットとなるでしょう。データおよび AI の世界最大手企業の 1 つである Databricks は、TRN2 を使用して顧客のためにより良い結果をもたらし、TCO を最大 30% 削減することを計画しています。

poolside では、経済的に価値のある仕事や科学の進歩の大半を AI が推進する世界を構築することを目指しています。私たちは、ソフトウェア開発がニューラルネットワークで人間レベルの知能に達する最初の主要な能力になると考えています。なぜなら、探求と学習のアプローチを最もうまく組み合わせることができる領域だからです。それを実現するために、生成 AI の力をデベロッパーの手 (またはキーボード) に届けるための基盤モデル、API、アシスタントを構築しています。このテクノロジーを実現するための主な鍵は、製品の構築と運用に使用しているインフラストラクチャです。AWS Trainium2 では、お客様は他の AI アクセラレーターとは異なるコストパフォーマンス比で poolside の使用量をスケールできます。さらに、Trainium2 UltraServer を使用して将来のモデルをトレーニングする予定です。これにより、EC2 P5 インスタンスと比較して 40% の節約が見込まれます。

標準的な推論からファインチューニングされたアプリケーションまで、AWS Trainium と Inferentia をさまざまなタスクにわたってテストしてきました。これらの AI チップの性能により、私たちは研究開発において重要なマイルストーンを達成することができました。バッチ推論タスクとオンライン推論タスクの両方で、GPU と比較してスループットが 7 倍向上しました。この性能の向上により、組織全体でユースケースの拡がりが見られます。最新世代の Trainium2 チップは、GenAI の画期的な機能を解き放ち、Itau のイノベーションへの扉を開いています。

AWS TRN2 のローンチにワクワクしています。なぜなら、Llama 3.1 405B をベースにしたコアモデル Ninja LLM では、トークンあたり最高のコストパフォーマンスを発揮し、現在到達できる最速のスピードを実現できると考えているからです。Trn2 の低レイテンシーと、競争力のある料金設定、オンデマンドの可用性には目を見張るものがあります。Trn2 の登場にかつてないほどワクワクしています。

Trn1 インスタンスへの移行は簡単で明瞭でした。4,096 個の Trainium チップのクラスターを利用して、わずか 8 日間で 13B パラメータの LLM を事前トレーニングすることができました。 小さなモデルで成功を収めた後、Llama-3-Swallow-70B をベースにした新しい大規模 LLM をファインチューニングしました。Trainium を活用することで、AWS で最新の GPU マシンを使用する場合と比較して、トレーニングコストを 50% 削減し、エネルギー効率を 25% 向上させることができました。最新世代の AWS AI チップである Trainium2 を活用して、引き続きお客様に最高のパフォーマンスを最低のコストで提供できることを嬉しく思います。

AWS Neuron NxD 推論ライブラリで私が最も気に入ったのは、PyTorch モデルとシームレスに統合できることです。NxD のアプローチは単純明快でユーザーフレンドリーです。私たちのチームは、最小限のコード変更で短期間で HuggingFace PyTorch モデルをオンボーディングすることができました。連続バッチ処理や投機的デコーディングなどの高度な機能を有効にするのは簡単でした。この使いやすさによってデベロッパーの生産性が向上し、チームは統合の課題に煩わされることなく、イノベーションに集中できるようになります。

お客様の話から、EC2 Inf2 インスタンスでは、EC2 G5 インスタンスと比較して、パフォーマンスが最大 20% 高く、1 USD あたりのトークンが 1.5 倍高いことが分かっています。Refact.ai のファインチューニング機能により、お客様が組織独自のコードベースと環境を把握し、それに適応する能力をさらに高めます。また、Trainium2 の機能を提供できることを嬉しく思います。これにより、ワークフローの処理がさらに高速で効率的になります。この高度なテクノロジーにより、コードベースの厳しいセキュリティ基準を順守しながらデベロッパーの生産性を高めることができるため、お客様はソフトウェア開発プロセスを加速できます。

カラクリは、ウェブベースのカスタマーサポートの効率を高め、カスタマーエクスペリエンスを簡素化する AI ツールを構築しています。これらのツールには、生成 AI 機能を搭載した AI チャットボット、FAQ 一元化ツール、E メール返信ツールなどがあり、これらはすべてカスタマーサポートの効率と品質を向上させます。AWS Trainium を活用して、KARAKURI LM 8x7B Chat v0.1 のトレーニングに成功しました。私たちのようなスタートアップ企業にとっては、LLM の構築にかかる時間とトレーニングに必要なコストを最適化する必要があります。AWS Trainium と AWS チームのサポートのおかげで、短期間で実践的なレベルの LLM を開発することができました。また、AWS Inferentia を採用したことで、高速で費用対効果の高い推論サービスを構築できました。Trainium2 はトレーニングプロセスに革命をもたらし、トレーニング時間を半分に短縮し、効率を新たな高みへと導いてくれるので、Trainium2 から力をもらっています。

ストックマークは、「価値創造の仕組みを再発明し、人間性を高める」という使命のもと、最先端の自然言語処理技術を提供することで、多くの企業が革新的なビジネスを創造し、構築できるよう支援しています。ストックマークの新しいデータ分析および収集サービスである Anews と SAT は、組織に保存されているあらゆる形態の情報を整理することで生成 AI の利用を劇的に改善するデータ構造化サービスです。私たちは、これらの製品をサポートするモデルを構築およびデプロイする方法を再考する必要がありました。256 個の Trainium アクセラレーターを使用して、Stockmark-13b を開発してリリースしました。Stockmark-13b は、日本の 2200 億トークンのコーパスデータセットでゼロから事前にトレーニングされた、130 億のパラメータを持つ大規模な言語モデルです。Trn1 インスタンスにより、トレーニングコストを 20% 削減できました。Trainium を活用して、プロフェッショナル向けのビジネスクリティカルな質問にこれまでにない正確さとスピードで回答できる LLM の開発に成功しました。この成果は、企業がモデル開発のための十分な計算リソースを確保する上で直面する課題が広範囲に及んでいることを考えると、特に注目に値します。Trn1 インスタンスの驚異的な速度とコスト削減により、Trainium2 が当社のワークフローとお客様にさらにどのようなメリットをもたらすのかを見るのを楽しみにしています。

Brave は、ユーザーのプライバシーとセキュリティを最優先することを目的とした独立したブラウザおよび検索エンジンです。7,000 万人以上のユーザーを抱える当社は、ウェブをより安全で使いやすいものにする業界トップクラスの保護機能を提供しています。ユーザー中心のアプローチから脱却した他のプラットフォームとは異なり、Brave はプライバシー、セキュリティ、利便性を最優先することに引き続き取り組んでいます。主な機能には、有害なスクリプトやトラッカーのブロック、LLM による AI 支援ページサマリー、組み込み VPN サービスなどがあります。私たちは、検索サービスと AI モデルの速度と費用対効果の向上に継続的に取り組んでいます。これをサポートするために、Trainium2 を含む AWS AI チップの最新機能を活用して、毎月数十億件の検索クエリを処理するようにスケールしながら、ユーザーエクスペリエンスを向上できることを嬉しく思います。

Anyscale では、AI ワークロードを効率的かつ費用対効果の高い方法でスケールするための最適なツールで企業の力になれるよう取り組んでいます。RayTurbo ランタイムを搭載した AWS Trainium チップと Inferentia チップのネイティブサポートにより、お客様はモデルトレーニングとサービスのための高性能で費用対効果の高いオプションを利用できます。私たちは今、Trainium2 で AWS と力を合わせ、お客様が迅速にイノベーションを起こし、高性能で変革的な AI 体験を大規模に提供するための新しい機会を開拓できることを嬉しく思います。

クラウドアプリケーションのオブザーバビリティおよびセキュリティプラットフォームである Datadog は、AWS Trainium と Inferentia Monitoring をお客様に提供して、モデルのパフォーマンスを最適化し、効率を高め、コストを削減できるようにしています。Datadog の統合により、ML の運用と基盤となるチップのパフォーマンスを完全に可視化できるため、プロアクティブな問題解決とシームレスなインフラストラクチャスケーリングが可能になります。AWS Trainium2 のローンチに向けて、AWS とのパートナーシップを拡大できることを嬉しく思います。これにより、ユーザーは AI インフラストラクチャのコストを最大 50% 削減し、モデルトレーニングとデプロイのパフォーマンスを向上させることができます。

Hugging Face は AI ビルダー向けの主要なオープンプラットフォームであり、200 万を超えるモデル、データセット、AI アプリケーションが、500 万人以上の研究者、データサイエンティスト、機械学習エンジニア、ソフトウェアデベロッパーのコミュニティで共有されています。私たちは過去数年にわたって AWS と協力してきました。これにより、デベロッパーは Optimum Neuron オープンソースライブラリを通じて、AWS Inferentia と Trainium のパフォーマンスとコスト上のメリットをより簡単に体験できます。このライブラリは Hugging Face 推論エンドポイントに統合され、AWS Marketplace で利用できる新しい HUGS セルフデプロイサービス内で最適化されています。Trainium2 のローンチにより、ユーザーはさらに高い性能を利用して、モデルをより迅速に開発およびデプロイできるようになります。

Lightning は現在、AWS AI チップ、Trainium、Inferentia をネイティブでサポートしています。これらは Lightning Studios と PyTorch Lightning、Fabric、LitServe などのオープンソースツールに統合されています。これにより、ユーザーはシームレスに事前トレーニング、ファインチューニング、大規模デプロイが可能になり、切り替えのオーバーヘッドなしでコスト、可用性、パフォーマンスを最適化できます。また、最新世代の Trainium2 チップを含む AWS AI チップのパフォーマンスとコスト上のメリットにより、低コストでより高いパフォーマンスを発揮できます。

先駆的な企業は、技術的な複雑さ、コスト、ガバナンスのバランスを取り、競争上の優位性を維持するために広範な AI オプションを習得する必要があります。Domino では、最先端のテクノロジーへのアクセスをお客様に提供することに注力しています。コンピューティングが非常に画期的なイノベーションのボトルネックとなっている中、当社は、お客様がより高いパフォーマンス、より低いコスト、より優れたエネルギー効率でモデルをトレーニングおよびデプロイできるよう、Trainium2 へのアクセスをお客様に提供できることを誇りに思っています。

Scale は、AI アプリケーションの開発を加速しています。当社は Scale の生成 AI ソリューションを利用して、質の高いデータを生成し、お客様が極めて優れた AI ツールとアプリケーションを構築、デプロイ、評価できるようにするテクノロジーソリューションを提供することで、企業が生成 AI の導入を加速し、ROI を改善できるようサポートしています。今年初め、Scale は AWS と連携し、AWS 初のモデルカスタマイズおよび評価パートナーとなりました。お客様が AI ロードマップを加速して生成 AI ソリューションを構築するのを当社がサポートする中で、当社は、オープンソースモデルのトレーニングとデプロイのコストを削減できるよう、AWS Trainium と Inferentia を提供します。AWS Trainium 2 によってコストがさらに削減されることを大変うれしく思っています。

Amazon EC2 Inf1 インスタンスで大規模な AI チャットボットサービスを開始し、同等の GPU ベースのインスタンスと比較して推論レイテンシーを 97% 低減するとともに、コストを削減できました。カスタマイズされた NLP モデルを定期的に微調整し続けるため、モデルトレーニングの時間とコストを削減することも重要です。Inf1 インスタンスでの推論ワークロードの移行に成功した経験と、AWS Trainium ベースの Amazon EC2 Trn1 インスタンスでの初期作業に基づいて、私たちは Trn1 インスタンスがエンドツーエンドの機械学習パフォーマンスとコストを改善する上でさらなる価値を提供することを期待しています。

Mimecast では、毎日約 14 億通の E メールを処理し、潜在的なリスクを分析しています。これは重要なタスクであり、リスクのない安全な E メールを遅延なく配信することが不可欠です。100 を超える国々のお客様が当社のサービスを利用しており、平均して各組織は 4.9 個の Mimecast サービスを利用しています。このプラットフォームには、高度な E メールセキュリティ、コラボレーションセキュリティ、E メールアーカイブ、DMARC、インサイダーリスク保護、人間中心のアプローチによるセキュリティ認識が含まれています。当社は精度を犠牲にしたくなかったため、社内でモデルを構築し、90% を大きく超える精度と再現率を実現しました。これらの要件に基づいて、Inferentia 2 インスタンスが最も適切な方法でした。Inferentia 2 の優れた効率性により、当社は驚異的なレイテンシーを実現し、お客様にリアルタイムのエクスペリエンスを提供できます。AWS AI Chips と SageMaker を組み合わせると、リアルタイムの需要に合わせて水平方向にスケールすることが非常に簡単になります。また、当社は、ピーク時に、ほぼゼロのレイテンシーオーバーヘッドで数百のインスタンスまでスケールアップするために、カスタムスケジュールスケーリングポリシーを使用しています。

AWS Neuron は、コードの変更や、ベンダー固有のソリューションとの結びつきを最小限に抑えながら、JAX などの人気のフレームワークを Trainium とともに簡単に使用できるように設計されています。Google と AWS は、ネイティブ OpenXLA 統合を通じて、お客様が大規模なトレーニングと推論のために JAX を利用して Trn2 インスタンスを迅速に開始できるようにするために協力しています。幅広いコラボレーションと、Trainium2 の一般提供の開始により、Google は JAX の採用が拡大すると予想しています。これは、ML コミュニティ全体にとって重要なマイルストーンとなるでしょう。

私たちは、大規模言語モデルを使ってユーモアを取り入れ、AI サービスで適切な言葉を使って会話をはずませる体験をお客様に提供しています。そのためには、これらのモデルを頻繁に事前トレーニングして微調整する必要があります。私たちはテンソルとデータの並列処理を活用し、EC2 Trn1.32xlarge インスタンスで GPT ベースの日本語モデルを事前にトレーニングしました。トレーニングは 28 日以内に完了し、以前の GPU ベースのインフラストラクチャよりもコストは 33% 削減しました。モデルは急速に複雑化していくので、Trn1 の 2 倍のネットワーク帯域幅を持つ Trn1n インスタンスが大規模なモデルのトレーニングをスピードアップしてできるようになることを期待しています。

私たちは、顧客のショッピング体験を向上させるため、マルチモーダル (テキスト + 画像)、多言語、マルチロケールかつ、複数のタスクで事前トレーニング済みの、複数のエンティティ (製品、クエリ、ブランド、レビューなど) にまたがる大規模言語モデル (LLM) をトレーニングしています。Trn1 インスタンスは、他の加速機械学習ソリューションと比較して最高のパフォーマンス/ワットを提供することで、LLM をトレーニングするためのより持続可能な方法を提供し、低コストで高いパフォーマンスを実現します。今後は、新しい設定可能な FP8 データタイプや、ハードウェア加速型の確率的な丸め処理などを検討し、トレーニング効率と開発速度をさらに高めていく予定です。

AWS Neuron NxD Inference ライブラリで最も気に入ったのは、それが PyTorch モデルといかにシームレスに統合するかということです。NxD のアプローチはわかりやすく、ユーザーフレンドリーです。私たちのチームは、最小限のコード変更で短期間で HuggingFace PyTorch モデルをオンボーディングすることができました。連続バッチ処理や投機的デコーディングなどの高度な機能を有効にするのは簡単でした。この使いやすさによってデベロッパーの生産性が向上し、チームは統合の課題に煩わされることなく、イノベーションに集中できるようになります。