Amazon EC2 Capacity Blocks for ML

Amazon EC2 UltraClusters のアクセラレーテッドコンピューティングインスタンスを予約して、ML ワークロードを実行する

EC2 Capacity Blocks for ML を利用すべき理由

Amazon Elastic Compute Cloud (Amazon EC2) Capacity Blocks for ML を使用すると、将来の開始日に備えて、アクセラレーテッドコンピューティングインスタンスを簡単に予約できます。Capacity Blocks は、それぞれ最新の NVIDIA H200 Tensor Core GPU、NVIDIA H100 Tensor Core GPU、NVIDIA A100 Tensor Core GPU を搭載した Amazon EC2 P5eP5P4d インスタンス、および AWS Trainium を搭載した Trn1 インスタンスをサポートします。EC2 Capacity Blocks は、高性能機械学習 (ML) ワークロード向けに設計された Amazon EC2 UltraClusters に共同配置されています。アクセラレーテッドコンピューティングインスタンスは最大 28 日の期間について 1~64 インスタンス (512 GPU または 1024 Trainium チップ) のクラスターサイズで予約できるため、さまざまな ML ワークロードを柔軟に実行できます。EC2 Capacity Blocks は 8 週間前から予約可能です。

利点

アクセラレーテッドコンピューティングインスタンスの将来の利用可能なキャパシティを確保することで、自信をもって ML 開発を計画できます。

分散トレーニングのための Amazon EC2 UltraClusters でのコロケーションを通じて、低レイテンシーかつ高スループットのネットワーク接続を実現できます。

機械学習のために Amazon EC2 で極めて高いパフォーマンスを発揮するアクセラレーテッドコンピューティングインスタンスに予測どおりにアクセスできます。

ユースケース

ML モデルのトレーニングとファインチューニングを完了するために予約したアクセラレーテッドコンピューティングインスタンスに中断なくアクセスできます。

短期間だけアクセラレーテッドコンピューティングインスタンスを必要とする実験を実行し、プロトタイプを構築できます。

顧客にサービスを提供するために適切な量のキャパシティを予約することで、成長のニーズに対応できます。

  • NVIDIA

    世界中の企業が生成 AI を採用してビジネスを革新する中で、アクセラレーテッドコンピューティングの需要が飛躍的に高まっています。AWS の新しい EC2 Capacity Blocks for ML により、世界中の AI 企業は H100 を一度に 1 台のサーバーではなく、AWS でのみ利用可能な専用スケールでレンタルできるようになりました。これにより、大規模言語モデルを迅速かつコスト効率よくトレーニングし、必要なときにクラウドで推論を実行できます。

    NVIDIA、Vice President of Hyperscale and HPC Computing、Ian Buck 氏
  • Arcee

    Arcee は、私たちが SLM と呼ぶもの、つまり、小型、特殊、安全で、スケーラブルな言語モデルの開発と進歩を可能にする AI プラットフォームを提供しています。Amazon EC2 Capacity Blocks for ML は、当社が必要なときに GPU キャパシティに確実にアクセスできるようにしてくれるため、AWS で SLM をトレーニングするための ML コンピューティング環境の重要な一部となっています。これはつまり、社内チームとお客様の両方が柔軟性の恩恵を享受できることを意味します。数日以内に長期的な契約なしで GPU のクラスターを利用できることがわかったことは、私たちにとって大きな転機となりました。

    Arcee、CEO 兼共同創業者、Mark McQuade 氏
  • Amplify Partners

    当社は、深層学習と大規模言語モデルを活用して画期的なイノベーションを市場に投入する数名の創業者と協力しています。予測可能かつ適時の GPU コンピューティングキャパシティへのアクセスは、創業者がアイデアを迅速に具現化できるようにするだけでなく、そのビジョンに基づいて継続的にイテレーションし、顧客により多くの価値を提供する上で不可欠であると当社は考えています。EC2 Capacity Blocks を介して最大 512 個の NVIDIA H100 GPU を利用できることは、供給が制限されている現在の環境において画期的なことです。なぜなら、これにより、スタートアップは長期的な資本コミットメントなしで、必要なときに必要な GPU コンピューティングキャパシティを利用できるようになると考えているからです。GPU キャパシティブロックと、業界をリードする機械学習および生成 AI サービスのポートフォリオを活用して、AWS 上で構築する創業者をサポートできることを楽しみにしています。

    Amplify Partners、Operating Partner、Mark LaRosa 氏
  • Canva

    現在、Canva は 1 億 5,000 万人を超える月間アクティブユーザーが、どこにでも公開できる魅力的なビジュアルアセットを作成できるようにしています。当社は、新しい生成 AI ツールを強化するマルチモーダルモデルをトレーニングするために EC2 P4de インスタンスを使用しています。これにより、ユーザーはアイデアを自由かつ迅速に実験できます。当社はより大きなモデルをトレーニングすることを検討しており、トレーニングの実行中に数百の GPU を予測どおりにスケールできる必要があります。AWS が P5 インスタンスのサポートを備えた EC2 Capacity Blocks をリリースするのは喜ばしいことです。低レイテンシーの EC2 UltraClusters で最大 512 個の NVIDIA H100 GPU に予測どおりにアクセスして、これまでよりもさらに大規模なモデルをトレーニングできるようになりました。

    Canva、Head of Data Platforms、Greg Roodt 氏
  • Dashtoon

    Dashtoon は最先端の AI と創造性を融合して、芸術的なスキルや技術的な知識にかかわらず、ストーリーテラーがデジタルコミックを作成できるアーティストになれるようにし、イラストコンテンツ作成における従来の障壁を打ち破っています。当社のアプリケーションを使用してコミックを読む月間アクティブユーザー (MAU) は 8 万人を超えており、クリエイターは Dashtoon Studio で 1 日あたり 10 万枚以上の画像を生成しています。当社は創業以来 AWS を利用しており、Amazon EC2 P5 インスタンスを使用して、Stable Diffusion XL、GroundingDINO、Segment Anything などのマルチモーダルモデルのトレーニングと微調整を行っています。NVIDIA H100 GPU を搭載した P5 インスタンスを使用することで、NVIDIA A100 GPU を搭載した同等の P4d インスタンスを使用した場合と比較して、パフォーマンスを 3 倍改善できました。当社のトレーニングデータセットのサイズはさまざまであり、モデルトレーニングのスケールを検討しているところですが、Amazon EC2 Capacity Blocks for ML は、予測可能な短いリードタイム (最短で翌日) で GPU のニーズに柔軟に対応することを可能にしてくれます。これは、当社がユーザーに新しい機能をリリースするまでの時間を短縮するのに役立ちます。EC2 Capacity Blocks を引き続き活用してイノベーションを加速できることに高揚感を覚えています。

    Dashtoon、共同創業者兼 Chief Technology Officer、Soumyadeep Mukherjee 氏
  • Leonardo.Ai

    Leonardo のチームは生成 AI を活用して、クリエイティブなプロフェッショナルや、クリエイティブなことに熱心に取り組む人々が、比類のない品質、スピード、スタイルの一貫性を備えたビジュアルアセットを制作できるようにしています。当社の基盤は、微調整された AI モデルと強力なツールのスイートにあり、生成前と生成後の両方できめ細かなコントロールを提供します。当社は幅広い AWS サービスを活用して、モデルを構築およびトレーニングするだけでなく、数百万のアクティブな月間ユーザーによる使用をサポートするためにそれらのモデルをホストしています。EC2 Capacity Blocks for ML がリリースされることを喜ばしく思います。これにより、当社はトレーニングや実験のために GPU キャパシティに柔軟にアクセスできると同時に、コンピューティング要件をより適切に満たす可能性のある別の EC2 インスタンスに切り替えるオプションも維持できます。

    Leonardo.Ai、CTO、Peter Runham 氏
  • OctoAI

    OctoAI では、アプリケーションビルダーが生成 AI を簡単に実行、調整、スケールできるようにサポートして、モデル実行を最適化するとともに、オートメーションを使用して、サービスをスケールし、エンジニアリングの負担を軽減しています。短期間で GPU キャパシティをスケールアップできる当社の能力は、特に、製品リリースの一環として ML アプリケーションをゼロから数百万のユーザーに迅速にスケールしたいと考えているお客様と連携する場合に重要です。EC2 Capacity Blocks for ML を使用すると、お客様の計画されたスケールアップに合わせてさまざまなサイズの GPU クラスターを予測どおりに起動できると同時に、長期的なキャパシティのコミットやオンプレミスでのデプロイに比べて潜在的なコスト削減を実現できます。

    OctoAI、CEO、Luis Ceze 氏
  • Snorkel

    Snorkel の AI データ開発プラットフォームは、企業が AI を迅速に作成して使用するのに役立ちます。これには、コンピューティングを多用する LLM から情報を抽出して、開発中に短期間のコンピューティングのバーストを必要とする、より小さな専門モデルに供給することが含まれ、この傾向はこれまで以上に顕著になってきています。EC2 Capacity Blocks for ML は、GPU キャパシティを取得するための既存のオプションを大幅に改善する可能性を秘めています。短期的な GPU キャパシティへの保証されたアクセスと、EC2 UltraClusters の高いネットワークパフォーマンスは、企業が現在および今後数年間サポートする必要がある AI 開発ワークフローの重要なイネーブラーです。

    Snorkel、共同創業者兼 Head of Technology、Braden Hancock 氏