AWS Trainium 客戶

在 Anthropic，數百萬人員每天都依靠 Claude 開展工作。我們宣佈 AWS 取得的兩項重大進展：首先，Claude 3.5 Haiku 推出了一種新的「延遲最佳化模式」，其透過 Amazon Bedrock 將在 Trainium2 上的執行速度提高 60%。其次，Project Rainier 是一種新的叢集，其擁有數十萬個 Trainium2 晶片，可提供數百 EFLOPS，在規模上比我們之前的叢集高出五倍以上。Project Rainier 將協助推動我們的研究和下一代擴展。對於我們的客戶來說，這意味著更高的智慧、更低的價格和更快的速度。我們不僅是建置更快的 AI，還是在建置可信任的可擴展 AI。

Databricks 的 Mosaic AI 可讓組織建置和部署高品質的代理程式系統。它以資料湖為基礎原生建置，可讓客戶輕鬆、安全地使用企業資料自訂他們的模型，以及提供更準確的特定領域輸出。由於 Trainium 的高效能和經濟高效，客戶能夠以低成本擴展 Mosaic AI 上的模型訓練。隨著對 Mosaic AI 的需求在所有客戶群體和全球範圍內不斷擴大，Trainium2 的推出將為 Databricks 及其客戶帶來巨大優勢。Databricks 是全球最大規模的資料和 AI 公司之一，公司計劃使用 TRN2 為其客戶提供更理想的結果並將 TCO 降低高達 30%。

在 Poolside，我們著手打造 AI 將推動大部分具備經濟價值的工作和科學進步的世界。我們相信，軟體開發將成為神經網路達到人類水準智慧的第一項主要功能，因為它是我們能夠最佳地結合搜尋和學習方法的領域。為達成此目標，我們正在建置基礎模型、API 和助理，將生成式 AI 的強大功能帶到開發人員的手 (或鍵盤) 中。實現這項技術的主要關鍵點是我們用於建置和執行自身產品的基礎設施。藉助 AWS Trainium2，我們的客戶將能夠以不同於其他 AI 加速器的價格效能比擴展 Poolside 的使用範圍。此外，我們計劃使用 Trn2 UltraServer 訓練未來模型，與 EC2 P5 執行個體相比預期可節省 40% 的費用。

我們已經在各種任務中測試 AWS Trainium 和 Inferentia，從標準推論到微調應用程式。這些 AI 晶片的效能助力我們在研究和開發領域中實現重要的里程碑。對於批次和線上推論任務，我們已發現輸送量提高了 7 倍 (與使用 GPU 相比)。這種增強的效能正在推動組織範圍內進一步擴大使用案例的規模。最新一代 Trainium2 晶片為 GenAI 帶來突破性的功能，並為 Itau 的創新開闢全新的道路。

我們非常高興地得知 AWS TRN2 的推出，因為我們相信它將為以 Llama 3.1 405B 為基礎的核心模型 Ninja LLM 提供最佳的每個字符成本效能和目前最快的速度。Trn2 的低延遲、有競爭力的定價和隨需可用性令人驚訝；我們對 Trn2 的到來感到無比興奮！

移轉至 Trn1 執行個體非常輕鬆和簡單。我們利用 4,096 個 Trainium 晶片叢集，僅用時 8 天就完成了 13B 參數 LLM 的預先訓練！ 在較小模型上取得成功之後，我們對以 Llama-3-Swallow-70B 為基礎的全新、更大規模 LLM 進行微調，並且利用 Trainium，我們能夠將訓練成本降低 50%、能源效率提高 25% (與使用 AWS 中最新的 GPU 機器相比)。我們很高興利用最新一代 AWS AI 晶片 Trainium2，繼續以最低成本為客戶提供最佳效能。

我最喜歡 AWS Neuron NxD 推論程式庫的一點在於它與 PyTorch 模型的無縫整合。NxD 的方法簡單且使用者友好。我們的團隊能夠在短時間內以最小的程式碼變更量加入 HuggingFace PyTorch 模型。啟用連續批次處理和推測解碼等進階功能非常簡單。這種易用性可提高開發人員的生產力，讓團隊能夠更多專注於創新而非處理整合難題。

客戶已發現，與 EC2 G5 執行個體相比，EC2 Inf2 執行個體的效能提升 20%，每美元字符的價值提高 1.5 倍。Refact.ai 的微調功能進一步增強客戶了解並適應其組織獨特程式碼庫和環境的能力。我們同樣非常高興提供 Trainium2 的功能，這將為我們的工作流程帶來更快速、更高效的處理。這項進階技術將助力我們的客戶加速其軟體發展過程，方法是提高開發人員的工作效率，同時保持其程式碼庫的嚴格安全標準。

KARAKURI 建置 AI 工具以提高 Web 型客戶支援的效率並簡化客戶體驗。這些工具包括配備生成式 AI 功能、常見問答集集中化工具和電子郵件回應工具的 AI 聊天機器人，所有這些工具均提高客戶支援的效率和品質。利用 AWS Trainium，我們成功訓練 KARAKURI LM 8x7B Chat 0.1 版。對於像我們這樣的新創公司，我們需要最佳化建置時間和訓練 LLM 所需的成本。在 AWS Trainium 和 AWS 團隊的支援下，我們能夠在短時間內開發實用層級的 LLM。此外，透過採用 AWS Inferentia，我們能夠建置快速且經濟高效的推論服務。我們對 Trainium2 充滿期待，因為它將徹底變革我們的訓練程序，將訓練時間縮短 2 倍，同時將效率提升到新的高度！

Stockmark 以「重塑價值創造機制和推進人類發展」為使命，透過提供尖端的自然語言處理技術，幫助眾多公司建立和打造創新業務。Stockmark 的全新資料分析和收集服務稱為 Anews and SAT，這是一種資料結構化服務，透過整理組織中儲存的所有形式資訊，大幅度增加生成式 AI 的使用範圍，這就要求我們重新思考如何建置和部署模型來支援這些產品。藉助 256 個 Trainium 加速器，我們已開發並發布 stockmark-13b，這是一款具有 130 億個參數的大型語言模型，並在包含 220B 字符的日語全集資料庫上從頭開始進行預先訓練。Trn1 執行個體協助我們將訓練成本降低 20%。利用 Trainium，我們成功開發一個 LLM，該 LLM 能夠以前所未有的準確性和速度為專業人士解答關鍵業務問題。鑑於公司在為模型開發提供充分的運算資源方面面臨的廣泛挑戰，這項成就尤其值得注意。由於 Trn1 執行個體具備令人印象深刻的速度和成本降低，我們很高興看到 Trainium2 將為我們的工作流程和客戶帶來的其他優勢。

Brave 是獨立的瀏覽器和搜尋引擎，致力於優先考慮使用者隱私權和安全性。我們擁有超過 7000 萬使用者，提供業界領先的保護措施，使 Web 更安全、更易於使用者使用。與其他不再以使用者為中心的平台不同，Brave 仍然致力於將隱私權、安全性和便利性放在第一位。主要功能包括封鎖有害的指令碼和追蹤器，由 LLM 支援的 AI 輔助頁面摘要、內建 VPN 服務等。我們不斷努力提高搜尋服務和 AI 模型的速度與成本效率。為支援此目標，我們很高興能夠利用包括 Trainium2 在內的 AWS AI 晶片的最新功能來改善使用者體驗，同時擴大規模以處理每月數十億次搜尋查詢。

在 Anyscale，我們致力於為企業提供最出色的工具，以高效、經濟地擴展 AI 工作負載。藉助由我們的 RayTurbo 執行階段支援的 AWS Trainium 和 Inferentia 晶片的原生支援，我們的客戶可以取得高效能、經濟高效的模型訓練與服務選項。我們現在很高興與 AWS 攜手合作開發 Trainium2，為我們的客戶開啟快速創新的新機遇，並大規模提供高效能的變革性 AI 體驗。

Datadog 是面向雲端應用程式的可觀測性和安全平台，為客戶提供 AWS Trainium 和 Inferentia 監控，以最佳化模型效能、提高效率並降低成本。Datadog 的整合提供了對 ML 操作和基礎晶片效能的全面可見性，從而實現主動的問題解決和順暢的基礎設施擴展。我們很高興擴大與 AWS 的合作夥伴關係，共同推出 AWS Trainium2，該執行個體可以協助使用者將 AI 基礎設施成本降低高達 50%，同時提高模型訓練和部署效能。

Hugging Face 是領先的 AI 建構家開放平台，擁有超過 200 萬個模型、資料集和 AI 應用程式，由超過 500 萬名研究人員、資料科學家、機器學習工程師和軟體發展人員組成的社群共用。我們過去幾年一直與 AWS 合作，讓開發人員能夠更輕鬆地透過 Optimum Neuron 開放原始碼程式庫體驗 AWS Inferentia 和 Trainium 的效能和成本優勢，該程式庫整合在 Hugging Face Inference Endpoints 中，並且目前已在 AWS Marketplace 上提供的全新 HUGS 自我部署服務中進行了最佳化。隨著 Trainium2 的推出，我們的使用者將取得更高的效能，以更快地開發和部署模型。

Lightning 現在提供對 AWS AI 晶片、Trainium 和 Inferentia 的原生支援，它們整合在 Lightning Studios 和我們的開放原始碼工具 (如 PyTorch Lightning、Fabric 和 LitServe) 中。這可讓使用者能夠順暢地預先訓練、微調和大規模部署，以零切換開銷最佳化成本、可用性和效能，以及充分發揮 AWS AI 晶片 (包括最新一代 Trainium2 晶片) 的效能和成本優勢，以更低的成本提供更高的效能。

領先的企業必須平衡技術複雜性、成本和管控，並且掌握廣泛的 AI 選項來取得競爭優勢。在 Domino，我們致力於讓客戶使用尖端技術。運算是許多突破性創新的瓶頸，而我們很高興能為客戶提供 Trainium2 的存取權，以便他們訓練和部署效能更高、成本更低且能源效率更佳的模型。

Scale 正在加速 AI 應用程式的開發。透過 Scale Gen AI 解決方案，我們藉由產生高品質資料並提供技術解決方案，讓我們的客戶能夠建置、部署和評估最佳 AI 工具和應用程式，協助企業加快採用生成式 AI 並提高投資報酬率。今年早些時候，Scale 與 AWS 合作，成為他們的第一個模型自訂和評估合作夥伴。當我們協助客戶加速 AI 藍圖以建置 Gen AI 解決方案時，我們將提供 AWS Trainium 和 Inferentia，以降低其開放原始碼模型的訓練和部署成本。我們很高興看到 AWS Trainium 2 能夠節省更多的成本。

我們在 Amazon EC2 Inf1 執行個體上推出了大規模 AI 聊天機器人服務，與基於 GPU 的同類執行個體相比，推論延遲降低了 97%，同時還降低了成本。由於我們會定期微調量身定製的 NLP 模型，因此減少模型訓練時間和成本也很重要。根據我們在 Inf1 執行個體上成功遷移推論工作負載的經驗，以及在採用 AWS Trainium 的 EC2 Trn1 執行個體上的初步工作，我們預期 Trn1 執行個體將在提高端對端機器學習效能和成本方面帶來額外價值。

我們在 Mimecast 每天處理大約 14 億封電子郵件，並分析其中是否有潛在風險。這是一項重要的任務，我們必須提供安全的電子郵件，不涉及風險且不延遲。我們的客戶遍佈 100 多個國家/地區，平均每個組織使用 4.9 個 Mimecast 服務。該平台包含先進的電子郵件安全性、協作安全性、電子郵件封存，DMARC，內部風險防護和安全意識，並且採用以人為本的方法。我們不希望犧牲準確度，因此我們在內部建置模型，以實現高於 90% 的精準度和調用水平。根據這些要求，Inferentia 2 執行個體是最合適的發展方式。Inferentia 2 的卓越效率使我們能夠達成極低的延遲率，為客戶提供即時體驗。AWS AI 晶片與 SageMaker 結合，方便進行水平擴充，以滿足我們的即時需求。此外，我們使用自訂排程擴充政策，在尖峰時段擴展至多達 100 個執行個體，而且延遲幾乎為零。

AWS Neuron 的設計旨在讓您輕鬆使用像 JAX 與 Trainium 之類的熱門架構，同時最大程度地減少程式碼變更，並連結供應商特定解決方案。Google 與 AWS 正在協作，讓客戶透過原生 OpenXLA 整合，使用 JAX 快速開始使用 Trn2 執行個體進行大規模訓練和推論。由於廣泛的協作以及 Trainium2 的可用性，Google 預計 JAX 的採用將會提高，這對整個 ML 社群來說是重要的里程碑。

我們使用大型語言模型來融合幽默感，並在 AI 服務上為客戶提供更相關和對話式體驗。這需要我們經常預先訓練和微調這些模型。我們善用張量和資料平行處理，在 EC2 Trn1.32xlarge 執行個體上預先訓練以 GPT 為基礎的日文模型。相較於我們之前的 GPU 型基礎設施，訓練在 28 天內即可完成，且成本降低了 33%。隨著模型的複雜性持續快速增加，我們有望將 Trn1n 執行個體的網路頻寬增加至 Trn1 的兩倍，以加速對大型模型的訓練。

我們正在訓練大型語言模型 (LLM)，這些模型包括多模式 (文字+影像)、多語言、多地區、預先接受過多個任務訓練、跨多個實體 (產品、查詢、品牌、評論等)，以改善客戶的購物體驗。與其他加速機器學習解決方案相比，Trn1 執行個體可提供最佳的效能功耗比，從而為訓練大型語言模型提供了更永續的方式，並以最低成本為我們提供了高效能。我們計劃探索新的可設定 FP8 資料類型和硬體加速隨機四捨五入，以進一步提升訓練效率和開發速度。

我最喜歡 AWS Neuron NxD 推論程式庫的一點在於它與 PyTorch 模型的無縫整合。NxD 的方法直截了當且容易使用。我們的團隊能夠在短時間內以最小的程式碼變更量加入 HuggingFace PyTorch 模型。啟用連續批次處理和推測解碼等進階功能非常簡單。這種易用性可提高開發人員的生產力，讓團隊能夠更多專注於創新而非處理整合難題。