AWS強大雲端運算力　突破生成式AI發展瓶頸

以簡易且經濟實惠的AI/ML工作負載，協助企業高效創新、大幅節省成本及重塑業務可能性

香港 - Media OutReach - 2023年3月17日 - Amazon Web Services（AWS）長期深耕生成式人工智能（Generative Artificial Intelligence）領域，擁有成熟的生成式AI創新技術與專屬的行業解決方案，不僅為客戶提供經廣泛驗證且易於部署的先進AI預先訓練模型，並透過豐富且高成本效益的雲端資源以降低所需成本，協助遊戲、電商、影視、廣告、傳媒等行業快速開發生成式AI的應用程式，大幅提高生產力。AWS香港日前舉辦「AI/ML人工智能與機器學習Web Day」，吸引超過近2000名科技愛好者參與。會上，AWS技術專家分享和展示最熱門的AI和機器學習關鍵技術，如生成式AI、大型語言模型（LLM）、低程式碼/無程式碼開發（Low Code/No Code）等科技趨勢，協助香港企業把握人工智能所帶來的商機。

AWS台灣暨香港產品部總監翁宇強表示，「從AI技術發展來看，生成式AI開啟了一次模式轉變（Paradigm Shift）。大模型、多模態、高產能和海量數據將主導新一輪科技商業模式的發展，為內容創作、市場營銷、遊戲等行業帶來顛覆性創新。AWS廣泛而深入的生成式AI專屬解決方案，以最先進的效能、更高的成本效益和更全面的服務支援各行各業，協助各種規模的企業擁抱生成式AI的浪潮。」

降低成本，讓生成式AI觸手可及

目前生成式AI模型除了能生成大眾熟知的文本和圖片外，亦能生成音訊和影片內容，未來亦將出現越來越多不同種類的生成內容。對企業而言，針對特定場景所建立的模型在成本效益和準確度方面都更具優勢，因此亦是目前企業主要採用的模型。晶片效能和高品質訓練是生成式AI發展的基礎，也是實現大規模發展的瓶頸。以往模型的參數量級可能僅是千級或百萬級，但現今擁有十億百億級參數的模型比比皆是，下一代模型甚至很有可能會朝著萬億級參數級別發展。因此，降低大規模模型的成本至關重要。

然而，即使機器學習的晶片效能約每兩年就會有一倍或數倍的提升，仍然不足以跟上日趨複雜的訓練模型。替代的解決辦法就是利用分散式多處理器，透過一個網絡進行協同運算、協同訓練。AWS專為雲端上高效能模型訓練而開發的Amazon EC2 Trn1執行個體，最多可以搭載16顆專門用於機器學習訓練的Trainium晶片、512GB加速器記憶體和800GBps的網絡頻寬。

Trn1為擁有高成本效益的深度學習執行個體，相比基於GPU的類似執行個體，訓練成本大幅降低50%。以一個具備萬億級參數的大模型進行兩周訓練為例，GPU伺服器P3dn需要600個執行個體，最新一代GPU執行個體P4d需要128個執行個體，而Trn1僅需使用96個執行個體便能執行相同訓練。

AWS在2022 AWS re:Invent全球大會上推出一款建基於Trn1的網絡優化型執行個體Trn1n，進一步增加網絡頻寬一倍，從800GBps躍升到1600GBps，其強大的網絡傳輸能力能夠將超過1萬個Trainium晶片建構在一個超大規模叢集裡，並在叢集中進行模型的並行訓練。

除了訓練外，大模型也需要超高的推論能力。因此，AWS建構了Inf1執行個體，由自行研發的推論晶片Inferentia所支援，有效實現低延遲、低成本的推論。與GPU的執行個體相比，Inf1執行個體每次執行推論的成本大幅降低70%。

在去年AWS re:Invent全球大會上，AWS同時推出新一代自研推論晶片Inferentia2，以及建基於該晶片的Inf2執行個體，成為唯一一個專為大型Transformer模型分散式推論建立的執行個體。與Inf1執行個體相比，Inf2提供高達4倍的輸送量，降低多達10倍的延遲；與建基於GPU的執行個體相比，每瓦效能提升高達45%，同時也支援諸如GPT類型的大型複雜模型，並且可以用單執行個體實現1750億參數模型的推論。

此外，AWS日前宣布與AI科技公司Hugging Face加強合作，以加速對大型語言模型和視覺模型的訓練、微調和部署，協助使用者輕鬆優化效能並降低成本，從而讓他們能更快地將生成式AI應用程式應用至生產環境中。如欲了解更多AWS生成式AI的相關資訊，請瀏覽此連結。

協助行業先行者加快實踐不同業務可能性

設計和開發體驗管理軟件公司Qualtrics核心機器學習負責人Aaron Colak表示：「Qualtrics致力借助科技創新提升用戶體驗。為了實現這一目標，我們正在開發複雜的多工、多模態的深度學習模型，包括文本分類、序列標記、論述分析、關鍵短語擷取、主題擷取、聚類以及端到端對話理解等。隨著我們在更多應用程式中使用這些複雜的模型，以及非結構化數據量不斷增長，為了提供客戶最佳的體驗，我們需要效能更高的推理優化解決方案，如Inf2執行個體來滿足我們的需要。我們很高興看到新一代Inf2執行個體的推出，它不僅讓我們實現更高的傳輸量，同時亦顯著降低延遲，而且支援分散式推理和更強大的動態形狀輸入等功能。隨著我們部署更大、更複雜的模型，這些新特點和功能將進一步滿足我們對任何部署的更高要求。」

Hashtag: #AWS

發佈者對本公告的內容承擔全部責任

關於Amazon Web Services

自2006年來，Amazon Web Services一直在提供世界上服務最豐富、應用廣泛的雲端服務。AWS為客戶提供超過200種功能全面的雲端服務，包括運算、儲存、數據庫、網絡、分析、機器學習與人工智能、物聯網、流動、安全、混合雲、虛擬和擴增實境(VR 和AR)、媒體，以及應用開發、部署和管理等方面，遍及31個地理區域內的99個可用區域(Availability Zones)，並已公佈計畫在加拿大、以色列、馬來西亞、紐西蘭和泰國建立5個AWS地理區域、15個可用區域。AWS的服務獲得全球超過百萬客戶的信任，包括發展迅速的初創公司、大型企業和政府機構。通過AWS的服務，客戶能夠有效強化自身基礎設施，提高營運上的彈性與應變能力，同時降低成本。欲了解更多有關AWS的資訊，請瀏覽： aws.amazon.com。