download BusinessFocus app
AWS強大雲端運算力 突破生成式AI發展瓶頸

AWS強大雲端運算力 突破生成式AI發展瓶頸

Market Information Media OutReach
By Media OutReach on 17 Mar 2023
Media OutReach is the first full-service newswire company in Asia Pacific offering a totally integrated service of press release distribution and media monitoring with analysis service for the public relations and investors relations communities. Founded in 2009, the company is headquartered in Hong Kong with office in Singapore.

以簡易且經濟實惠的AI/ML工作負載,協助企業高效創新、大幅節省成本及重塑業務可能性

香港 - Media OutReach - 2023年3月17日 - Amazon Web Services(AWS)長期深耕生成式人工智能(Generative Artificial Intelligence)領域,擁有成熟的生成式AI創新技術與專屬的行業解決方案,不僅為客戶提供經廣泛驗證且易於部署的先進AI預先訓練模型,並透過豐富且高成本效益的雲端資源以降低所需成本,協助遊戲、電商、影視、廣告、傳媒等行業快速開發生成式AI的應用程式,大幅提高生產力。AWS香港日前舉辦「AI/ML人工智能與機器學習Web Day」,吸引超過近2000名科技愛好者參與。會上,AWS技術專家分享和展示最熱門的AI和機器學習關鍵技術,如生成式AI、大型語言模型(LLM)、低程式碼/無程式碼開發(Low Code/No Code)等科技趨勢,協助香港企業把握人工智能所帶來的商機。

AWS台灣暨香港產品部總監翁宇強表示,「從AI技術發展來看,生成式AI開啟了一次模式轉變(Paradigm Shift)。大模型、多模態、高產能和海量數據將主導新一輪科技商業模式的發展,為內容創作、市場營銷、遊戲等行業帶來顛覆性創新。AWS廣泛而深入的生成式AI專屬解決方案,以最先進的效能、更高的成本效益和更全面的服務支援各行各業,協助各種規模的企業擁抱生成式AI的浪潮。」

降低成本,讓生成式AI觸手可及

目前生成式AI模型除了能生成大眾熟知的文本和圖片外,亦能生成音訊和影片內容,未來亦將出現越來越多不同種類的生成內容。對企業而言,針對特定場景所建立的模型在成本效益和準確度方面都更具優勢,因此亦是目前企業主要採用的模型。晶片效能和高品質訓練是生成式AI發展的基礎,也是實現大規模發展的瓶頸。以往模型的參數量級可能僅是千級或百萬級,但現今擁有十億百億級參數的模型比比皆是,下一代模型甚至很有可能會朝著萬億級參數級別發展。因此,降低大規模模型的成本至關重要。

然而,即使機器學習的晶片效能約每兩年就會有一倍或數倍的提升,仍然不足以跟上日趨複雜的訓練模型。替代的解決辦法就是利用分散式多處理器,透過一個網絡進行協同運算、協同訓練。AWS專為雲端上高效能模型訓練而開發的Amazon EC2 Trn1執行個體,最多可以搭載16顆專門用於機器學習訓練的Trainium晶片、512GB加速器記憶體和800GBps的網絡頻寬。

Trn1為擁有高成本效益的深度學習執行個體,相比基於GPU的類似執行個體,訓練成本大幅降低50%。以一個具備萬億級參數的大模型進行兩周訓練為例,GPU伺服器P3dn需要600個執行個體,最新一代GPU執行個體P4d需要128個執行個體,而Trn1僅需使用96個執行個體便能執行相同訓練。

AWS在2022 AWS re:Invent全球大會上推出一款建基於Trn1的網絡優化型執行個體Trn1n,進一步增加網絡頻寬一倍,從800GBps躍升到1600GBps,其強大的網絡傳輸能力能夠將超過1萬個Trainium晶片建構在一個超大規模叢集裡,並在叢集中進行模型的並行訓練。

除了訓練外,大模型也需要超高的推論能力。因此,AWS建構了Inf1執行個體,由自行研發的推論晶片Inferentia所支援,有效實現低延遲、低成本的推論。與GPU的執行個體相比,Inf1執行個體每次執行推論的成本大幅降低70%。

在去年AWS re:Invent全球大會上,AWS同時推出新一代自研推論晶片Inferentia2,以及建基於該晶片的Inf2執行個體,成為唯一一個專為大型Transformer模型分散式推論建立的執行個體。與Inf1執行個體相比,Inf2提供高達4倍的輸送量,降低多達10倍的延遲;與建基於GPU的執行個體相比,每瓦效能提升高達45%,同時也支援諸如GPT類型的大型複雜模型,並且可以用單執行個體實現1750億參數模型的推論。

此外,AWS日前宣布與AI科技公司Hugging Face加強合作,以加速對大型語言模型和視覺模型的訓練、微調和部署,協助使用者輕鬆優化效能並降低成本,從而讓他們能更快地將生成式AI應用程式應用至生產環境中。如欲了解更多AWS生成式AI的相關資訊,請瀏覽此連結

協助行業先行者加快實踐不同業務可能性

設計和開發體驗管理軟件公司Qualtrics核心機器學習負責人Aaron Colak表示:「Qualtrics致力借助科技創新提升用戶體驗。為了實現這一目標,我們正在開發複雜的多工、多模態的深度學習模型,包括文本分類、序列標記、論述分析、關鍵短語擷取、主題擷取、聚類以及端到端對話理解等。隨著我們在更多應用程式中使用這些複雜的模型,以及非結構化數據量不斷增長,為了提供客戶最佳的體驗,我們需要效能更高的推理優化解決方案,如Inf2執行個體來滿足我們的需要。我們很高興看到新一代Inf2執行個體的推出,它不僅讓我們實現更高的傳輸量,同時亦顯著降低延遲,而且支援分散式推理和更強大的動態形狀輸入等功能。隨著我們部署更大、更複雜的模型,這些新特點和功能將進一步滿足我們對任何部署的更高要求。」

Hashtag: #AWS

發佈者對本公告的內容承擔全部責任

關於Amazon Web Services

自2006年來,Amazon Web Services一直在提供世界上服務最豐富、應用廣泛的雲端服務。AWS為客戶提供超過200種功能全面的雲端服務,包括運算、儲存、數據庫、網絡、分析、機器學習與人工智能、物聯網、流動、安全、混合雲、虛擬和擴增實境(VR 和AR)、媒體,以及應用開發、部署和管理等方面,遍及31個地理區域內的99個可用區域(Availability Zones),並已公佈計畫在加拿大、以色列、馬來西亞、紐西蘭和泰國建立5個AWS地理區域、15個可用區域。AWS的服務獲得全球超過百萬客戶的信任,包括發展迅速的初創公司、大型企業和政府機構。通過AWS的服務,客戶能夠有效強化自身基礎設施,提高營運上的彈性與應變能力,同時降低成本。欲了解更多有關AWS的資訊,請瀏覽:

【了解更多最快最新的財經、商業及創科資訊】

👉🏻 追蹤 WhatsApp 頻道 BusinessFocus

👉🏻 下載 BusinessFocus APP

👉🏻 立即Follow Instagram businessfocus.io

最新 金融投資熱話專頁 MarketFocus