原標題:生成式AI迎來搜索技術變革,亞馬遜云科技更新向量引擎適用,簡化運營
一場關于生產(chǎn)力的革命已在醞釀之中。全球管理咨詢公司麥肯錫在最近的報告《生成式人工智能的經(jīng)濟潛力:下一波生產(chǎn)力浪潮》中指出,生成式AI每年可能為全球經(jīng)濟增加2.6萬億到4.4萬億美元的價值。在幾天前的亞馬遜云科技紐約峰會中,「生成式AI」同樣是全場提及頻率最高的關鍵詞。
「如今,大模型可以在大量無標注數(shù)據(jù)中進行預訓練,實現(xiàn)開箱即用,以處理各種通用性問題。此外,只需相對少量的標注數(shù)據(jù)進行微調(diào),它們就能用于特定領域的應用!箒嗰R遜云科技數(shù)據(jù)庫、數(shù)據(jù)分析和機器學習全球副總裁Swami Sivasubramanian表示,「通過微調(diào)輕松定制預訓練模型的能力,絕對是游戲規(guī)則的改變!
憑借過去數(shù)年的客戶需求洞察和技術積累,亞馬遜云科技將大量的AI能力集成到了簡單易用的產(chǎn)品之中,希望以最簡潔的方式將技術進步輸送到各行各業(yè)。在這場技術盛會上,亞馬遜云科技一口氣推出了七項生成式AI新功能。
最強的生成式AI大模型,在這里輕松調(diào)用
今年4月,亞馬遜云科技發(fā)布了全托管基礎模型服務「Amazon Bedrock」,以「關鍵基礎設施提供商」的角色加入了大模型之戰(zhàn)。
從希望應用大模型的企業(yè)角度來說,自研大模型需要數(shù)十億美元和多年的訓練,更優(yōu)的解決方案是對一些已經(jīng)非常強大的開源基礎模型進行定制化的微調(diào),以滿足自身的多樣化業(yè)務需求。Amazon Bedrock的重要價值就在于此。這項服務可以讓所有人都可以基于已有的大模型、專用的AI算力和工具,再結合自己的數(shù)據(jù)開始構建生成式AI應用。
在最新擴展后的Amazon Bedrock中,匯聚了來自一批頂級大模型供應商的最新成果:
目前,Amazon Bedrock提供了Anthropic最新語言模型Claude 2、AI21的JURASSIC-2、亞馬遜自研的Amazon Titan系列模型的訪問。Stability AI也在Amazon Bedrock中首發(fā)了最新版的文生圖模型套件Stable Diffusion XL 1.0。此外,Cohere成為了最新加入Amazon Bedrock的基礎模型供應商,并帶來了文本生成模型Command和文本理解模型EMBED。
相比于其他的一站式的大模型服務平臺,Amazon Bedrock的優(yōu)勢在于,用戶可將其與亞馬遜云科技平臺的其余部分集成在一起,更輕松地訪問存儲在Amazon S3對象存儲服務中的數(shù)據(jù),并能夠從亞馬遜云科技訪問控制和治理策略中受益。
生成式AI讓云計算服務的競爭格局發(fā)生了改變,除了原有的存儲、計算、網(wǎng)絡等基礎設施,模型、框架和應用層面的能力提供變得更為重要。在過去一段時間,我們見到了「模型即服務」這種全新商業(yè)的誕生。如同Amazon Bedrock這樣的一系列平臺,正在將大模型變?yōu)橹苯涌捎玫姆⻊,幫助各行各業(yè)的用戶接入生成式AI,撬動了一個全新的藍海市場。
推動生成式AI走完落地的「最后一公里」
在今天,即使生成式AI模型的功能已經(jīng)如此強大,它們?nèi)匀粺o法代替人類「執(zhí)行」一部分關鍵的、個性化的任務。這恰恰是「生成式AI」轉化為「生產(chǎn)力」過程中非常關鍵的一步。
問題并非不能解決:模型通?梢愿郊覣PI、插件、數(shù)據(jù)庫以擴展功能,為用戶自動完成某些特定的任務。比如ChatGPT此前就推出了插件機制,還為開發(fā)者提供了開放平臺,允許更多用戶根據(jù)自己的需求、想法和專業(yè)能力進行擴展。為了簡化這一環(huán)節(jié)所需的工作,亞馬遜云科技正式推出了Amazon Bedrock Agents。
Amazon Bedrock Agents可以擴展基礎模型以理解用戶請求,將復雜任務分解為多個步驟,開展對話以收集更多信息,并采取行動來滿足用戶請求。開發(fā)者只需點擊幾下,就能創(chuàng)建完全托管的Agents:
該功能創(chuàng)建的對話式智能體可根據(jù)專有數(shù)據(jù)提供個性化的最新答案并執(zhí)行操作,幫助企業(yè)加速交付生成式AI應用程序,推動解決生成式AI落地的「最后一公里」問題。比如,企業(yè)可以使用Amazon Bedrock Agents創(chuàng)建一個可以處理訂單的客戶服務聊天機器人,利用其內(nèi)部信息(包括客戶資料和退貨政策)來定制化服務于每個訂單。
如果做個比喻的話,Amazon Bedrock Agents就像是一個得力的助手;蛟S在不久的將來,我們就能享受這一功能所提供的用戶端服務:不只是顯示有哪些合適的航班、推薦口碑好的餐廳,還能直接幫忙預訂、跟進。
生成式AI時代的搜索技術變革
在解決大模型落地挑戰(zhàn)的火熱討論中,「向量搜索」和「向量數(shù)據(jù)庫」的概念開始被越來越多的人熟知。這是檢索技術層面在生成式AI時代正在發(fā)生的變革。
首先,伴隨數(shù)據(jù)規(guī)模的增長,關鍵詞檢索已經(jīng)不能滿足需求,向量檢索可作對傳統(tǒng)搜索技術的補充。通過將數(shù)據(jù)表示為向量,模型可以快速分析和理解大量信息,準確地識別和匹配相似的項目。
其次,經(jīng)過預訓練的大模型固然能力出眾,但也存在一些不足,比如缺乏領域知識、缺乏長期記憶、缺乏事實一致性的問題。而在數(shù)據(jù)規(guī)模不斷增長、算力日益珍貴的現(xiàn)狀下,向量數(shù)據(jù)庫可作為大模型的「超級大腦」,打一份小抄,相對較低的成本補充動態(tài)知識,滿足用戶不斷增長的需求。
對于這一方向,亞馬遜云科技早早發(fā)力,此前已上線多項支持向量的數(shù)據(jù)存儲服務,包括Amazon Aurora PostgreSQL兼容版關系型數(shù)據(jù)庫,兼容PostgreSQL的Amazon RDS(Amazon Relational Database Service)關系型數(shù)據(jù)庫等。
在這一次的峰會上,亞馬遜云科技又推出了適用于Amazon OpenSearch Serverless的向量引擎。該向量引擎支持簡單的API調(diào)用,可用于存儲和查詢數(shù)十億個Embeddings。
該引擎由Amazon OpenSearch項目中的k最近鄰(kNN)搜索功能提供支持,為客戶提供無服務器環(huán)境下的語義搜索服務。即使向量從原型設計期間的幾千個增長到數(shù)億甚至更多,引擎也能無縫擴展,無需重新索引或重新加載數(shù)據(jù)來擴展基礎設施。
順應大模型時代的廣泛需求,亞馬遜云科技還正式宣布,平臺上所有的數(shù)據(jù)庫未來都將具有向量功能,幫助客戶簡化運營,方便集成數(shù)據(jù)。
讓生成式AI落地多重加速
在這些重磅發(fā)布之外,為了加速生成式AI的訓練和應用,亞馬遜云科技已推出了一系列服務和工具。
最新動態(tài)是,兩項關鍵服務已正式可用:其中一項服務是關于計算基礎設施,基于英偉達H100 Tensor Core GPU的Amazon EC2 P5實例已正式可用,滿足客戶在運行工作負載時對高性能和高擴展性的需求。
很多業(yè)界知名的生成式AI模型同時涵蓋問題回復、代碼生成、視頻和圖像生成、語音識別等功能,規(guī)模通常有千億或萬億參數(shù),訓練時間甚至長達數(shù)月。這勢必會成為普遍影響生成式AI落地速度的因素之一。
與上一代基于GPU的實例相比,Amazon EC2 P5實例使得訓練最高提速6倍,曾經(jīng)的幾天訓練時間可縮短到幾小時,幫助客戶降低高達40%的訓練成本。
另外一項服務是有關于開發(fā)工具。去年,亞馬遜云科技推出了AI編程助手Amazon CodeWhisperer預覽版,獲得了開發(fā)者的高度關注。數(shù)據(jù)表明,與未使用該編程助手的開發(fā)者相比,使用者完成任務的速度平均快57%。現(xiàn)在,Amazon CodeWhisperer已經(jīng)正式可用,并且實現(xiàn)了與Amazon Glue的集成。
從此以后,開發(fā)者可以用自然語言編寫特定任務,Amazon CodeWhispere會直接在Amazon Glue Notebooks中推薦一個或多個可完成此任務的代碼片段,用戶可以選擇「接受最推薦的建議」、「查看更多建議」或「繼續(xù)自己編寫代碼」。也就是說,即使完全不會寫代碼,你也可以嘗試用「說人話」的方法構建出完整的應用程序。
寫在最后
技術的發(fā)展往往超乎人們的預設。曾幾何時,研究者們還需要花費數(shù)月的時間進行數(shù)據(jù)準備、數(shù)據(jù)處理和模型訓練,不得不投入極其高昂的成本,只為了完成某一項特定的任務。
在這場浪潮中,亞馬遜云科技選擇的路線是做好「關鍵基礎設施提供商」的工作。它的優(yōu)勢在于過去20年在人工智能技術上的深厚積累,在于對于超過10萬家客戶的深刻理解,在于打磨多年的高可用、強大的基礎設施。這些都會有力地推動亞馬遜云科技加快生成式AI落地的征程,幫助到每一位開發(fā)者或創(chuàng)業(yè)團隊。
投稿郵箱:chuanbeiol@163.com 詳情請訪問川北在線:http://m.fishbao.com.cn/