對話騰訊云羅云:AI Native 的向量數(shù)據(jù)庫迎來窗口期,未來會出現(xiàn)“ 1+N ”的新模式
作者 | 吳思瑾、王與桐
【資料圖】
自從 AI 大模型時(shí)代轟轟烈烈到來,沉寂多年的向量數(shù)據(jù)庫再度獲得市場和資本的關(guān)注。
向量數(shù)據(jù)庫通過把數(shù)據(jù)向量化然后進(jìn)行存儲和查詢,能解決大模型預(yù)訓(xùn)練成本高、沒有 " 長期記憶 "、知識更新不足、提示詞工程復(fù)雜等問題,突破大模型在時(shí)間和空間上的限制,加速大模型落地行業(yè)場景。
36 氪也在近期對向量數(shù)據(jù)庫領(lǐng)域進(jìn)行過梳理。
向量數(shù)據(jù)庫 Mapping 速覽 -36 氪整理不難發(fā)現(xiàn),這些全球知名的數(shù)據(jù)庫中,既有創(chuàng)業(yè)公司,也有大廠的產(chǎn)品。在國內(nèi),騰訊走在了大廠前列。8 月 1 日,騰訊云向量數(shù)據(jù)庫(Tencent Cloud VectorDB)正式上線公測。騰訊云數(shù)據(jù)庫表示,該數(shù)據(jù)庫不僅能為大模型提供外部知識庫,提高大模型回答的準(zhǔn)確性,還可廣泛應(yīng)用于推薦系統(tǒng)、文本圖像檢索、自然語言處理等 AI 領(lǐng)域。騰訊云向量數(shù)據(jù)庫是國內(nèi)首個(gè)從接入層、計(jì)算層、到存儲層提供全生命周期 AI 化的向量數(shù)據(jù)庫。
來源:騰訊在產(chǎn)品公測當(dāng)天,36 氪對話了騰訊云數(shù)據(jù)庫副總經(jīng)理羅云,從向量數(shù)據(jù)庫行業(yè)發(fā)展、海內(nèi)外競爭格局、技術(shù)和商業(yè)路線選擇等角度,進(jìn)行了探討。
以下為對話全文,經(jīng) 36 氪編輯整理,Enjoy:
01 談行業(yè)發(fā)展:全球向量數(shù)據(jù)庫的發(fā)展,都與 AI 所處階段密不可分
36 氪:騰訊云在 2019 年開始孵化向量數(shù)據(jù)庫,當(dāng)時(shí)行業(yè)里對向量數(shù)據(jù)庫的看法是什么,為什么你們會選擇在這個(gè)時(shí)間點(diǎn)做這件事?
羅云:向量數(shù)據(jù)庫的發(fā)展不是一蹴而就的,它有個(gè)孕育過程。
早在 2012 年時(shí),深度神經(jīng)網(wǎng)絡(luò)的發(fā)展日益成熟,包括騰訊集團(tuán)在內(nèi)的從業(yè)者開始發(fā)現(xiàn)萬事萬物都可以用向量來表達(dá);
到了 2015 年至 2016 年間,Google 和微軟開始發(fā)布一些標(biāo)志性的 paper;
隨著 2017 年 Facebook 開源了他們的 Faiss 框架,這成為向量數(shù)據(jù)庫的里程碑事件之一;
2019 年,市面上開始陸續(xù)出現(xiàn)一些獨(dú)立的向量數(shù)據(jù)庫和基于 Faiss 發(fā)展起來的向量數(shù)據(jù)庫,騰訊云也是這時(shí)候開始入場;
到了 2022 年底,ChatGPT 突然火爆,原來狹義的人工智能開始受到各行各業(yè)關(guān)注;
2023 年,大家開始思考自己所在的行業(yè)是否有 AI Native 的機(jī)會——基于 AI 重構(gòu)現(xiàn)有的應(yīng)用。
因?yàn)橄蛄繑?shù)據(jù)庫可以處理非結(jié)構(gòu)化數(shù)據(jù),正好迎合了當(dāng)下 AI 時(shí)代的發(fā)展需求,于是一波又一波的熱錢就開始進(jìn)來。騰訊云則是將過去 4 年中積累的向量數(shù)據(jù)庫底座搬至云上進(jìn)行售賣。
8 月 1 日,騰訊云向量數(shù)據(jù)庫正式開啟公測。
36 氪:從 2019 年至今,不少投資人曾對向量數(shù)據(jù)庫表示 " 看不準(zhǔn)、不太理解 ",您認(rèn)為他們的疑惑在哪,現(xiàn)在有變化嗎?
羅云:早年的向量數(shù)據(jù)庫使用場景受限,因此營收天花板并不高。
隨著 2023 年 ChatGPT 的火爆,大家都看到了 AGI 希望的曙光。作為 AI 的基礎(chǔ)設(shè)施之一,向量數(shù)據(jù)庫覆蓋面就大了很多,天花板也隨之提高。
這從今年 3-4 月份海外向量數(shù)據(jù)庫的融資情況就可見一斑——投資熱度升溫明顯——其實(shí)并不是說向量數(shù)據(jù)庫本身發(fā)生了多大變化,而是時(shí)代背景發(fā)生了變化。
36 氪:在 2019 年熱鬧一陣后,向量數(shù)據(jù)庫似乎進(jìn)入了不溫不火的階段。在過去四年里,行業(yè)里出現(xiàn)過哪些關(guān)于向量數(shù)據(jù)庫的質(zhì)疑聲?
羅云:質(zhì)疑聲主要集中在是否有必要存在獨(dú)立的向量數(shù)據(jù)庫。
過去幾年,向量數(shù)據(jù)庫主要服務(wù)于 " 搜廣推 " 三大領(lǐng)域,現(xiàn)在隨著 AI 的普及和發(fā)展,向量數(shù)據(jù)庫也開始向各行各業(yè)輻射,慢慢的原來用于離線型分析場景的數(shù)據(jù)庫,開始向線上轉(zhuǎn)變,與 C 端流量的關(guān)聯(lián)性也更強(qiáng)。
向量數(shù)據(jù)庫的計(jì)算特點(diǎn)是非常消耗 CPU 的計(jì)算內(nèi)存;如果將向量數(shù)據(jù)庫的工作負(fù)載單獨(dú)出來,會更利于后期的單獨(dú)擴(kuò)容和成本管理。
現(xiàn)在越來越多的業(yè)內(nèi)人士開始發(fā)現(xiàn),此前在傳統(tǒng)數(shù)據(jù)庫上增加插件式的向量檢索引擎很難解決向量計(jì)算對 CPU 擴(kuò)展能力的要求。
待未來 AI 發(fā)展成熟之后,我個(gè)人的判斷是企業(yè)會出現(xiàn) "1+N" 的數(shù)據(jù)庫模式,"1" 是向量數(shù)據(jù)庫,用來托管企業(yè)對于向量的計(jì)算和檢索需求,"N" 是企業(yè)原有的各類數(shù)據(jù)庫,這對企業(yè)在成本管理和人才招聘等方面都是相對最優(yōu)選。
36 氪:今年 3、4 月份海外很多數(shù)據(jù)庫廠商獲得了比較大額的融資,也因此國內(nèi)資本對這一領(lǐng)域關(guān)注度加深。為什么向量數(shù)據(jù)庫的投資熱度是自外而內(nèi)?海內(nèi)外的 AI Native 環(huán)境有哪些不同?
羅云:向量數(shù)據(jù)庫是隨著大模型起來的,海外的大模型發(fā)展得比國內(nèi)早,所以投資熱度是由外及內(nèi)的。
至于海內(nèi)外的市場環(huán)境有哪些不同,我自己的看法是要需要換一個(gè)角度來看這個(gè)問題——海內(nèi)外云計(jì)算所處的階段不同。
向量數(shù)據(jù)庫也好,傳統(tǒng)數(shù)據(jù)庫也好,都是開發(fā)者應(yīng)用的重要一環(huán),是剛需的產(chǎn)品,但客觀來說海外獨(dú)立數(shù)據(jù)庫廠商的經(jīng)營情況好于國內(nèi),這也是海內(nèi)外云計(jì)算所處階段不同的一種表現(xiàn)。
目前國內(nèi)的云計(jì)算還處于企業(yè)主正在將業(yè)務(wù)從非云環(huán)境搬上云的階段。在中國的文化和企業(yè)背景下,CEO、CTO 們在選型數(shù)據(jù)庫產(chǎn)品時(shí),更看重?cái)?shù)據(jù)的隱私性、安全性、服務(wù)的可持續(xù)性和數(shù)據(jù)的兜底能力。因此他們希望能由一家云計(jì)算廠商配置好包括計(jì)算、存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫在內(nèi)的所有組件,所以當(dāng)企業(yè)完成上云之后,就很難會考慮再選購其他廠商的數(shù)據(jù)庫產(chǎn)品。這是國內(nèi)遇到的主要挑戰(zhàn)。
海外市場更偏技術(shù)本位,如果獨(dú)立的向量數(shù)據(jù)庫產(chǎn)品技術(shù)更好,企業(yè)主的嘗試意愿就會很強(qiáng),他們會選擇和云廠商提供的配套服務(wù)結(jié)合起來使用。
36 氪:這種差異導(dǎo)致向量數(shù)據(jù)庫在市場推廣過程中會面臨哪些挑戰(zhàn)?
羅云:從騰訊云的角度來說,我們還蠻慶幸的,俗話說機(jī)會往往留給有準(zhǔn)備的人,我們恰好就是這樣。
騰訊云從 2019 年起就開始積累向量數(shù)據(jù)庫的經(jīng)驗(yàn),現(xiàn)在是把過往積累的經(jīng)驗(yàn)產(chǎn)品化和變現(xiàn);此外,騰訊云本身的服務(wù)體系,包括售前、售后和尾保類服務(wù)都已經(jīng)形成了一些口碑,所以整體來說我們還蠻有信心的。
36 氪:向量數(shù)據(jù)庫的使用成本和傳統(tǒng)數(shù)據(jù)庫相比有何不同?
羅云:現(xiàn)在行業(yè)中的向量數(shù)據(jù)庫分性能型和存儲型。
以性能型為例,單 QPS 每月約一元錢左右,與常規(guī)的 MySQL 數(shù)據(jù)庫相比,這個(gè)成本高了一兩個(gè)數(shù)量級。也就是說,向量數(shù)據(jù)庫服務(wù)一個(gè) C 端用戶一次查詢的成本會貴很多。
騰訊云向量數(shù)據(jù)庫希望給用戶和傳統(tǒng)數(shù)據(jù)庫類似的付費(fèi)體驗(yàn),因此選擇了和對方類似的付費(fèi)模式——預(yù)購資源,這是第一步。
第二步是隨著 AI 的成熟,騰訊云向量數(shù)據(jù)庫也將集合更多的 AI 能力或者 AI 領(lǐng)域的上下游生態(tài)能力。比如客戶現(xiàn)在要處理一段大的 pdf 或 doc,它需要先做分段,之后再進(jìn)行數(shù)據(jù)的向量化,騰訊云團(tuán)隊(duì)希望能將 AI native 的能力集成進(jìn)向量數(shù)據(jù)庫,當(dāng)有了這部分能力后,我們會在數(shù)據(jù)庫中售賣相關(guān)的 GPU 資源,客戶也可以買固定的 GPU 資源,有了這些資源,客戶就可以比較方便地一站式完成之前它在外部買 GPU 做分段的事情。
所以未來我們的付費(fèi)模式會偏向于計(jì)算、預(yù)購加存儲節(jié)點(diǎn),后面還會在產(chǎn)品形態(tài)中增加一些 GPU 的售賣能力。
36 氪:在您看來,下一步向量數(shù)據(jù)庫行業(yè)的發(fā)展趨勢和競爭格局會怎樣?
羅云:向量數(shù)據(jù)庫的發(fā)展可能會分三個(gè)階段。
階段一是向量數(shù)據(jù)庫滿足基本的使用功能,包括技術(shù)指標(biāo)、功能算法、檢索時(shí)延達(dá)到標(biāo)準(zhǔn)、滿足高可用標(biāo)準(zhǔn),SDK、API 以向量數(shù)據(jù)庫的方式來設(shè)計(jì)。
階段二是當(dāng)業(yè)務(wù)量上來之后,企業(yè)會更關(guān)注單 QPS 成本,也就是說每次 C 端調(diào)用可能會消耗的數(shù)據(jù)庫資源大小,由于其與企業(yè)成本密切相關(guān),會直接影響客戶選型,所以是下一步向量數(shù)據(jù)庫各廠商之間重點(diǎn)比拼的地方。
階段三是當(dāng)客戶已經(jīng)用起來之后,大家會開始關(guān)注其研發(fā)效能的提升,也就是之前提到的 AI native 化;向量數(shù)據(jù)庫是否可以與 AI 的算法和計(jì)算能力相結(jié)合,讓企業(yè)主或開發(fā)者盡可能投入最少的資源在數(shù)據(jù)庫中。
在這三個(gè)階段中,大概會分成兩派,一是獨(dú)立的向量數(shù)據(jù)庫公司;二是插件式的向量數(shù)據(jù)庫工具。
在階段一時(shí),大家都可以滿足向量數(shù)據(jù)庫的功能性;當(dāng)階段二要去追求單 QPS 成本時(shí),插件式的向量數(shù)據(jù)庫工具會面臨更多的挑戰(zhàn);所以我個(gè)人會比較堅(jiān)定的看好獨(dú)立向量數(shù)據(jù)庫的未來,如果要把一個(gè)事情做得足夠好,投入專門的人力物力是非常有必要的;在階段三,獨(dú)立的向量數(shù)據(jù)庫會需要一些 AI 能力的加持,這時(shí)會考驗(yàn)各家廠商在 AI 能力上的積累和原有業(yè)務(wù)對向量數(shù)據(jù)庫補(bǔ)充的能力,最終形成競爭差異化。
02 談國內(nèi)格局:向量數(shù)據(jù)庫會成為云廠商的增量業(yè)務(wù),存在窗口期
36 氪:當(dāng)下國內(nèi)向量數(shù)據(jù)庫行業(yè)的競爭格局是怎樣的?
羅云:目前通信院正在制定向量數(shù)據(jù)庫的團(tuán)體標(biāo)準(zhǔn),我在一次偶然的機(jī)會上了解到可能不少國內(nèi)知名大廠和早期創(chuàng)業(yè)公司都已經(jīng)開始關(guān)注或正在開發(fā)相關(guān)產(chǎn)品,總數(shù)約三四十家左右。
在現(xiàn)有的解決方案中,部分團(tuán)隊(duì)是在現(xiàn)有傳統(tǒng)數(shù)據(jù)庫基礎(chǔ)上疊加向量的能力,但是慢慢的大家也發(fā)現(xiàn)這部分能力如果工作負(fù)載越來越高,投入也就越來越大,所以大家都在摸索向量數(shù)據(jù)庫的下一步技術(shù)發(fā)展方向。
36 氪:目前的市場環(huán)境,對于國內(nèi)云廠商來說,會帶來改變現(xiàn)有競爭格局的機(jī)會嗎?
羅云:數(shù)據(jù)庫產(chǎn)品本身是很難脫離云服務(wù)來單獨(dú)售賣的。正常來說,一家企業(yè)想要做遷移,把整體或部分搬站至某一個(gè)云廠商的情況是存在的。但向量數(shù)據(jù)庫這塊會有一點(diǎn)差別,向量數(shù)據(jù)庫更多的是一個(gè)增量的生意。雖然國內(nèi)的云計(jì)算廠商都在提云計(jì)算已經(jīng)進(jìn)入一個(gè)更加激烈的競爭階段,大家都在爭搶彼此的市場份額,但向量數(shù)據(jù)庫往往對應(yīng)的是新業(yè)務(wù),所以只要我們給企業(yè)主提供足夠好的產(chǎn)品、數(shù)據(jù)背書和大廠背書,當(dāng)企業(yè)在騰訊云上架設(shè)起新業(yè)務(wù),后續(xù)的遷移和搬站成本就會相對較低,所以向量數(shù)據(jù)庫相比其他的數(shù)據(jù)庫產(chǎn)品具備一定的時(shí)間優(yōu)勢。當(dāng)向量數(shù)據(jù)庫行業(yè)發(fā)展成熟后,就又變成了存量生意。
36 氪:這個(gè)窗口期是多久?
羅云:從現(xiàn)在的情況來看可能是在未來一到兩個(gè)季度內(nèi),但隨著下半年 GPU 等資源到位和行業(yè)大模型逐漸成熟,窗口期會變短。
36 氪:在技術(shù)、資金和客戶資源上云計(jì)算廠商確實(shí)有明顯優(yōu)勢,如果窗口期這么短,那假如現(xiàn)在還有創(chuàng)業(yè)公司想要入局開發(fā)獨(dú)立的向量數(shù)據(jù)庫,是否就沒有什么機(jī)會了?
羅云:一些線下的私有云廠商可能在某一些垂直行業(yè)有自己的服務(wù)、口碑積累,細(xì)分市場的向量數(shù)據(jù)庫是很好的方向;此外,新創(chuàng)業(yè)公司從 day1 開始就面向全球化市場也是不錯(cuò)的選擇。
創(chuàng)業(yè)公司也面臨諸多挑戰(zhàn):首先是產(chǎn)品大規(guī)模運(yùn)營的穩(wěn)定性;其次是其本身資質(zhì)對于數(shù)據(jù)隱私背書的挑戰(zhàn)性,舉例來說,可能會有企業(yè)主擔(dān)憂他們現(xiàn)在在有融資的情況下做的挺好,但后續(xù)萬一沒融資進(jìn)來就會經(jīng)營困難波及企業(yè)自身。
36 氪:您如何衡量國內(nèi)向量數(shù)據(jù)庫的市場規(guī)模?
羅云:目前向量數(shù)據(jù)庫行業(yè)還處于圍繞各行各業(yè) AI Native 化的早期發(fā)展階段,可見的收入規(guī)模并不大。
著眼未來,我有兩個(gè)角度的預(yù)估。
一是宏觀角度的數(shù)據(jù)規(guī)模,向量數(shù)據(jù)庫面向的是非結(jié)構(gòu)化數(shù)據(jù),它包含了音頻、視頻、圖片和人類自然語言文本;有數(shù)據(jù)顯示,非結(jié)構(gòu)化數(shù)據(jù)占企業(yè)生成的新數(shù)據(jù)比例達(dá) 80%,未來每個(gè)應(yīng)用都基于向量數(shù)據(jù)庫和 AI 進(jìn)行研發(fā)體系重構(gòu)的話,它會成為數(shù)據(jù)庫領(lǐng)域里 top 級的產(chǎn)品類型,如果類比傳統(tǒng)數(shù)據(jù)庫的話,向量數(shù)據(jù)庫的市場規(guī)模上限可能會接近當(dāng)下主流數(shù)據(jù)庫 MySQL。
二是我們接觸的客戶的微觀層面,通過預(yù)估對方的向量數(shù)據(jù)庫的成本,我們發(fā)現(xiàn)其一個(gè)月的成本規(guī)模約等于 NoSQL 中頭部數(shù)據(jù)庫 Redis 的收入規(guī)模,所以我認(rèn)為向量數(shù)據(jù)庫在不久的將來就會達(dá)到 NoSQL 中頭部數(shù)據(jù)庫的收入規(guī)模。
03 談路線選擇:從 " 搜廣推 ",走向各行各業(yè)
36 氪:向量數(shù)據(jù)庫分開源和閉源,兩者的發(fā)展路徑和商業(yè)化路徑都不太相同,您認(rèn)為哪種更容易獲得成功?
羅云:從以終為始的角度來看,不管是開源產(chǎn)品還是閉源產(chǎn)品,最終目的都是要商業(yè)化,開源或閉源只是商業(yè)化過程中觸達(dá)目標(biāo)用戶的路徑。
以開源的廠商為例,他們通過 github 等平臺向目標(biāo)用戶傳達(dá)產(chǎn)品的技術(shù)成熟度,通過技術(shù)的極客精神吸引開源開發(fā)者過來。海外的閉源企業(yè)代表,它和 OpenAI 走得很近,在 AI 領(lǐng)域里面也有很深的洞察,在它的站點(diǎn)上面有非常多 AI 行業(yè)的資料,AI 開發(fā)者不僅能在其平臺學(xué)習(xí)向量知識,還能學(xué)習(xí)到其他 AI 知識。從他倆的路徑可以看出,大家只是選擇了自己擅長冷啟動(dòng)的觸達(dá)用戶的方式。
一開始選擇開源或閉源與企業(yè)創(chuàng)始人的背景和所輻射的資源有關(guān),與商業(yè)化成功與否無直接關(guān)系。
以騰訊云為例,我們有很成熟的銷售體系,過往也積累了非常多的客戶資源,所以只要做好產(chǎn)品,就很容易開始商業(yè)化。
36 氪:也就是說初創(chuàng)公司更適合開源,而成熟型公司更適合閉源?
羅云:從結(jié)果上來看可能是這樣,但其實(shí)因果關(guān)系可能是顛倒過來的。小公司不是因?yàn)檫x擇了開源而容易成功,而是它可能沒有更好的觸達(dá)用戶的渠道,所以開源也行是當(dāng)下最好的選擇。
36 氪:向量數(shù)據(jù)庫成本高昂,目前我們會通過哪些方式來緩解這方面的壓力?
羅云:其實(shí)向量數(shù)據(jù)庫它本身技術(shù)的底子還是數(shù)據(jù)庫本身的架構(gòu),我們?nèi)ザx數(shù)據(jù)庫它其實(shí)解決了兩個(gè)問題,第一個(gè)問題是如何低成本的去存儲數(shù)據(jù),第二個(gè)問題如何高效的把存儲的數(shù)據(jù)檢索出來。向量數(shù)據(jù)庫它也是一樣的,只是說目前我們看到它在檢索這一側(cè)其實(shí)它的成本會非常的高昂。
目前業(yè)界有幾種做法:
第一是在算法的層面,去優(yōu)化現(xiàn)在用的比較多的 Faiss 的算法,包含 HNSW 的算法,讓算法變得更快。
第二個(gè)優(yōu)化方式結(jié)合算法本身,把 GPU 更好的并行起來,通過用 GPU 計(jì)算的方式讓它的成本變得更低。
第三個(gè)是,我們會用云上的一些各種資源的調(diào)度體系,用更廉價(jià)的,或者說更合適的云資源去把底層算力的成本去做更好的補(bǔ)充,這樣成本自然而然就會變得更低。
但是短期我們的判斷是,大家不會有數(shù)量級的差異,所以更多還是比拼應(yīng)用性,如何和云的資源體系結(jié)合,讓客戶用得更穩(wěn),能讓單價(jià)成本有個(gè) 20%、30% 的提升。
36 氪:向量數(shù)據(jù)庫最先在 " 搜廣推 " 場景中落地,但這個(gè)領(lǐng)域的企業(yè)其實(shí)大都具備自研向量數(shù)據(jù)庫或基于開源向量數(shù)據(jù)庫自研的能力,且他們會更傾向于私有化部署,這是否意味著向量數(shù)據(jù)庫的客戶其實(shí)更多會來自中小企業(yè)?
羅云:目標(biāo)客戶不一定更多來自中小企業(yè),因?yàn)閯偛盘岬降倪@些大企業(yè)如果要自研向量數(shù)據(jù)庫的話,投入可能比產(chǎn)出還要高,假如向量數(shù)據(jù)庫不能成為對方的核心收入來源,那選擇第三方專業(yè)向量數(shù)據(jù)庫會是更具性價(jià)比的選擇。長期來看,社會會有合理的分工,專業(yè)的人做專業(yè)的事。
對于他們私有化部署的需求,騰訊云向量數(shù)據(jù)庫完全可以支持,且在穩(wěn)定性、安全性等方面我們均更有優(yōu)勢。
36 氪:有些大企業(yè)本身也是大模型的構(gòu)建者,他們對于向量數(shù)據(jù)庫的需求和模型應(yīng)用層企業(yè)對向量數(shù)據(jù)庫的需求有什么不同?
羅云:模型構(gòu)建者通常會把向量數(shù)據(jù)庫用在以下幾個(gè)場景。
首先是數(shù)據(jù)清洗聚類階段,我們都知道如果訓(xùn)練模型時(shí)數(shù)據(jù)質(zhì)量不好,會導(dǎo)致最后訓(xùn)練出來的模型回答結(jié)果不夠精準(zhǔn),如果用于訓(xùn)練的數(shù)據(jù)重復(fù)太多,訓(xùn)練的效率也會變差。向量數(shù)據(jù)庫的相似性搜索可以很好的優(yōu)化這些問題。
當(dāng)模型在為用戶服務(wù)時(shí),用戶可能會問到時(shí)效性很強(qiáng)的事件,而這些事件模型的訓(xùn)練成本太高了,如果他們搭配向量數(shù)據(jù)庫來進(jìn)行搜索增強(qiáng),那么模型就會先從向量數(shù)據(jù)庫中檢索最近的知識與大模型匹配,通過兩者結(jié)合的方式給到用戶不錯(cuò)的回答。
其次,如果這個(gè)模型已經(jīng)開始為企業(yè)主提供服務(wù),那么企業(yè)主也會把向量數(shù)據(jù)庫作為大模型的補(bǔ)充。以在線文檔軟件為例,如果客戶在這里進(jìn)行文檔編寫,其實(shí)數(shù)據(jù)還是數(shù)據(jù)客戶自己的,在線文檔沒辦法把這些數(shù)據(jù)用于第三方模型訓(xùn)練,所以通常會將這部分?jǐn)?shù)據(jù)通過緩存的方式緩存到本地的某個(gè)數(shù)據(jù)庫中,當(dāng)客戶要來整理文檔紀(jì)要時(shí),就可以通過向量數(shù)據(jù)庫進(jìn)行初步篩選,再交由大模型生成結(jié)果推理。
總結(jié)來說,向量數(shù)據(jù)庫會被用于加速訓(xùn)練提升大模型的時(shí)效性;通過在外部外掛一個(gè)向量數(shù)據(jù)庫幫助客戶更好的整理數(shù)據(jù),以輸入、交互的方式提供給大模型再做最終的結(jié)果推理。
這兩種使用場景讓向量數(shù)據(jù)庫從原先的 " 搜廣推 ",在 AI 的陪伴下走向了各行各業(yè)。
36 氪:為什么現(xiàn)在大家要把向量化技術(shù)和向量數(shù)據(jù)庫分開做,這兩項(xiàng)技術(shù)合在一起不是更能提升用戶體驗(yàn)嗎?
羅云:我認(rèn)為這是有一個(gè)發(fā)展的階段,不同場景的方案也有適應(yīng)度的問題。在向量檢索里,很重要的一環(huán)就是分段模型的好與壞。通俗解釋,用戶體驗(yàn)涉及到的一次端到端的搜索準(zhǔn)確率、召回率由幾個(gè)事情影響:
一是分段模型的成熟度,就是怎么把一部分非結(jié)構(gòu)化文本、音頻變成一個(gè)向量,這個(gè)模型會比較重要。
二是在向量數(shù)據(jù)庫里面,Ann 的搜索算法也很重要。
騰訊云向量數(shù)據(jù)庫現(xiàn)在在做的就是把這部分分段模型放在向量數(shù)據(jù)庫中區(qū),但它的挑戰(zhàn)性在于每家的數(shù)據(jù)不同,分段模型沒法一下做到大而廣之。在騰訊內(nèi)部有很多比如圖片類的分段模型、音樂類的分段模型和文本類的分段模型,我們會結(jié)合騰訊集團(tuán)的內(nèi)部積累,將其內(nèi)置到我們的向量數(shù)據(jù)庫中來,但是這個(gè)行業(yè)非常特殊,大家都有自己的素材,所以大家也會有自己的預(yù)訓(xùn)練去打造分段模型的方式,這兩者是相互配合的關(guān)系。
當(dāng)我們把它沉淀到向量數(shù)據(jù)庫里后,用戶開發(fā)它自己的 AI 應(yīng)用會變得很快,但是想讓分段模型效果足夠好,需要更多的積累。未來,向量數(shù)據(jù)庫會承載更多角色。
36 氪:因此各家向量數(shù)據(jù)庫,會在此形成差異化?
羅云:是的,目前大家都在往這方面靠,友商也會集成一些外部的分段模型,比如此前沒有積累的獨(dú)立數(shù)據(jù)庫廠商,會集成 OpenAI 的分段算法;騰訊則因?yàn)楸旧碓?PCG 的業(yè)務(wù)線就是偏泛互聯(lián)網(wǎng)的業(yè)務(wù)模型,所以有比較多的積累,我們會把更貼近業(yè)務(wù)實(shí)踐的分段模型產(chǎn)品化,為客戶提供增量價(jià)值。
36 氪:各家云計(jì)算廠商的基因不同,未來大家都做向量數(shù)據(jù)庫的話,彼此目標(biāo)客群會有什么不同嗎?
羅云:向量數(shù)據(jù)庫的核心還是一個(gè)標(biāo)品,提供標(biāo)準(zhǔn)的 API、SDK,能力也是標(biāo)準(zhǔn)的,服務(wù)的行業(yè)也是廣泛適用的。
雖然各家云計(jì)算廠商可能會有各自擅長的領(lǐng)域,但首先大家都會先把自己擅長的領(lǐng)域做好,再去看是否可以將向量數(shù)據(jù)庫作為拳頭產(chǎn)品吸引其他行業(yè)的客戶。
36 氪:向量數(shù)據(jù)庫在騰訊云產(chǎn)品體系中的定位是什么?
羅云:騰訊云向量數(shù)據(jù)庫的定位是成為這一波各行各業(yè)隨著 AI native 化成長起來的企業(yè)的剛需品,我們判斷在未來很長一段時(shí)間內(nèi),對行業(yè)開發(fā)者來說都會是 "1+N" 的模式,"1" 是向量數(shù)據(jù)庫,"N" 是之前的多個(gè)數(shù)據(jù)庫。
P 和 F 都太容易猜到了,這里羅老師還是想減少一些麻煩。畢竟我們直接去點(diǎn)友商名字是不合適的
關(guān)鍵詞:
2023-08-04 13:06:47
2023-08-04 12:15:05
2023-08-04 11:45:25
2023-08-04 11:02:05
2023-08-04 10:29:22
2023-08-04 09:24:56
2023-08-04 07:56:49
2023-08-04 07:03:52
2023-08-04 05:21:45
2023-08-03 22:27:51
2023-08-03 21:48:50
2023-08-03 20:30:04
2023-08-03 19:51:15
2023-08-03 19:13:18
2023-08-03 18:31:39
2023-08-03 18:03:45
資訊
品牌
24小時(shí)熱點(diǎn)