网友自拍三级视频在线,亚洲一区二区美女,丝袜色色日韩亚洲无码20P

首頁

應(yīng)用+AI，是未來嗎？

Tob行業(yè)頭條

2024-03-29

3295

導(dǎo)讀：大模型怎么持續(xù)進化？

引擎

1970年代，IBM發(fā)明了一個中間件叫：規(guī)則引擎。意思就是：你可以靈活設(shè)置規(guī)則，不用把業(yè)務(wù)規(guī)則邏輯用編程語言寫死在軟件中。

因為中國程序員都是碼農(nóng)，不懂得設(shè)計程序，就是知道業(yè)務(wù)邏輯多復(fù)雜-代碼就多復(fù)雜，所以各種狀態(tài)機引擎、規(guī)則引擎都不會用。即使平臺研發(fā)團隊搞了個規(guī)則引擎，也都在業(yè)務(wù)功能中不會用或者只用一點點。

現(xiàn)在，人工智能熱潮風(fēng)起，很多IT廠商又開始用規(guī)則引擎忽悠智能化-自動化。

數(shù)據(jù)

對于外行人，認為大模型=會話大模型+生成大模型。

對于內(nèi)行人，大模型=海量大數(shù)據(jù)+Transformer深度神經(jīng)網(wǎng)絡(luò)。

所以，數(shù)據(jù)的重要性和稀缺性，對于內(nèi)行人來說，比模型還重視。所以中國最近兩年出臺了無數(shù)政策在說數(shù)據(jù)安全和數(shù)據(jù)資產(chǎn)的事。

OpenAI公司因為數(shù)據(jù)，在2023年也惹上了事。這就是，事情不火不掙錢，大家都不言語，一旦發(fā)現(xiàn)事情火了有利可圖了，這就得說道說道了。

OpenAI雖然去年主動去國會申請召開聽證會，希望促進國會盡快立法，讓大家在規(guī)則下發(fā)展。但是最終聽證會也沒有有效運轉(zhuǎn)起來。所以美國對于數(shù)據(jù)資產(chǎn)的一系列的法律制定，也滯后了。

那大模型怎么持續(xù)進化？有人想到了一種方法是：數(shù)據(jù)增強，通過現(xiàn)有數(shù)據(jù)進行智能的變形和合成，這樣就數(shù)據(jù)量翻倍了。我不太贊同這種方法。

我經(jīng)常說：垃圾輸入必然是垃圾輸出。數(shù)據(jù)增強在我眼里，和內(nèi)容洗稿沒啥本質(zhì)差異。你把十篇內(nèi)容稿件通過各種切分排列組合弄出來1000篇內(nèi)容稿件，也是垃圾，而不是創(chuàng)造和知識。所以這種垃圾輸入垃圾輸出的數(shù)據(jù)增強方法，只能讓大模型更傻。

那大模型怎么持續(xù)進化？我能想到的最好方法就是現(xiàn)在大模型的應(yīng)用商店。

傳聞GPT應(yīng)用商店里已經(jīng)有300萬個應(yīng)用了。大家不用搞Lora微調(diào)和預(yù)訓(xùn)練，也不用搞指令調(diào)優(yōu)，也不需要搞人工反饋的強化學(xué)習(xí)，也不用搞復(fù)雜編程開發(fā)，只需要提示模板調(diào)優(yōu)+SaaS API調(diào)用就可以很方便做出一個應(yīng)用。

這個應(yīng)用無法脫離大模型。只要人們使用應(yīng)用，本質(zhì)上就是源源不斷地把數(shù)據(jù)輸送給大模型。大模型把數(shù)據(jù)日常沉淀匯集起來，然后在大版本預(yù)訓(xùn)練時利用起來。每個應(yīng)用產(chǎn)生的數(shù)據(jù)都很小，但是這么多應(yīng)用產(chǎn)生的數(shù)據(jù)就如同無數(shù)條小河，匯聚起來就是大江大海。你如果因為安全考慮不想把你的數(shù)據(jù)沉淀給大數(shù)據(jù)，那對不起，那你用開源私有部署去玩吧。

所以，這種方法避免了數(shù)據(jù)資產(chǎn)的法律問題，也避免了數(shù)據(jù)增強愚蠢問題，還有了源源不斷的新鮮數(shù)據(jù)血液。這個機制才是永恒永動的。

技術(shù)

剛才提到了提示調(diào)優(yōu)模板+公有云SaaS Open API調(diào)用。這里就再衍生一個技術(shù)：AI Agent。

Agent這個詞大多在強化學(xué)習(xí)場景中使用。2023年Q4，一個新技術(shù)熱詞被Open AI公司內(nèi)斗引爆了出來，那就是：Q* Learning。其實A*是強化學(xué)習(xí)的前置技術(shù)-動態(tài)規(guī)劃中的一種算法，Q-Learning也是強化學(xué)習(xí)-時序差分中的一種算法。Q* Learning就是這么組合來的。

但是AI Agent這個熱詞在2023年引爆是在上半年，是在下半年Q* Learning引爆之前流行起來的。所以外行人眼里的AI Agent，其實和強化學(xué)習(xí)沒半毛錢關(guān)系。

外行人眼里的AI Agent，其實是在上半年流行的提示調(diào)優(yōu)模板相關(guān)。

大家都知道，現(xiàn)有人工智能還不能回答復(fù)雜邏輯的問題，所以大家想了一個辦法，叫做：思維樹CoT，意思就是把一個復(fù)雜邏輯問題，人為分解為12345步，這樣就可以一點點引導(dǎo)大模型得到你想要的答案了。

所以，AI Agent其實是一系列2023年上半年技術(shù)的雜合，所以才有了現(xiàn)在AI Agent框架的說法，雜合了：CoT模板-代碼生成大模型、公有云SaaS-Open API甚至API工具（如Postman、Zapier）、RPA-UI層集成自動化、流程挖掘。

SAP就想走這條路。但這條路和人工智能其實沒有半毛錢關(guān)系，只是挪用了人工智能的思維樹的思路而已。不過我個人觀點：

1、假的AI Agent（就是模板+公有云SaaS Open API調(diào)用所謂的流程自動化流程挖掘），這條路也走不遠，而且這條路也和人工智能沒有半毛錢關(guān)系。

2、真正的AI Agent（基于強化學(xué)習(xí)），短時間（3年內(nèi)），我是看不到黎明。

模型

2023年，中國發(fā)布了上百款套殼大模型以及所謂的垂直行業(yè)大模型。

依我對中國人工智能產(chǎn)業(yè)的了解，其實能做大模型的中國團隊寥寥無幾，一雙手都能數(shù)過來。

其實，絕大多數(shù)所謂的大模型團隊，連Lora微調(diào)都不會也不敢。雖然Lora微調(diào)也只是改動最后一層，但是即使改動最后一層也不會啊，況且改動完了還要做預(yù)訓(xùn)練，雖然預(yù)訓(xùn)練的代價已經(jīng)很小，但很小也是需要不少算力的。所以，在中國，其實連Lora微調(diào)都不會做。

大多數(shù)團隊只會使用提示模板調(diào)優(yōu)。連RHLF（基于人工反饋的強化學(xué)習(xí)）都不會。畢竟強化學(xué)習(xí)比深度學(xué)習(xí)還難。

有些深度的團隊會搞指令模板調(diào)優(yōu)。

但大多數(shù)團隊連所有的調(diào)優(yōu)都不會也不敢，因為太消耗工程人力了。能做的，就是把自己的數(shù)據(jù)通過大模型API輸入給大模型，然后讓大模型自動輸出結(jié)果。這就是真實的現(xiàn)狀。

李鬼太多了。

即使是真李逵，敢于做Lora微調(diào)，敢于做提示調(diào)優(yōu)和指令調(diào)優(yōu)甚至RHLF，我個人認為垂直大模型也最終必然會被通用大模型吞沒。

為啥我會這個觀點？我類比個例子。經(jīng)常有朋友問我：為啥你會這么獨特地思考？我說：因為我的知識體系中有：歷史、地理、政治、軍事、金融、經(jīng)濟、哲學(xué)、人性、計算機、組織、管理，所以我的思考是多維的、非線性的、動態(tài)的。而大多數(shù)人知識不成體系，所以是單維的、線性的、靜態(tài)的。

我之所以這么類比，就是因為垂直大模型就和大多數(shù)人一樣是單維的、線性的，不會聰明的。真正的聰明一定是多維交匯的。就如同很多知名的數(shù)學(xué)家，在音樂造詣方面也不錯，他們其實就是融會貫通。不融會貫通是走不遠的。

應(yīng)用

2023年特別流行一個人工智能技術(shù)名詞叫：RAG，意思就是檢索增強生成。

這個熱詞來源于：微軟Bing搜索，整合了GPT文本生成大模型，通過實時搜索避免了大模型因為預(yù)訓(xùn)練機制導(dǎo)致的信息陳舊問題，也通過文本摘要生成大模型彌補了傳統(tǒng)搜索列出無數(shù)條鏈接內(nèi)容讓用戶一一點開看的缺陷。

所以業(yè)界也想模仿New bing這么搞垂直搜索增強改進，所以產(chǎn)生了RAG技術(shù)的探索。

在說2023年流行的RAG這個熱詞之前，我再說說另一個技術(shù)事：向量搜索引擎、向量數(shù)據(jù)庫。

我早先用的是ElasticSearch，在2020年我用了向量搜索引擎和向量數(shù)據(jù)庫Milvus。

2023年，RAG火了，于是向量搜索引擎和向量數(shù)據(jù)庫不知道怎么也突然火出圈了。然后有一幫人不知是不知道呢，還是別有用心呢，就把向量搜索引擎和向量數(shù)據(jù)庫，偷梁換柱李代桃僵，就等同于RAG了。

不過，熱潮很快就過去了，2023年，向量數(shù)據(jù)庫被證偽，又快速回到了自己過去擅長的領(lǐng)域。隨之，RAG這股風(fēng)也不如過去熱了。

【聲明】內(nèi)容源于網(wǎng)絡(luò)

應(yīng)用

Tob行業(yè)頭條

關(guān)注TOB領(lǐng)域的新產(chǎn)品、新公司、新趨勢，專注以原創(chuàng)記錄TOB行業(yè)的人物、金錢與故事

內(nèi)容 182

粉絲 0

Tob行業(yè)頭條關(guān)注TOB領(lǐng)域的新產(chǎn)品、新公司、新趨勢，專注以原創(chuàng)記錄TOB行業(yè)的人物、金錢與故事

總閱讀704.5k

粉絲0

內(nèi)容182

應(yīng)用+AI，是未來嗎？

引擎

數(shù)據(jù)

技術(shù)

模型

應(yīng)用

應(yīng)用+AI，是未來嗎？