Tips：你可以關(guān)注"EosphorosAI"公眾號(hào)，回復(fù)“0912”獲取師文匯演講PPT

隨著大模型的出現(xiàn)，AI應(yīng)用迎來(lái)了一次重大的變革。數(shù)據(jù)，不再僅僅是信息的載體，而是變成了智能應(yīng)用成功的關(guān)鍵。師文匯指出，AI應(yīng)用的發(fā)展經(jīng)歷了從數(shù)據(jù)積累到大模型的智能飛躍，我們正站在一個(gè)新的技術(shù)前沿。

AI應(yīng)用的演化：從數(shù)據(jù)積累到大模型的智能飛躍

回顧應(yīng)用研發(fā)方式的變革，早期以數(shù)據(jù)為核心的非智能化的應(yīng)用，通常聚焦在某個(gè)特定的領(lǐng)域的特定問(wèn)題，解決的是有明確答案的問(wèn)題，比如支付、交易等業(yè)務(wù)。通過(guò)有限的狀態(tài)流轉(zhuǎn)實(shí)現(xiàn)業(yè)務(wù)邏輯推進(jìn)，所有的流程都是標(biāo)準(zhǔn)化的。

在大模型出現(xiàn)以前，為了解決一個(gè)特定領(lǐng)域千人千面的問(wèn)題，解空間已經(jīng)很難用狀態(tài)機(jī)描述，例如推薦、搜索，通過(guò)應(yīng)用大量的數(shù)據(jù)積累以及小模型的的迭代，獲取越來(lái)越準(zhǔn)確的小模型，實(shí)現(xiàn)了第一代的智能應(yīng)用。這其實(shí)是以大量的數(shù)據(jù)和小的判別式模型所構(gòu)成的。

現(xiàn)在，大模型使得我們能夠處理更加復(fù)雜和發(fā)散性的問(wèn)題。數(shù)據(jù)的角色從輔助變?yōu)楹诵?，成為智能?yīng)用成功的關(guān)鍵。在大模型時(shí)代，我們不再僅僅依賴應(yīng)用來(lái)積累數(shù)據(jù)。我們可以做到數(shù)據(jù)先行，可以通過(guò)數(shù)據(jù)引入或者數(shù)據(jù)標(biāo)注的方式沉淀這些數(shù)據(jù)。

我們認(rèn)為構(gòu)建以數(shù)據(jù)為核心的智能應(yīng)用的關(guān)鍵因素是打造一個(gè)能力較好的大模型加上優(yōu)質(zhì)的行業(yè)數(shù)據(jù)。

對(duì)智能應(yīng)用來(lái)說(shuō)數(shù)據(jù)包含了兩種類別：

• 應(yīng)用數(shù)據(jù)：傳統(tǒng)應(yīng)用積累的結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)；
• 引入數(shù)據(jù)：通過(guò)數(shù)據(jù)引入和標(biāo)注手段獲取的數(shù)據(jù)。

數(shù)據(jù)來(lái)源不僅僅通過(guò)應(yīng)用逐步的沉淀，通過(guò)引入數(shù)據(jù)可以真正做到數(shù)據(jù)先行。

AI原生應(yīng)用研發(fā)的變革與挑戰(zhàn)

1.編程模型的轉(zhuǎn)變:
從以流程為核心到以數(shù)據(jù)為核心，我們的編程模型正在發(fā)生重大變革。以前，我們用C++等語(yǔ)言開發(fā)程序，流程是固定的，我們沉淀了很多的研發(fā)工具，做集成測(cè)試。在大模型時(shí)代，整個(gè)AI原生應(yīng)用的設(shè)計(jì)會(huì)簡(jiǎn)化原來(lái)狀態(tài)流轉(zhuǎn)和SOP，我們更多地關(guān)注如何處理和加工數(shù)據(jù)。

SQL定義了處理結(jié)構(gòu)化數(shù)據(jù)的范式，在大模型時(shí)代下，我們現(xiàn)在需要新的方法來(lái)處理非結(jié)構(gòu)化數(shù)據(jù)，如音頻、視頻和圖片，甚至文本。我們是不是可以創(chuàng)新出一種全新的類似SQL的范式去處理這些非結(jié)構(gòu)化的數(shù)據(jù)，這是一個(gè)長(zhǎng)期的過(guò)程，需要我們不斷探索和創(chuàng)新積累。

2.研發(fā)范式的不確定性：
大模型的本質(zhì)是概率模型，我們很難解決幻覺(jué)問(wèn)題，或者準(zhǔn)確性的問(wèn)題。但很多應(yīng)用需要嚴(yán)格的執(zhí)行結(jié)果。我們?nèi)绾谓档痛竽Ｐ偷牟淮_定性失效成本，提升研發(fā)迭代效率，是后續(xù)非常重要的一環(huán)。

3.與現(xiàn)有系統(tǒng)的交互：
在建設(shè)新的數(shù)據(jù)為核心的AI應(yīng)用時(shí)，無(wú)論是建立新的應(yīng)用、還是升級(jí)老的系統(tǒng)，如何高效的利用已有系統(tǒng)的能力，也能夠讓已有系統(tǒng)更好的利用新的A原生應(yīng)用的能力也是一個(gè)非常關(guān)鍵的問(wèn)題。傳統(tǒng)的RPC都是面向二進(jìn)制來(lái)設(shè)計(jì)的，如何高效的在網(wǎng)絡(luò)上傳輸，如何建立新的規(guī)范幫助AI Agent、AI原生應(yīng)用的交流是一個(gè)很關(guān)鍵的問(wèn)題。

AI原生應(yīng)用框架的思考

我們希望構(gòu)建沉淀一個(gè)新的框架，去應(yīng)對(duì)解決AI原生的數(shù)據(jù)應(yīng)用面臨的數(shù)據(jù)編程、不確定的問(wèn)題。

面向數(shù)據(jù)編程：

• 泛ETLs：我們要把數(shù)據(jù)處理（ETL）做得更加廣泛，不僅僅像以前是為了做報(bào)表或幫助ML清洗數(shù)據(jù)，基本上是for人類、for決策的；我們現(xiàn)在的ETL為了大模型更智能，從數(shù)據(jù)到知識(shí)的能力。

• 實(shí)驗(yàn)反饋：模型的架構(gòu)決定了模型能力的下限，數(shù)據(jù)決定了整個(gè)AI應(yīng)用的質(zhì)量和上限，我們?nèi)绾渭庸じ哔|(zhì)量的數(shù)據(jù)，其實(shí)是非常大的挑戰(zhàn)，在這里最重要的是我們要建立起一套完整的端到端的實(shí)驗(yàn)反饋體系，通過(guò)框架提升反饋閉環(huán)的效率。

應(yīng)對(duì)不確定性：

• 我們希望加快AI原生應(yīng)用的開發(fā)迭代，減少因模型不確定性導(dǎo)致的失敗成本。
• 通過(guò)標(biāo)準(zhǔn)的SOP來(lái)約束應(yīng)用的流程，確保業(yè)務(wù)流程的關(guān)鍵流程和路徑是可控的，同時(shí)SOP也能夠幫助LLM獲取足夠的信息。e.g.想象一下，我們要開發(fā)一個(gè)旅游AI助手，它在給你推薦旅行計(jì)劃前，得先知道你的預(yù)算、目的地和想?yún)⒂^的景點(diǎn)。我們希望通過(guò)SOP編排的方式，用一種有序的步驟安排，來(lái)確保這個(gè)助手能根據(jù)這些關(guān)鍵信息點(diǎn)，為你做出最合適的建議。

AI原生應(yīng)用的探索

第一階段：從Talk to DB（0.1版本）到 Talk to Data（0.4版本），我們嘗試讓所有人能用自然語(yǔ)言與數(shù)據(jù)交互。在V0.1中我們希望通過(guò)自然語(yǔ)言對(duì)DB數(shù)據(jù)的處理來(lái)完成業(yè)務(wù)邏輯，如取數(shù)、分析、AI/BI等等。在V0.4中，我們開始全面支持talk to data，以結(jié)構(gòu)化數(shù)據(jù)為核心，通過(guò)大語(yǔ)言模型實(shí)現(xiàn)自然語(yǔ)言與不同種類、不同來(lái)源的數(shù)據(jù)交互。盡管這個(gè)產(chǎn)品在能解決的問(wèn)題上還有局限。

第二階段：Data-Driven Agent（0.5版本），在這期間業(yè)界有了非常多對(duì)于Agent的探討，我們開始支持以Agent為核心的構(gòu)建，Agent的靈活表達(dá)支持更多的場(chǎng)景。同時(shí)，2023年8月正式成立星辰智能社區(qū)，組織名Eosphoros-AI，由螞蟻集團(tuán)、京東、阿里、美團(tuán)、唯品會(huì)、騰訊以及學(xué)界多名優(yōu)秀的社區(qū)同學(xué)組成，希望能夠共同探索Data-Driven Agent為核心的應(yīng)用構(gòu)建。

第三階段：AI Native Data Apps（0.6版本），在社區(qū)的實(shí)踐中，我們發(fā)現(xiàn)了一些Agent無(wú)法解決的問(wèn)題，如金融、工廠等嚴(yán)謹(jǐn)場(chǎng)景下，智能體的編排、決策往往不如人意。于是社區(qū)開始探索AI原生的數(shù)據(jù)為核心的應(yīng)用，以應(yīng)用為核心，支持通過(guò)AWEL的嚴(yán)格SOP設(shè)計(jì)，支持快速、構(gòu)建部署AI應(yīng)用，既可以是chatbot、也可以是一個(gè)和Java應(yīng)用互通的Service。通過(guò)DB-GPT和低代碼技術(shù)，使AI應(yīng)用的開發(fā)和控制更加高效。

DB-GPT通過(guò)以下方法解決AI應(yīng)用開發(fā)中的三大核心難題：

1.系統(tǒng)交互：Pugin&Tools打通傳統(tǒng)應(yīng)用和AI APP的橋梁，實(shí)現(xiàn)SOA應(yīng)用和AI應(yīng)用元數(shù)據(jù)的互通，協(xié)議的互通和轉(zhuǎn)化。

2.低代碼開發(fā)：通過(guò)低代碼AWEL進(jìn)行邏輯以及Agent嚴(yán)格模式編排，使AI應(yīng)用的開發(fā)迭代更加簡(jiǎn)單高效。通過(guò)整合現(xiàn)有的工具和API，AWEL語(yǔ)言能夠高效管控并編排Agent的工作流程，同時(shí)提供了一系列強(qiáng)大的功能，如數(shù)據(jù)處理、RAG（檢索增強(qiáng)生成）和數(shù)據(jù)庫(kù)訪問(wèn)等。此外，我們提供了一系列系統(tǒng)級(jí)Agents，以加速應(yīng)用構(gòu)建過(guò)程。其中，DATA Agents能夠理解自然語(yǔ)言指令，直接從數(shù)據(jù)湖或數(shù)據(jù)庫(kù)中檢索所需信息。GPT-Vis能夠根據(jù)Agent、LLM或者應(yīng)用的輸出自動(dòng)構(gòu)建可視化組件，降低UI/可視化的研發(fā)成本。

3.數(shù)據(jù)處理：整個(gè)框架提供了RAG/LLM ETL工具、端到端的評(píng)估工具，幫助開發(fā)者更好的對(duì)數(shù)據(jù)進(jìn)行編程和迭代。

Agents是AI原生應(yīng)用構(gòu)建的核心。DB-GPT的Agents可以提供服務(wù)并能與多種系統(tǒng)兼容，具備全面功能性，覆蓋了從感知到?jīng)Q策到plugin，再到執(zhí)行的全流程。

插件支持三種模式：

• 嚴(yán)格模式：所有流程和關(guān)鍵點(diǎn)都是可控的，適合需要精確控制的應(yīng)用。
• 預(yù)編譯研究：適合有明確目標(biāo)和特定狀態(tài)空間的應(yīng)用，如螞蟻正在應(yīng)用的基礎(chǔ)設(shè)施助理Kevin，可以通過(guò)COT或TOT面向決策樹編排。
• 大模型協(xié)作ReAct：在目標(biāo)不明確或解釋發(fā)散的場(chǎng)景中，利用大模型的協(xié)作能力，如財(cái)報(bào)或年報(bào)的調(diào)研。

對(duì)于AWEL語(yǔ)言來(lái)說(shuō)，我們其實(shí)關(guān)注兩點(diǎn)，一點(diǎn)是要支持嚴(yán)格模式，不光整個(gè)流程是可以通過(guò)嚴(yán)格模式來(lái)編排的，所有中間的通信協(xié)議也可以通過(guò)AWEL語(yǔ)言來(lái)編排。另外一點(diǎn)靈活應(yīng)用，我們希望AWEL兼容大數(shù)據(jù)領(lǐng)域主流的框架（如airflow），能夠讓現(xiàn)在已有的ETL的流程比較簡(jiǎn)單的接入到AWEL的流程，方便實(shí)現(xiàn)從數(shù)據(jù)處理到RAG服務(wù)的端到端的流程。

此外，在構(gòu)建原生應(yīng)用的時(shí)候，我們提供了很多系統(tǒng)的Agent，這些Agent幫大家可以快速地構(gòu)建系統(tǒng)應(yīng)用。如GPT-Vis Agent，它是可以通過(guò)自然語(yǔ)言去動(dòng)態(tài)適配應(yīng)該輸出什么樣的格式。比如你輸出的文本里有一個(gè)表格樣式的數(shù)據(jù)，它可以幫你輸出一個(gè)表格。如果有些數(shù)據(jù)更適合用餅圖或者折線圖，它都自動(dòng)幫你做適配。同時(shí)它支持了非常多的可視化組件。

另外一個(gè)Agent是我們一直持續(xù)打磨的，叫Data Agent，Data Agent支持大部分的數(shù)據(jù)庫(kù)、湖倉(cāng)引擎等。Agent對(duì)于數(shù)據(jù)本身的理解是至關(guān)重要的，例如一個(gè)表格的意義、一個(gè)列的意義，甚至是一個(gè)常量的意義，大語(yǔ)言模型需要“數(shù)據(jù)元信息的ETL”來(lái)實(shí)現(xiàn)這一過(guò)程，后續(xù)我們也會(huì)考慮如何在DB-GPT的數(shù)據(jù)處理框架里和社區(qū)一起共建這部分的能力。

RAG & 數(shù)據(jù)引擎：

• RAG作為AI原生框架里最核心的模塊，可以作為算子，也可以作為Agent，方便構(gòu)建AI應(yīng)用或者Agent。為了實(shí)現(xiàn)更好的RAG效果，高質(zhì)量數(shù)據(jù)處理的仍然是最先考慮的因素，DB-GPT支持基于文本Trunk、圖譜的數(shù)據(jù)加工和處理，用戶可以根據(jù)實(shí)際情況進(jìn)行定制，在構(gòu)建我們的RAG應(yīng)用之前一個(gè)比較關(guān)鍵的事情是準(zhǔn)備評(píng)測(cè)和驗(yàn)證的數(shù)據(jù)集。
• 很多場(chǎng)景下單獨(dú)用文本向量做召回準(zhǔn)確度是不夠的，現(xiàn)在比較流行的一種方式，是通過(guò)知識(shí)圖譜的方式去做檢索或者召回。我理解大模型對(duì)世界的理解不應(yīng)該僅僅是一個(gè)strings，應(yīng)該是一個(gè)具體的thing（事物）。embedding是不可控、不可知的，但圖譜這種形式其實(shí)是比較可控，且可編輯的。因此，我們?cè)贒B-GPT上增加了整個(gè)基于圖的RAG的能力，今天我們做了一個(gè)測(cè)試，在GraphRAG同樣場(chǎng)景、同樣準(zhǔn)確性的情況下，會(huì)比微軟的GraphRAG少50%的token。

我們認(rèn)為向量檢索是后續(xù)提升RAG性能和效果的重要支柱。同時(shí)也為了能支持大規(guī)模圖、文本、圖片、音視頻等存儲(chǔ)上的向量索引，我們研發(fā)了VSAG向量索引庫(kù)提供高性能的向量存儲(chǔ)、檢索、實(shí)時(shí)更新等能力，幫助計(jì)算和存儲(chǔ)引擎實(shí)現(xiàn)vector as an index，同時(shí)也可以作為獨(dú)立的組件支持RAG應(yīng)用中的向量檢索，無(wú)論是圖片還是文本。

VSAG向量庫(kù)正式開源

我們高興地宣布，VSAG向量庫(kù)現(xiàn)在已經(jīng)正式開源了。這是一個(gè)強(qiáng)大的工具，能夠處理達(dá)到百億級(jí)別的數(shù)據(jù)索引，特別是圖片和音視頻這類多媒體內(nèi)容。VSAG不僅能夠輕松處理大規(guī)模數(shù)據(jù)，通過(guò)融合多種分類算法以及基于線性分類器的剪枝技術(shù)，顯著提高了檢索效率和減少了計(jì)算量，性能提升最高達(dá)90%。后續(xù)會(huì)更加廣泛的支持業(yè)界的RAG方案，如LLama Index、LangChain等等。

螞蟻及社區(qū)應(yīng)用實(shí)踐

在螞蟻集團(tuán)，我們采用了兩種智能輔助模式：Copilots和Agents。

Copilots作為一個(gè)編程輔助工具，能夠給開發(fā)者提供智能的建議和風(fēng)險(xiǎn)評(píng)估，幫助編寫更安全的代碼，提升BI、分析、ETL等工作的效率。Agents有很多有意思的應(yīng)用，例如它們能夠主動(dòng)分析并預(yù)測(cè)潛在的系統(tǒng)問(wèn)題，提前防范系統(tǒng)故障。

我們還提供了一個(gè)用戶友好的自助分析工具，用戶可以用自然語(yǔ)言提出需求，比如詢問(wèn)如何快速到達(dá)某個(gè)地點(diǎn)，工具會(huì)自動(dòng)生成詳細(xì)的分析。

DB-GPT應(yīng)用框架目前已在政企、出行、新零售、金融、互娛領(lǐng)域有廣泛引用，典型的解決方案范式如數(shù)據(jù)助手、智能管家和AI/BI、Copilots等多種應(yīng)用場(chǎng)景的創(chuàng)新。

應(yīng)用案例廣泛分布千行百業(yè)：通過(guò)DB-GPT構(gòu)建的水務(wù)智能管家、水務(wù)行業(yè)通用知識(shí)庫(kù)、水務(wù)企業(yè)專有知識(shí)庫(kù)，方便普通用戶通過(guò)QA問(wèn)答獲取水務(wù)行業(yè)的專業(yè)知識(shí)，并提供客戶服務(wù)、管網(wǎng)運(yùn)行、水廠生產(chǎn)等各種應(yīng)用場(chǎng)景的數(shù)據(jù)查詢和數(shù)據(jù)分析能力。同時(shí)，在出行領(lǐng)域，某大型機(jī)場(chǎng)集團(tuán)通過(guò)DB-GPT搭建的人資管理助手、人資招聘助手、知識(shí)庫(kù)問(wèn)答等，通過(guò)自動(dòng)化技術(shù)，覆蓋從人力資源管理到報(bào)告生成的各個(gè)業(yè)務(wù)環(huán)節(jié)。另外，DB-GPT在京東、唯品會(huì)等頭部互聯(lián)網(wǎng)公司均有應(yīng)用。

未來(lái)展望：構(gòu)建全面的數(shù)據(jù)智能應(yīng)用生態(tài)

今天，我們正式宣布發(fā)布 DB-GBT 0.6的版本，該版本支持AI原生應(yīng)用的全生命周期管理，能夠?qū)崿F(xiàn)完整的GraphRAG能力支持，同時(shí)在Data Agent方面支持Graph，Text2GQL等能力。同時(shí)，我們基于GPT-Vis構(gòu)建了應(yīng)用生態(tài)倉(cāng)庫(kù)，任何開發(fā)者都可以在這個(gè)倉(cāng)庫(kù)里共享各自的應(yīng)用。未來(lái)，社區(qū)還計(jì)劃發(fā)布面向數(shù)據(jù)基礎(chǔ)設(shè)施的新應(yīng)用，以及面向ChatBI的全新應(yīng)用。

星辰智能社區(qū)目標(biāo)是構(gòu)建全面的數(shù)據(jù)智能應(yīng)用生態(tài)，覆蓋從數(shù)據(jù)收集、ETL處理、RAG技術(shù)到原生應(yīng)用框架的完整生命周期。我們始終與生態(tài)伙伴、社區(qū)伙伴緊密合作，從去年開始開源DB-GPT，到最近開源了RAG的核心向量索引庫(kù)VSAG，以及孵化出更多像GPT-Vis的優(yōu)秀工具。未來(lái)，我們還計(jì)劃與更多產(chǎn)品、社區(qū)開放合作，讓基于AI構(gòu)建原生應(yīng)用更簡(jiǎn)單更便捷。