本項(xiàng)目旨在基于道客云原生知識(shí)庫(kù)平臺(tái)快速構(gòu)建金融合規(guī)助手，為銀行員工提供高效、便捷的合規(guī)查詢服務(wù)。面對(duì)行內(nèi)GPU資源利用率低、模型人才短缺及數(shù)據(jù)合規(guī)的嚴(yán)格挑戰(zhàn)，采用道客云原生知識(shí)庫(kù)平臺(tái)實(shí)現(xiàn)大模型快速落地，全圖形化配置管理讓業(yè)務(wù)人員能自助維護(hù)知識(shí)庫(kù)。同時(shí)，私有大模型部署確保數(shù)據(jù)隱私與合規(guī)，分布式云原生架構(gòu)提升資源利用率與復(fù)用性。多租戶自服務(wù)能力為用戶帶來安全、隔離的私有大模型體驗(yàn)，顯著增強(qiáng)IT業(yè)務(wù)響應(yīng)能力。本案例成功展示了道客云原生知識(shí)庫(kù)平臺(tái)智能合規(guī)助手應(yīng)用潛力，為銀行創(chuàng)新發(fā)展注入新動(dòng)力。

• 希望基于大模型構(gòu)建面向合規(guī)場(chǎng)景的智能合規(guī)助手，能夠基于行內(nèi)的各種合規(guī)規(guī)范流程，為員工提供合規(guī)查詢。

• 行內(nèi)現(xiàn)有 GPU 卡都被各個(gè)業(yè)務(wù)應(yīng)用獨(dú)占，資源利用率需要提升，并希望能夠?qū)崿F(xiàn)算力資源的復(fù)用。

• 當(dāng)前銀行缺乏模型人才和能力積累，希望能夠讓業(yè)務(wù)人員自己設(shè)計(jì)和管理企業(yè)知識(shí)庫(kù)的構(gòu)建。

由于數(shù)據(jù)合規(guī)的要求，必須使用大模型私有化部署的方式，所有數(shù)據(jù)和模型必須在行內(nèi)。

基于道客云原生知識(shí)庫(kù)平臺(tái)的金融合規(guī)助手，具備強(qiáng)大的合規(guī)信息查詢與智能分析能力。

道客云原生知識(shí)庫(kù)平臺(tái)是一款基于云原生和分布式計(jì)算框架的智能問答解決方案，支持多種大語言模型，可構(gòu)建智能問答應(yīng)用，配置個(gè)性化語料庫(kù)，提供準(zhǔn)確的問答能力；同時(shí)，它還提供可擴(kuò)展的GPU能力和向量數(shù)據(jù)庫(kù)，實(shí)現(xiàn)高效的文本向量化與存儲(chǔ)，并采用相似度匹配提升查詢準(zhǔn)確性；另外，通過基于Ray的分布式推理，實(shí)現(xiàn)與用戶的快速互動(dòng)，使應(yīng)用與用戶交互更加迅捷，圖1為道客知識(shí)庫(kù)平臺(tái)的業(yè)務(wù)框架。

云原生平臺(tái)：承載了所有運(yùn)行時(shí)的容器環(huán)境。

算力服務(wù)層：算力統(tǒng)一納管平臺(tái)，提供了一站式管理。

基礎(chǔ)設(shè)施：主要體現(xiàn)底層物理資源的能力，包括 AI 場(chǎng)景中很重要的 GPU資源，以及依賴的存儲(chǔ)和網(wǎng)絡(luò)等物理資源。

知識(shí)庫(kù)UI：提供用戶訪問所需的客戶端；

業(yè)務(wù)層：包括有 AIGC-App、AIGC-Fast、AIGC-Manage等自研組件和Nacos、Gateway、Mysql、Redis等外部組件；

接口層：通過 AIGC knowledge Engine 來提供統(tǒng)一的接口。

核心層：提供 Embedding Ray Service 和QA Ray Service 兩大服務(wù)，都基于Ray的分布式計(jì)算框架，多組服務(wù)并行。

框架層：由KubeRay和容器集群組成。

基于道客云原生知識(shí)庫(kù)平臺(tái)的金融合規(guī)助手，快速實(shí)現(xiàn)了大模型在銀行的落地應(yīng)用，全圖形化的配置管理使得業(yè)務(wù)人員可以自助維護(hù)知識(shí)庫(kù)，并基于私有通用大模型與向量化知識(shí)庫(kù)結(jié)合快速構(gòu)建合規(guī)助手應(yīng)用，提供高效的知識(shí)檢索和問答服務(wù)。同時(shí)，對(duì)資源利用情況進(jìn)行優(yōu)化，提高了業(yè)務(wù)效率，為銀行創(chuàng)造了更多的商業(yè)價(jià)值。在商業(yè)模式方面，該項(xiàng)目采用私有化部署方式，確保了數(shù)據(jù)的安全與合規(guī)，滿足了銀行對(duì)隱私保護(hù)的需求。通過提供智能化的合規(guī)助手服務(wù)，項(xiàng)目為銀行提供了穩(wěn)定的收入來源，并建立了長(zhǎng)期穩(wěn)定的客戶關(guān)系。隨著金融行業(yè)的不斷發(fā)展，該項(xiàng)目的應(yīng)用前景廣闊，有望在未來實(shí)現(xiàn)更廣泛的推廣與應(yīng)用。