1)設(shè)計(jì)并構(gòu)建一個(gè)基于 自研的Decoder-only GPT系列架構(gòu)的 0penCSG 醫(yī)療大模型，參數(shù)量達(dá)到70 億，采用自研高性能中英文雙語(yǔ)分詞器，極大提高token 壓縮比，自研基座模型架構(gòu)但同時(shí)易于轉(zhuǎn)換為llama、mistral、qwen等主流模型結(jié)構(gòu)，以實(shí)現(xiàn)更好的下游應(yīng)用表現(xiàn)。

2)收集和處理大規(guī)模高質(zhì)量的醫(yī)療數(shù)據(jù)，數(shù)據(jù)比例為 60% 醫(yī)療專(zhuān)業(yè)數(shù)據(jù) +40%通用數(shù)據(jù)，確保模型能學(xué)習(xí)到豐富的醫(yī)學(xué)知識(shí)。醫(yī)療數(shù)據(jù)包括但不限于各科權(quán)威教材、臨床指南、醫(yī)學(xué)文獻(xiàn)、病歷報(bào)告、醫(yī)患對(duì)話語(yǔ)料等。

3)基于自研的高性能、高可用、可拓展的LightLLM分布式大模型訓(xùn)練框架，在海量異構(gòu)數(shù)據(jù)上對(duì)OpenCSG 醫(yī)療大模型進(jìn)行高效訓(xùn)練，最大限度提升模型理解和生成醫(yī)學(xué)語(yǔ)言的能力。

4)引入多維度評(píng)估體系，在訓(xùn)練過(guò)程中持續(xù)跟蹤模型性能。涵蓋醫(yī)學(xué)語(yǔ)言理解、知識(shí)掌握、語(yǔ)言生成、邏輯推理、安全和倫理等方面的能力評(píng)估。

1)基于自研架構(gòu) OpenCSG 醫(yī)療大模型研發(fā)的智能問(wèn)診、自動(dòng)處方分析、醫(yī)療知識(shí)檢索等系列創(chuàng)新應(yīng)用，助力醫(yī)療領(lǐng)域科技公司打造行業(yè)領(lǐng)先的智慧醫(yī)療服務(wù)平臺(tái)。

2) OpenCSG 醫(yī)療大模型的卓越表現(xiàn)將為醫(yī)療領(lǐng)域科技公司在醫(yī)療 AI市場(chǎng)開(kāi)拓新的業(yè)務(wù)場(chǎng)景，樹(shù)立技術(shù)領(lǐng)導(dǎo)力品牌形象，吸引更多醫(yī)療機(jī)構(gòu)達(dá)成戰(zhàn)略合作。

3)探索大語(yǔ)言模型技術(shù)和傳統(tǒng)醫(yī)學(xué)專(zhuān)家知識(shí)的最佳結(jié)合路徑，形成可規(guī)�；瘡�(fù)制的經(jīng)驗(yàn)?zāi)Ｊ健�為醫(yī)療領(lǐng)域科技公司在醫(yī)療及更多垂直行業(yè)大模型應(yīng)用方面積累寶貴的技術(shù)和商業(yè)化經(jīng)驗(yàn)。

本案例采用OpenCSG 自研的 LightLLM 分布式訓(xùn)練框架進(jìn)行 OpenCSG 醫(yī)療大模型的預(yù)訓(xùn)練。 預(yù)訓(xùn)練數(shù)據(jù)采集與清洗：

數(shù)據(jù)采集

1)根據(jù)項(xiàng)目預(yù)算，與醫(yī)學(xué)數(shù)據(jù)供應(yīng)商合作采購(gòu)高質(zhì)量結(jié)構(gòu)化和非結(jié)構(gòu)化醫(yī)療數(shù)據(jù)，包括但不限于：

OpenCSG 醫(yī)療大模型的研發(fā)成功，將實(shí)現(xiàn)人工智能技術(shù)與傳統(tǒng)醫(yī)學(xué)專(zhuān)家經(jīng)驗(yàn)的高度融合，促進(jìn)人機(jī)協(xié)同診療新模式的形成，助推智慧醫(yī)療行業(yè)的變革發(fā)展。OpenCSG 公司將為醫(yī)學(xué)醫(yī)療科技公司基于項(xiàng)目成果持續(xù)打造面向全科醫(yī)療的"醫(yī)學(xué)認(rèn)知智能"，引領(lǐng)多模態(tài)醫(yī)學(xué)大模型的技術(shù)趨勢(shì)，在醫(yī)療AI領(lǐng)域確立難以撼動(dòng)的領(lǐng)導(dǎo)者地位。

大模型+醫(yī)療的結(jié)合有望催生智能教學(xué)、科研輔助、新藥研發(fā)等全新應(yīng)用，幫助醫(yī)學(xué)科技公司持續(xù)發(fā)掘新的價(jià)值空間，牽引產(chǎn)學(xué)研用一體化創(chuàng)新。

隨著基于 OpenCSG 醫(yī)療大模型的應(yīng)用規(guī)模化落地，將為醫(yī)療服務(wù)供給側(cè)帶來(lái)效率倍增。廣大患者可享受到更加優(yōu)質(zhì)、均等的智能化診療服務(wù)，大幅提升就醫(yī)獲得感。