變電站中存在諸多潛在異常風險，其一是來自外界的不可預測的異物威脅，容易引發(fā)短路、電弧甚至火災事故，需要采取措施預防。由于異物未知且采集異物圖像成本非常高，需要算法實現(xiàn)在僅擁有正常圖像樣本的條件下實現(xiàn)對未知異物的檢測。

項目利用大模型檢測并提取場景中物體的特征，并使用特征融合和存儲庫技術(shù)讓算法“記住”正常場景，再通過融合特征比對的方式分辨出異常物體。該算法充分發(fā)揮了大模型跨模態(tài)、預訓練、開放性等眾多優(yōu)勢，以很小的代價就能完成傳統(tǒng)深度學習算法無法完成的任務(wù)。

在算法落地過程中，獲取稀缺圖像一直是一大挑戰(zhàn)。在本項目中，正樣本檢測技術(shù)巧妙地避開這一難題，運用先進技術(shù)，避免了困難的負樣本采集工作的同時，還具有更好的精度和泛化能力。本項目的正樣本檢測算法不僅能在電力變電行業(yè)表現(xiàn)出色，同時也適用于其他工業(yè)或生活場景。

變電站作為電力系統(tǒng)的關(guān)鍵設(shè)施，承擔著輸電、變壓、配電等重要任務(wù)，是電力供應(yīng)的核心節(jié)點。然而，由于其特殊的地理位置和功能屬性，變電站存在著諸多潛在的異常風險。其中，最為突出的問題之一是來自外界的不可預測異物的威脅。風箏、塑料袋等物體，一旦進入變電站區(qū)域，可能與高壓設(shè)備接觸，引發(fā)短路、電弧甚至火災等嚴重安全事故，威脅到變電站設(shè)備的安全運行和周邊地區(qū)的人身財產(chǎn)安全。

這些不可知的異物對變電站的安全穩(wěn)定造成了潛在威脅，因此需要采取有效的措施來應(yīng)對。由于異物未知且采集異物圖像成本高，客戶要求僅利用易獲得的正常樣本進行訓練，實現(xiàn)場景中異物的準確檢測，以降低成本并提高效率。

基于大模型的方法與傳統(tǒng)工業(yè)視覺檢測的區(qū)別：以往的工業(yè)視覺檢測大多需要采集大量所需類別的圖像樣本并訓練一個針對性的小模型，這樣的模型容量小，能力有限，也難以運用到已有的海量預訓練數(shù)據(jù)集的知識。而大模型發(fā)展至今，僅預訓練的模型在很多視覺任務(wù)的精度上已經(jīng)碾壓傳統(tǒng)小模型，再經(jīng)過行業(yè)數(shù)據(jù)微調(diào)后可以更加適合于特定的工業(yè)視覺檢測任務(wù)。

基于大模型的正樣本檢測技術(shù)：通過檢測大模型的開放詞匯識別出物體，然后用特征提取大模型的編碼物體的深度特征，結(jié)合存儲庫技術(shù)，能夠?qū)崿F(xiàn)在僅見過正常場景圖片的有限條件下，精準檢測出場景中出現(xiàn)的任何未知的異常物體，精度相較于傳統(tǒng)深度學習方法大幅提升。

正樣本在線增量訓練技術(shù)：通過對存儲庫和交互方式的設(shè)計，并結(jié)合大模型的特性，實現(xiàn)用戶簡單點擊即可將識別為異物的物體定義為正常物體。這一技術(shù)實現(xiàn)了模型和存儲庫的在線更新，有效解決了模型部署后更新難、反饋慢的問題。

多點位模型通用技術(shù)：實際項目中需要部署的點位可達成百上千，本項目利用大模型的通用性和特征存儲庫技術(shù)打破了一個點位對應(yīng)一個模型的限制，實現(xiàn)在不改變主網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)的條件下，快速訓練出各個點位的特征存儲庫，并且能夠在不同點位間快速切換。

樣本生成技術(shù)：對圖像生成大模型進行微調(diào)訓練后，通過對邊緣、文字提示和正常圖像的結(jié)合來實現(xiàn)在變電站圖像中任意位置（許多位置工人難以到達但又容易出現(xiàn)異物）生成任意形態(tài)的異物，用于測試算法的能力并進行迭代提升。

實施效果

項目目前已在國家電網(wǎng)某變電站進行了超300個攝像頭點位的部署運行，綜合漏報率低于3%，誤報率低于5%。

正樣本巡視系統(tǒng)采用定時排查和人工下任務(wù)兩種方式，全面檢測所有點位。工作人員在系統(tǒng)中復核告警圖像并清理異物，實現(xiàn)了異常檢測的自動化和智能化。相較于純?nèi)斯げ欢ㄆ谘惨暎�該系統(tǒng)能全天候定時檢測所有場景，顯著減少人力成本，且算法速度快、資源消耗低。每增加一個點位只需額外3MB內(nèi)存和磁盤存儲空間，適用于大規(guī)模部署應(yīng)用。

該項目的應(yīng)用極大地減少了變電站的潛在異常風險，得到了國家電網(wǎng)上海練塘站領(lǐng)導的一致好評，并已開始向全國范圍內(nèi)其他變電站推廣。此外，這種正樣本技術(shù)不僅局限于變電站場景，還可以應(yīng)用于其他工業(yè)和生活場景。

本方案基于攝像頭等國產(chǎn)硬件感知設(shè)備，配合自主研發(fā)基于大模型的正樣本檢測關(guān)鍵技術(shù)，形成整套的解決方案產(chǎn)品；相比于傳統(tǒng)深度學習模型只能檢測固定類別的異常，本項目靈活使用視覺大模型，可以有效檢測出未知的缺陷種類。本產(chǎn)品最早應(yīng)用于變電站異常識別領(lǐng)域，可以檢測出變電站中出現(xiàn)的異�，F(xiàn)象，有效保障電力穩(wěn)定安全運行。從經(jīng)濟的角度為傳統(tǒng)行業(yè)提質(zhì)增效智能化升級、減低人力成本；從社會角度，對各行業(yè)的智能巡檢場景實現(xiàn)“機器代人眼”，對釋放數(shù)字經(jīng)濟潛力、形成新的經(jīng)濟增長點具有重要意義。同時，其應(yīng)用場景除電力外，仍可覆蓋石油、化工、煙草、園區(qū)等需要智能巡視的領(lǐng)域，可提高各個應(yīng)用場景系統(tǒng)運維工作效率與質(zhì)量。