在上一節(jié)中我們介紹了建模后深度學習可解釋性方法之一：隱層分析法，但我們也會發(fā)現(xiàn)隱層分析法的一個問題在于，通過端到端訓練的隱層很多時候并沒有什么特定的含義，多數(shù)依賴我們的主觀判斷。但是深度學習模型中往往只有輸入層對我們來說才是有意義的，所以了解深度學習模型的一個更直觀的方法是通過研究輸入層的變化對結果的影響來判斷輸入變量或輸入樣本的重要性，這也是通常所說的敏感性分析方法。

敏感性分析（Sensitivity Analysis）是一類非常重要的，用于定量描述模型輸入變量對輸出變量的重要性程度的方法，在經(jīng)濟、生態(tài)、化學、控制等領域都已經(jīng)有了非常成熟的應用。假設模型表示為  ，敏感性分析就是令每個屬性在可能的范圍變動，研究和預測這些屬性的變化對模型輸出值的影響程度。我們將影響程度的大小稱為該屬性的敏感性系數(shù)，敏感性系數(shù)越大，就說明屬性對模型輸出的影響越大。一般來講對于神經(jīng)網(wǎng)絡的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來檢驗輸入屬性變量對模型的影響程度，樣本敏感性分析用來研究具體樣本對模型的重要程度，也是敏感性分析研究的一個新方向。

1. 變量敏感性分析

神經(jīng)網(wǎng)絡中的變量敏感性分析方法大概有以下幾種：基于連接權的敏感性方法，基于偏導的敏感性分析方法、通過改變輸入變量觀察其影響的方法和與統(tǒng)計方法結合的敏感性分析方法。

基于連接權的敏感性分析方法

基于連接權的方法中比較有代表性的工作是Garson等人1991年在《Interpreting neural network connection weights》提出的方法，這種來自于“遠古時期”的智慧相對來說就要簡單粗暴一點。輸入變量  對輸出變量 的影響程度為：