- A+
理解和解释深度学习模型的决策过程和原理。
1 特征可视化
通过可视化神经网络的中间层来理解模型是如何识别和处理输入的,比如卷积核可视化是一种找到使某个卷积核输出最大的图像,从而理解该卷积核关注的特征的方法。
2 模型敏感性分析
通过改变输入并观察输出的变化来理解模型对输入的敏感度,例如,可以通过添加噪声或者移除某些特征,然后观察模型的输出是否发生变化,以此来理解哪些特征对模型的预测最重要。
3 局部可解释模型
局部可解释模型(LIME)通过在输入空间中采样,并在这些点上训练一个简单的模型(如线性模型),来近似原始模型的行为,然后通过解释这个简单模型来理解原始模型的行为。
4 深度学习解释器
(SHAP,DeepLIFT等算法)量化每个特征对模型输出的贡献的方法,这些方法可以帮助理解哪些特征对模型的预测最重要,从而提高模型的可解释性。
4.1 SHAP算法
传统的 feature importance 只告诉哪个特征重要,但并不清楚该特征如何影响预测结果。SHAP 算法的最大优势是能反应每一个样本中特征的影响力,且可表现出影响的正负性。SHAP算法的主要思想为:控制变量法,如果某个特征出现或不出现,直接影响分类结果,那么该特征一定是比较重要的。因此,可以通过计算该特征出现或不出现的各种情况,来计算其对于分类结果的贡献度。在 SHAP 算法中用沙普利(Shapley )值表示不同特征对于预测结果的贡献度。Shapley 值是博弈论中使用的一种方法,它涉及公平地将收益和成本分配给在联盟中工作的行动者,由于每个行动者对联盟的贡献是不同的,Shapley 值保证每个行动者根据贡献的多少获得公平的份额。
4.2 DeepLIFT算法
DeepLIFT(Deep Learning Important Features)通过计算特征对模型预测的贡献来理解输入特征的重要性。DeepLIFT主要是为了解决梯度消失和梯度爆炸问题,提供比简单梯度方法更稳定和直观的解释。它具有以下优点:
- 更稳定:DeepLIFT通过使用参考基线和比例因子解决了梯度消失和梯度爆炸问题,比简单梯度方法更稳定。
- 直观解释:它提供了更直观的特征重要性解释,有助于理解模型的内部机制。
5 神经网络剪枝
一种可以简化模型的方法,它通过移除不重要的神经元或者连接来减少模型的复杂性。这样可以使模型更容易理解,从而提高其可解释性。