简介
由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化。
| PSI<0.1 | 0.1~0.25 | PSI>0.25 |
|---|---|---|
| 稳定性很高 | 一般 | 稳定性差 |
计算
其中：$Ac$是实际占比；$Ex$是期望占比
计算PSI
将数据集划分为base与test两个数据集。
模型
- 将基准数据集
base的score划分为10个区间，将测试数据集test的score按照相同的边界值划分为10个区间 - 分别统计各个分区基准score的个数$B_i$、预测score的个数$T_i$
- 分别统计各个分区基准score的个数比例$P_B$、预测score的个数比例$T_B$
- 计算 $PSI=\sum {\left(P_B(i)-P_T(i) \right)} \times {ln(P_B(i)/P_T(i))}$
特征
- 将基准数据集
base的特征划分为10个区间，将测试数据集test的特征按照相同的边界值划分为10个区间 - 分别统计各个分区基准
feature的个数$B_i$、预测feature的个数$T_i$ - 分别统计各个分区基准
feature的个数比例$P_B$、预测feature的个数比例$T_B$ - 计算 $PSI=\sum {(P_B(i)-P_T(i))} \times {ln(P_B(i)/P_T(i))}$