你听说过辛普森悖论吗?
来源:袁卫/《统计方法在法律和法庭审判中的应用》演讲词
曾任中国人民大学常务副校长、统计学教授、博士生导师的袁卫早在2005年7月份做了《统计方法在法律和法庭审判中的应用》的演讲。演讲中他着重解释了辛普森悖论——数据分析中局部与全部存在差异,有时方向和结论完全相反,原因往往是结构的问题,用统计专业的术语表达就是“权数”的问题;因而在将数据分析应用于法庭时要格外小心,小心数据构成的结构问题。今天让我们通过演讲中提到的三个由复杂到简单的例子,来看看这个悖论产生的原因吧。
第一个例子:死刑判决中是否存在种族歧视。请看下面的数据:
我们可以看到,一共是326个案例,被告的种族被简单地分为白人和黑人两类,其中160个白人被告,166个黑人被告,共36个被判死刑。
悖论是:我们首先这样看,160个白人被告中19人被判死刑,死刑判决率是12%,166个黑人被告中17人被判死刑,死刑判决率是10%,所以如果这样看,白人的死刑判决率高于黑人。
但是如果考虑到受害者的种族,则结论完全相反:如果被害人是白人,63个黑人被告中,有11个被判死刑,死刑判决率是17.5%,白人被告的死刑判决率则是12.6%;如果受害者是黑人,则白人的死刑判决率是0,黑人是5.8%,即如果考虑了受害者的种族,黑人的死刑判决率高出5个百分点。
我们继续看下一个例子:航班晚点。
下面是美国两家航空公司在五个机场一个月的航班准时率的数据,左边是阿拉斯加航空公司、右边是西部航空公司,五个机场都是在加州。延误的航班次数除以总的航班次数,得到的就是延误率,那么准时率也就知道了。
总的来看,阿拉斯加航空的准时航班是3274次,延误501次,一共发出了4275次航班,总的延误率是15.3%。西部航空公司一共有7100次航班,延误率是12.2%。这样看是西部的延误率低一些。
但是大家再看表内各城市的延误率:在洛杉矶,阿拉斯加是12% ,西部是16%;在凤凰城阿拉斯加是5%,西部是8%,后面几个也是一样。也就是说,在所有的机场,西部的延误率都比阿拉斯加的高,但是最后总的延误率却是西部较低。
仔细看表,大家就会发现问题所在:
西部航空公司一共有6400多正点航班,但有4840次都在凤凰城,也就是说,几乎四分之三的西部正点航班都在凤凰城,而凤凰城的延误率是5个机场里面最低的,所以就把西部总的延误率降低了。这是因为西部航空公司的总部在凤凰城,以此为中心向四周发散,而阿拉斯加的总部在西雅图,因此阿拉斯加一多半的准点航班出现在西雅图。
用统计学理论解释悖论的原因就是整体和局部的权数不一样,结构不一样。
我们再看第一个例子,160个白人被告中有151个对应着白人受害者,166个黑人被告中的63个对应白人受害者,103个对应黑人受害者,也就是说,黑人被告伤害的既有黑人又有白人。也是结构不同的问题导致了这个悖论的产生。
我们再看一个简单的例子:高校录取问题。
假设某高校只有两个系,财经系和工程系。该校报考及录取的总体情况如下:
如果总的来看两个系的情况,男生报考800人录取350人,录取率44%;女生600人报考录取200人,录取率33%。那么是不是可以得出结论说这个学校歧视女生呢?
我们用统计方法向法庭提供证据,一定要十分慎重小心。再看下面一张表:
这是工程系和财经系各自的录取情况:有800人报了工程系,其中男生600人中录了300人,女生200人中录了100人,录取率都是50%。600人报了财经系,男生报了200人录了50人,女生报了400人录了100人,录取率均为四分之一。这么看起来没有什么性别歧视。
而问题的关键就在于,四分之三男生报了工程系,三分之二的女生报了财经系,仍然是结构的不同导致了悖论的产生。