信度指的是一个测量所表现出来的一致性程度,信度高说明测量所得到的结果具有较高的可靠度,不会因为时间、情境、人员以及测题的变化而产生较大的波动。它包括评价者一致性、重复测量一致性以及题目内部一致性。
评价者信度主要用来考察不同评分者对同一评价对象的评分是否具有一致性;重复测量一致性则是主要用来考察一个测验在不同时间以及环境下面测量所得的结果是否具有一致性;内部一致性主要是用来测查一个测验的不同题目是否测量同一结构(这个概念近年来已经受到极大挑战了,项目分析理论认为每一个题目测量的都是独立的结构,不过在经典心理测量理论当中还是非常重要的)。
效度则指的是测量得到的结果是否真正反应你想测的东西。和信度不同的是,它强调的是测量的实际应用价值,但它却是建立在高信度的基础之上的,否则你所得到的测量结果没有任何价值,跟不用谈应用了。但是信度高,效度不一定会高,比如说你拿一个精心编制的测饮食障碍的测验来测抑郁症,即使信度很高,它的效度却很低。可见,效度往往与你如何应用测验得到的结果有关,与你对结果的解释分析有关。如果你设计了一个不错的工具,在测量完以后你计算出了分数以及信度,但是却对结果不做任何形式的解释分析就锁在你的柜子里了,那么它其实是没有效度的。
关于效度目前可以有三种分类:内容相关的效度、标准相关的效度以及结构相关的效度。比较流行的两个效度指标是预测效度和构想效度(也叫结构效度)。
预测效度就是用一种测量方法得到的结果能够预测另外一种测量方法(标准)得到的结果的程度。往往也会用相关系数来表示。这个标准可以是一个人的业绩,也可以使一个人的成绩,反正就是任何一个能够拿来作为标准的测量。而构想效度,似乎更应称作为结构效度,是指的是一个测量方法的结构能否反应某种理论结构,比如说某个智力测验能否反映出PASS理论当中的四个主要模块,即计划,注意力,同时加工和即时加工。这种效度需要用因子分析或者其他更加复杂的分析方法了。预测效度属于第二种效度类型,构想效度属于第三种。