当我们完成了问卷设计，如何判断设置的问题是否有效呢？不妨先从问卷的质量的几个标准来审视自己的问卷：

1、我设置的问题和答案反映了理论变量吗？

2、多个答题者对问题的理解是否一致？

3、答题者能否对问题作出可靠的答案？

第一个问题是问卷的效度，后两个问题是问卷的信度。

简单来说，效度是指你是否问了该问的问题，而信度就是把该问的问题问好。只有把该问的问题问好了，才会形成一份好的问卷，因此，我们也常常把信度看做是效度的一部分。

而在判断设置的问题是否有效时，我们也常常从问卷的信度和效度入手。

如何保障问卷的信度？

问卷的信度是指一个问题可以得到所有调查对象的真实可靠的答案的程度。

举个简单的例子，如问卷中出现的：“你每个月在这家商店购物超过50元的次数是？”答题者将进行两次思考：我每个月去几次？我花了超过50元的次数是？像这样的问题分开来问会更明确。

再举个例子，“过去一个月你向上司咨询过几次？”答题者可能会想，上司是指职级比我更高的所有人还是直属上司？怎样算是咨询？电话还是当面咨询？咨询的内容只限工作吗？还是生活和工作中的问题都可以？……信度较低的问题往往会让答题者产生困惑。

因此，在检验问卷的信度时，我们应该先进行问题的自检：

1、你的问卷措辞是否晦涩难懂

2、问题是否完整和语意明确

3、一个问题是否含有多重语义或变量

4、一个问题是否含有多个变量之间的关系

怎么保证问卷的效度呢？

除了问卷措辞和逻辑的信度外，效度也是我们需要注意的方面，“问该问的问题”看似简单，实则整个问卷的灵*。

效度检验怎么做？

1

研究者自检

第一种方法是研究者自检，当问卷完成后可以把它搁置一段时间，等你快要忘记问卷内容时，再按照定义判断问题的好坏。

在判断问题质量时，应该尽量明确行为和态度的定义。

假如你的问卷中有关于“态度”的问题，如“我常常向同事请教”，相应的行为意向应该是“向同事请教是个好主意”而不是“我的同事都很好”。

处理较复杂的态度和行为问题时，我们可以把近义词放在一起，看看类似的问题是否可以“混过去”，当二者表述了同一个意思，你的问题就需要修改了。

2

焦点小组讨论

第二种方法是对调查对象进行焦点小组讨论，在大规模调查之前先抽取3-12人讨论设计好的问卷。

在看过问卷后，请他们分享自己对这份问卷的理解，比如：“你每月所获得的报酬是多少”，出题者指的报酬往往是既定工资，但答题者可能会产生困惑：“为什么报酬指的是工资而不是综合收入？”然后追问他们理解困难的原因，根据反馈意见修改问卷。

有时候也可以请有经验的学者完成这个过程，即专家评审法。

这种方法反馈效率高，比较适用于组织中的研究。

3

问题分类法

第三种方法是问题分类法，主要分两步。

第一步，研究者把问题一个一张打印在小卡片上，研究者邀请4位调查对象，不告诉他们任何问卷相关的解释，让他们对问题进行分类。这与你原本设置的问题架构可能会不同，需要记录出错的原因，并计算同意程度，这个程度反应了调查对象之间理解的一致性。

第二步，研究者根据之前的反馈修改问卷后，另外邀请4人进行调查，告诉他们题目个数和架构，让他们把不同的问题放到各个架构中。根据他们的分类信息计算同意系数。系数越高，问卷的效度就越高。

把这两个步骤重复进行，便可以不断减少理解问题的误差，直到研究者满意为止。

4

预调查

第四种是预调查，即先做70-人的小规模调查，将收集到的数据计算区别效度和聚合效度，根据统计结果，修改调查工具，再进行大规模的调查。这种方法往往成本更高，也无法得到出错原因。

在实际调研中，如果调查样本不易请到，专家评审法和焦点小组法是最常用的。如果问卷设计中引入如果新的概念和问题，那么测度分类法和预调查法是比较合适的。

思考题

针对某网站做一份购买意愿的用户调研，想得到网站总体的有用性，问卷设计者的问题是这样的：

1、这个网站上的产品价格信息对我非常有用

2、这个网站上的产品描述信息对我非常有用

3、这个网站上的产品多样性对我非常有用

4、产品的多样性对我是否在这个网站购买非常重要

请讨论这些问题的不足之处。