用户体验 用户研究

定性研究中我们应该需要多少个案样本才能达到我们研究目的?

0
登录或者登记去做吧。

#用研##用户体验#本文是对芝大社会系Mario Small教授在2009年发表的一篇文章的要点概括, 文章详细阐明了应该如何考虑“定性研究中我们应该需要多少个案样本才能达到我们研究目的”这个困扰诸多青年学者的问题。不得不说,Small的论述逻辑环环相扣,在破除了一些迷思的同时,也借助生动的实例详细阐明了为何他所建议的方法(即所谓“extended case study”-扩展个案法,和“sequential interview”-序贯访谈法)对于我们研究目的的达成更为有效。Small的文章相对深入浅出,思路清晰,这可能也部分说明了为何这位博士毕业才13年的学者已经拿下芝大杰出教席(Distinguished Service Professor)的原因。

论文详细信息如下:

Small, Mario L. 2009. “‘How Many Cases Do I Need?’ On Science and the Logic of
Case Selection in Field Based Research.” Ethnography. 10(1): 5-38.

以下即为对论文要点的大致梳理:

在当今不少的社科研究领域,采用民族志研究法和更为广泛意义上的质性研究法的学者都在面临一个挑战:是否有必要要按照定量研究的基本法则来设定定性研究的基本标准?定性研究者所面临的窘境在美国社会学的都市贫困、不平等和移民研究的领域中体现得尤为明显。在这些领域中,由于采用定量研究法(甚至是人口学方法)的学者众多,定性研究者所发表的文章也经常会被定量学者所审阅(peer-reviewed)。为了迎合定量研究者的期待,这些领域的定性研究者也逐渐开始讨论自己研究个案是不是具有“代表性”(representative),自己的研究能不能概括其他相似个案的情况(generalized)的问题。例如,当一个学者研究密苏里州圣路易斯市的黑人社区的基本状况时,他会知道很多读者都在期待从他的研究中了解到更为普遍的美国黑人聚居区的情况而不是仅仅局限于那个圣路易斯社区。于是,在他的论文中,他会专门辟出一个章节来讨论他的那个社区个案是不是被随机选取的,样本是不是富有代表性同时没有偏差(unbiased),这个个案是不是能告诉我们关于美国黑人社区的总体(population)状况。但是Small在这里所指出的是,定性研究者在这种风潮中只是使用了一些定量和统计研究的术语来迎合定量研究者的口味,但却不明白定性研究自身的目的(objective)究竟是什么,也不明白个案研究到底能怎样加深我们对于总体状况的把握。

通过两个例子或许我们能更好理解其中存在的问题。这是第一个例子:Jane是一个低年级研究生,她想研究美国的工薪阶层黑人对移民法案的态度是怎样的。她计划对35个人展开半结构式访谈,为了使她的研究变得更科学,更能推断总体(generalizable),她的导师建议她首先找到一个有很多工薪阶级黑人的美国城市,获得一本电话黄页,再随机从中抽样100个人。Jane照做了。这100个人中,60个拒绝访谈邀请,40个人同意,其中35个人的访谈被完成。同时,恰巧城市种族分隔严重,抽样框里的100个人都是黑人,于是Jane参考了一些经典研究的实施过程,很有信心地总结说她所访谈的35个人能够反映美国工薪阶级总体的态度。

这个研究中有两个问题。其一,35个访谈人的样本可能存在偏差,因为这些人都是足够友好来接受一个陌生人邀请的人,他们可能和别的人群对于移民有不同看法。同时,她也不知道剩下没接受访问的65个人的反映会是如何,也不知道别的城市的黑人反映如何,这个样本其实不能帮我们推断总体状况的;其二,这个研究中可能牵涉到了复杂的因果关系和很多待研究的关键变量,要推断总体中这些变量的相关机制可能需要的是大样本的调查研究(survey),深度访谈本身的样本量肯定是不足够的。所以,如果有的研究者从Jane的研究中的某些环节具有随机性(如在黄页中随机找寻访谈者联系方式)来认定这个研究具有代表性,那么这只不过是使用了定量研究中的话语来自我欺骗而已,因为定量研究所真正需要的随机性和大样本的条件都没有得到满足。因此,对于Jane想做的这个研究来说,无偏性和代表性这两个标准都不是合适的评判标准。Jane现在所能做的要么是放弃研究,要么是改变她对于研究结果的解读方式(以下会详细解释)。不过要强调的一点是,对于深度访谈这种定性研究法强加上“代表性”的评判准则是错误的。

我们再来看第二个例子,这次我们的主人公是想做民族志的研究生Bill。他想研究社区贫困是如何影响婚前女性的婴儿出生率的。同时,和Jane一样,Bill想让他的研究能够延伸到对于其他相似贫困社区的了解上。为了保证这一点,他看了一本经典教材,书上是这么说的:“为了使得民族志的研究对象具有代表性,我们需要保证这是一个各项特征位居全国平均水平的社区”。于是,Bill翻了人口统计资料,找到了一个符合他理想中的贫困社区的特征的社区(有40%贫困率,60%的黑人人口,80%的家庭户主是女性,社区垃圾遍地,满目疮痍)。因为他确信这个社区代表了美国贫困社区的平均水平,于是他确信这个社区有代表性。

同样,这个研究有两个问题:其一,他缺乏对美国贫困社区特征的详细考量标准,他所认定的“平均状况”只是他自己脑海中的想象(包括所谓的垃圾遍地,满目疮痍,都是来源于相关电影中的呈现),所调查的社区可能和真实世界中各项指标位于平均水平的贫困社区完全不相似;其二,他混淆了“平均水平”和“代表性”两个概念。代表性指的是所研究社区的特征和该社区所在的社区总体的特征相似,而我们在一个个案中无法知道总体的状况是如何的(满足一系列指标的平均数并不能告诉我们待研究的总体的特征是怎样的)。所以,无论Bill对于这个各项指标位于平均水平社区进行了多么细致入微的民族志分析,这还是不能告诉我们与这个社区相似的其他社区的状况是如何的。

我们可以发现,Jane和Bill所进行的研究都不能告诉他们总体的情况是如何的。对这个问题有三个解决办法:1)第一是直接忽略这个问题。这个办法有时候是管用的,特别是在常人方法学(ethnomethodology)的研究中。因为在这些研究中,研究者关注事件和个人行为是如何被当时当地的特定场景所模塑的。从这点上说,研究者只关注这一个个案的场景,由此,关注某个个案的结果能否被推广,关注其他个案里有没有相似情况出现是没有意义的(beside the point)。不过不是所有的研究的视野都只局限在一个个案之内。2)第二种处理方法就是把个案研究当做是产生特定研究假设的过程(这一点将在下文详细论述)。不过要先提的一点是,采用的不同研究策略也决定了提出的假设好坏。3)而第三种处理方法即是,研究者不仅能把个案研究当做是产生特定假设的过程,更是在寻求“我们的个案是不是能揭示其他相似个案的情况”这个我们最初想要探求的问题,也是Bill和Jane最想知道的问题。以下,作者将描述布洛维(Burawoy)和米歇尔(Clyde Mitchell)提出的“扩展个案法”和殷(Yin)提出的“序贯访谈法”是不是能完成Bill和Jane想要达到的目标。

首先在布洛维所说的扩展个案法里,他关注的是个案和更广的社会环境之间的联系,即我们如何在一个特定个案里“见微知著“地探知到更广的社会结构对其的影响。在这里,布洛维探究的不是“统计显著性” (即带有相似特征的总体的特征),而是“社会显著性”,即这个个案中告诉了我们多少有关社会结构的信息。换言之,布洛维所说的扩展个案法最主要是能帮助我们重构一个理论。比如说,有一个理论会认定小规模的NGO一定要和其资金提供保持稳定联系才能保证自身能存活超过五年。而扩展个案法的研究者会发现一个例外个案,即一个特定的NGO没有和资金提供者的稳定联系却存活了超过十年。那么,对于这一个个案的探究(为什么会有这样的情况?这个组织是怎么存活的?)有助于我们更新和重构这个理论。但是,布洛维的扩展个案法只能通过使用特殊或极端个案来验证既往理论,但是却不能满足Bill和Jane的需求,因为这个并没有直接回答我们的最关注的问题。

而米歇尔版本的扩展个案法比起布洛维的版本有所进步。布洛维关注的是外在的结构性因素如何影响本地个案的,而米歇尔关注的是一个个案如何能揭示出一整个社会过程(process)和过程的内部机制(mechanism)。具体来说,米歇尔认为个案研究并不能告诉我们某个个案是不是能够在统计上代表总体(如我们无法在个案研究中逻辑推断出“所有和A组织处于同一类别的组织都有a特征”),而是能帮助我们了解“在X情况下,Y现象是否出现和W因素有关”。如,Bill在他的研究中可能会发现在犯罪猖獗的时候,一个社区里部分人会各自躲在自己家中不出来,而另一部分人会组织起来联合抗击犯罪。而通过进一步研究,Bill发现那些联合抗击的人们往往和这个社区有更强纽带,他们家族更倾向于世世代代生活在这里。所以,我们就能给出以下这条研究假设“在犯罪猖獗情况下,社区成员能否联合抗击犯罪与他们和社区的家庭纽带有关”。总的来说,在米歇尔眼里,个案研究能帮我们提出一些高质量的待检验的假设,假设中往往蕴含着对某种机制和因果纽带的论述(虽然验证该假设可能需要定量研究的支持)。同时,他也重申了个案研究无法告诉我们与统计显著性相关的结论。但米歇尔仍然没有帮我们回答最关键的问题,即我们的个案多大程度上能告诉我们与之相似情况的个案的特征。

在作者看来,这个问题能在罗伯特·殷提出的“序贯访谈法”(sequential interview)里被克服。殷首先清楚地区分了“抽样逻辑”(sampling logic)和“个案逻辑”(case study logic)这一对概念。在抽样逻辑中,我们的研究遵循典型的抽样调查的逻辑:即我们所需的样本数是预先能通过计算设定的,样本要有统计代表性,所有个体都有等可能被抽中,所有的被访者可能都面对的是同一份标准化问卷。如果研究过程被严格执行,我们能从样本特征中推断出总体特征(在一定的抽样误差范围中)。这种研究的目的是确保样本在某一特征上的分布和总体分布大致相似。

而个案逻辑却全然不同。这里的逻辑是,每一个个案都能帮助我们一点点,一步步更准确了解我们的研究问题。在这种逻辑中,我们不到研究结束是不确定我们所需的个案数的,个体也不需要有代表性,其被抽中的概率也不需要一样,不同被访者或许会被问不同问题。前一个个案中的结果会帮助我们提出在下一个个案中我们所要问的问题(所以说这是有时间顺序的访谈法,即序贯访谈)。我们所要达到的目标就是“饱和”(saturation),即对于某一个问题有全面的了解。

举Jane的例子来说,她想研究工薪阶层的美国黑人对移民问题的看法,她一开始是不知道要访谈多少人的,但她明白自己的研究目标是要全面了解她的研究问题,即工薪黑人对移民问题的看法是怎么样的。于是她开始访谈一个人,两个小时后,这个被访者告诉她了一段她小时候被拉丁裔移民歧视的经历,并告诉Jane她并不支持鼓励移民的法案。通过这个访谈,Jane就可以提出假设:工薪阶层的黑人会因其受过拉丁移民的歧视(自身经历)而对移民法案有一个特定认知。之后,她就可以寻找那些同样受过拉丁移民歧视的黑人,问询他们的态度,并同时问那些没经受过拉丁移民歧视的黑人的意见,来验证她的假设。之后,她可以再延展出去,看看受过其他族裔移民(亚裔,欧洲裔)歧视的黑人的态度是如何的,这种早年经历和黑人对移民法案的认知之间的联系究竟是如何的。当她访谈很多人之后,当每个新的被访者告诉她的信息都是她基本已经知道了的时候,此时,她就达到了研究目的:饱和状态。所以在这里,Jane的研究里完全没有抽样逻辑:被访者没有所谓的代表性,每个人被问的问题都略微不同(这里的问题取决于前一个访谈里的发现),Jane也没有想要减小统计误差,她的访谈者也没有告诉她研究总体的分布情况,但是,通过这个研究,Jane能很有自信地通过经验研究说明,早年经历会影响黑人对移民法案的认识,并且,在研究结束的时候,她才知道,多少个个案研究是足够的。

所以作者的结论是,尽管在定量研究中抽样逻辑能帮助我们准确地、描述性地(descriptively)说明某个特征在我们所关注的研究总体中的体现,但是我们在个案研究中无法也不需要遵循这样的抽样逻辑。使用扩展个案法,我们可以修正一个理论并提出一个高质量的假设,哪怕我们只有一个个案;而个案逻辑(即序贯访谈法)不仅适合应用于定性研究(访谈或者比较个案),同样也能十分有效地帮助我们回答我们最为关注的核心研究问题(即“怎么样”和“为什么”的问题)。

来源:社会学吧        作者:Mario Small教授

关于用户体验设计中最常见的误解&为什么他们不适用?
交互设计快速检查清单 Interaction Design Quick Checklist