利用数据和证据辅助教育政策制定: 一个分析框架[1]

刘 璟[*]

目前，将西方前沿定量研究方法应用于教育政策分析已成为国内学术界的一种趋势。由于方法论的快速发展，学者们在不断追逐方法的同时，没有多余精力审视如何使用这些方法论，导致现有研究在政策问题与研究方法间的适切性没有得到足够的重视。在中国的教育政策背景下，应如何成为一个对现实世界富有观察力的研究者呢？进一步讲，学者应如何选择适当的方法将数据提炼为证据，从而辅助教育政策制定呢？本文基于作者长达十余年的研究经验与思考，结合美国教育政策研究实例，与青年学者们分享了一个可能的分析框架。

本文主要内容安排如下：（1）数据在政策制定过程中的功能，以标准化考试数据为例，讨论不同标准化考试数据在政策评估研究中的不同功能；（2）数据、证据与教育政策制定之间的关系，明确政策制定的主要目的，选择适当的分析框架将数据提炼为支撑政策制定的证据，三者间存在着唇齿相依、互相联动的互动关系；（3）描述性分析的应用，在学界对此方法普遍重视不足的背景下，着重梳理了目前基于统计描述分析的重要研究；（4）总结。

一、数据在政策制定过程中的功能——以标准化考试数据为例

数据是实证研究开展的基础，不同类型数据所支持的政策研究目的不同。这里的数据是广义的，既包括通过问卷等方法收集的定量数据，也包括通过访谈等获得的定性数据。本节主要使用标准化考试成绩这一较为常见的定量数据，阐述数据在政策研究中的功能。2002年由布什总统推动的《不让一个孩子掉队法》（No Child Left Behind Act）获得通过，该法要求全美各州的每一个学区均要系统性收集学生学业表现数据，其中以标准化考试数据最具代表性。

（一）标准化考试数据的四维功能分类框架

图1是美国哈佛大学教育学院教育测量学者安德鲁·迪恩（Andrew Dean Ho）提出的一个四维象限，该框架是对美国近二十年教育改革的较好总结，它可以从参与规模大小和结果影响高低两个维度来评价四种标准化考试的功能。如图1所示，首先，标准化考试可以从参与规模上分为群体层面和个体层面（纵轴），群体层面进一步可分为班级、学校、州和国家等；其次，标准化考试可以从结果影响上分为高利害和低利害（横轴）。高利害考试对个体和群体的影响较大，例如高考就是一个典型的“一考定终身”的高利害考试，而相对应的还有一些低利害考试，其主要目的是运用考试所提供的信息，进行额外的政策效果评估工作。下面将进一步分象限来讨论，让我们直观地看到同样是使用标准化考试所得到的数据，可以应用在不同目的的政策分析任务中。

1. 群体层面低利害考试的功能：监测（Monitoring Quadrant）。这一类考试的结果并不会对群体造成重大影响，仅用于评估并获取相关教育信息。在美国比较典型的例子是全国教育评估调查（National Assessment of Educational Progress，简称NAEP），它是唯一长期且具有全国代表性的教育评价体系。该考试每两年进行一次，其功能是对美国整体基础教育学生的学业表现进行全面的监测；另一个拥有国际影响力的用于教育质量监测的考试是国际学生评估项目（The Program for International Student Assessment，简称PISA），其功能是比较不同国家之间基础教育学生的学业表现，衡量不同国家基础教育质量在国际上的相对位置。

2. 个体层面低利害考试的功能：课堂诊断（Classroom Quadrant）。这一类考试在美国教育体系内较为普遍，其结果同样不对个人造成重大影响，仅用于收集学生学业表现信息提供给教师，帮助教师进行课堂诊断并不断提高他们的教学表现和质量。

3. 群体层面高利害考试的功能：问责（Accountability Quadrant）。教育问责制可以说是美国教育领域近20年最大的变革之一，与上述两类考试不同，这一类考试的结果将对群体影响较大。具体而言，针对教师群体的教师增值评价，其结果将决定教师的薪酬甚至聘用；针对州内各学区层面所有学校教育质量的考核，其结果将决定学区内表现较差学校能否继续运行。

4. 个体层面高利害考试的功能：选拔（Selection Quadrant）。这一类考试的结果将直接影响学生个体的录取、奖励和能力认证等方面。

图1 标准化考试数据的四维功能分类框架[2]

注：为图表显示简洁，监测象限三项调查使用缩写，具体为：

（1）NAEP：全国教育评估调查（National Assessment of Educational Progress）；

（2）TIMSS：国际数学和科学教育评测趋势调查（The Trends in International Mathematics and Science Study）；

（3）PISA：国际学生评估项目（The Program for International Student Assessment）。

（二）教育政策研究方法的变迁与反思

教育领域系统性数据的涌现与经济学研究方法的引入，客观上造成了目前方法导向研究的大量出现。在2001年及以前，相较于其他社会科学，教育学并非一个以证据为基础、需要严格分析的学科，更多的是在教育哲学层面的思辨分析。而随着2002年《不让一个孩子掉队法》的实施，各州根据法律要求都开展了大规模系统性数据的收集，在州和学区层面逐步积累了大量标准化考试数据，同时包括学校领导、教师和学生信息等方面的学校行政管理数据不断涌现。

数据的“井喷”式增长对教育政策研究方法带来了两方面影响。一方面是数据的不断丰富，为以严谨因果推断为代表的经济学研究方法的引入提供了客观基础；另一方面是数据形式的多样化，也对研究分析方法提出了更高要求。在两方面的作用下，劳动经济学中典型的计量分析方法被引入教育政策研究领域，大量基于实验和准实验方法的教育研究不断出现。

《不让一个孩子掉队法》的实施激起了美国教育政策领域关于研究方法的革命，然而从近年来的发展结果来看，一味重视方法导向的研究并未带来美国教育质量的提升，这便引发了学界对推崇研究方法而忽视其与现实适切性的反思。有学者指出，定量研究方法执着于严谨的因果推断，过多的前置假设导致其对现实世界刻画得过于简单（over simplify things），研究缺乏现实意义。因此，如何审视方法、数据、教育政策本身以及三者之间应是怎样的互动关系，是需要我们进一步深入思考的问题。

二、数据、证据与教育政策制定的关系

在过去的十年间（2010年后），学界开始了对整个方法论的反思与调整。2017年，包括苏珊娜·勒布（Susanna Loeb）在内的多位相关领域专家学者联合发布的研究认为，我们应当用正确的方法去研究正确的问题，学者应更加重视研究问题，而非一味推崇前沿和高深的计量方法。

本文认为，数据、证据与教育政策制定三者之间应是彼此联动、唇齿相依的关系。首先，数据是研究的基础。这里的数据是广义的，既包括传统的大规模调查所收集的定量数据，也包括访谈记录、个体对事物的认知和理解等定性数据。研究者基于这些丰富的数据，才能形成针对研究问题的证据。第二，数据类型的差异导致所形成的证据大不相同，从而可支撑的政策制定问题势必有所区别。第三，教育政策的实施往往会催生特定数据的产生。这也就要求研究者根据政策制定中的问题，选择合适的数据以形成证据，用适当的证据支撑对应的问题。

图2 数据、证据与教育政策制定的关系

（一）教育政策制定的主要问题

从政策实践者角度来看，根据教育政策制定的过程，可以将相关问题归纳为三类。第一是问题诊断，研究者需要判断所要研究的政策问题是否为一个真问题（real issue），以及哪些因素导致了这个问题的出现，最后需要识别出其中最核心的关键因素，围绕关键因素展开分析与研究，尝试通过制定相应的政策加以改变。第二是政策策略的评价，研究者需要评价一个政策的实施能否产生预期的效果。第三是政策评估，政策实施后，研究者需要评估结果如何以及是否实现了政策的预期效果。研究者的最终目的就是使用相关的证据为上述政策问题的解决提供支持。下面将通过一个简化的例子，分别说明三类研究问题。案例的大致背景如下：

学生旷课和较高的缺勤率在美国是一个较为严重的问题，受到美国教育管理者、研究者和民众的普遍关心。一方面，旷课的学生意味着其无法在规定时间内接受学校教育，政府和社会投入在学校的各类资源（资源、设备、师资等）都无法转化为学生的能力，以提高学生的人力资本；另一方面，高旷课率意味着学生有更大概率暴露在暴力、毒品等不良社区环境中，进而导致一些严重的社区问题；最后，如果低收入家庭、少数族裔家庭孩子发生旷课概率更大的话，进一步会导致教育公平的问题。为了制定相应政策解决上述问题，我们尝试利用上述教育政策制定框架对这一问题进行分析。

首先是问题的诊断。我们已经通过上面的分析判断出学生旷课和高缺勤率是一个美国社会各界普遍关注且迫切需要解决的“真问题”，同时学区负责人通过梳理导致学生长期旷课可能的原因，她认为这两所学校的氛围差（poor school climate）是导致高缺勤率的关键原因，包括学校缺乏崇尚学习的氛围、师生间关系不够融洽等。这里需要指出的是，不同于社会学研究，政策研究的出发点和关注点应该是那些可以被改变的方面。在这一个例子中，影响一个学生缺勤率的因素还可能有家庭、社区等多个方面，但作为学区负责人显然无法改变这些因素，而学校管理、师生关系等学校氛围因素是在其职权范围内的。

其次是策略评价。学区负责人认为改善学校氛围是解决学生旷课问题的关键因素后，便提出一个改进措施，即要求校方安排专门的老师，在早晨开学时与学生亲切地打招呼，从而增强师生关系。研究者需要论证这一策略能否产生预期的效果。

最后是政策评估。当政策实施后，学区负责人需要知道这项政策的实施对解决学生高缺勤率的问题是否有效果，以及在多大程度上降低了学生旷课情况，这就需要进行严谨的政策评估。

通过这个例子我们大致了解了政策制定过程中需要解决的三类问题。同时可以发现，在问题诊断、策略评价和政策评估方面，它们的实现都依赖相应的证据作为支撑，而证据的获得需要研究者通过不同的方式进行处理。

（二）证据的分类框架

证据可以理解为通过一定的分析方法，将不同类型数据中的关键信息提取出来，为相应的研究目的提供支撑。当前主流的教育政策研究领域所使用的证据大致可归为四大类。第一种是描述性证据，用以呈现所关注问题的基本情况；第二种是因果推断性证据，用以论证一项政策与相应结果之间的因果关系；第三种是汇总性证据，用以总结针对某一问题已有的研究成果；第四种是过程性证据，用以回答一项政策如何发生以及为什么会发生，这一类问题难以用描述性证据或因果推断性证据来支撑，需要更多依靠质性数据。

图3 教育政策研究领域主流分析方法[4]

（三）政策问题与证据类型的关系

根据政策研究所针对的研究问题的不同，所依赖的证据类型也不尽相同。下面的框架图（图4）大致呈现了政策问题与四种证据类型间的关系。需要指出的是，现实的复杂性使得二者间很难建立固定的对应关系，在政策分析中仍然需要结合研究实际需要做出判断。首先，问题诊断通常需要汇总性证据和描述性证据，研究开始前需要通过汇总性证据对相关问题已经积累的知识有尽可能的了解，并且通过描述性证据对相关问题的整体特征有一个宏观掌握。第二，政策评价问题通常需要过程性证据，以便对政策实施过程中的各个环节展开评价。第三，政策评估通常与因果推断性证据相结合，但通常也结合描述性证据和过程性证据，以便确定政策与实施效果间真实的因果机制。

可见，不同类型证据的功能和作用不尽相同，并不存在哪一类证据更加重要的区分。为了评估一项政策实施效果如何，研究者需要综合运用不同类型证据，论证不同的政策问题，实现最合意的政策效果。

图4 教育政策问题与教育研究方法对应关系

（四）描述性证据与因果推断证据的简单辨析

在实际的研究过程中，描述性证据与因果推断性证据所适用的研究问题仍然容易混淆。实际上，适用因果推断性证据的政策问题主要涉及清晰的对比，侧重对问题中核心因果关系的识别，而通常不涉及对问题整体特征的描述；而适用描述性证据的政策问题往往是探讨一个政策问题的若干特点，无法证明政策问题中的具体因果关系。总之，通过数据观察到事物的变化和特征，而不能直接的进行归因，这就是一个描述性问题，反之就是因果推断问题。以在线教育为例，当研究者希望比较其与实体教育学习效果哪一个更好时，这就包含了一个非常直观的因果关系，涉及一对清晰的比较，因此这是一个因果推断问题；当研究者希望了解在线教育的基本特点时，比如描述谁在接受在线教育？学生在线教育中的时间是如何分配的？以及学生是如何接受在线教育的？回答这些问题时不涉及判断，也不需要建立因果关系，而是需要将整个过程或情景刻画出来，这便是一个典型的描述性分析问题。再比如，针对疫情对教育公平的影响，一个典型的因果推断问题是关注疫情是否加剧了教育不平等，这时的表述指向一个明确的判断，即要么疫情加剧了教育不平等，要么疫情没有加剧教育不平等。而此时如果研究者希望进一步讨论疫情对不同收入家庭子女的学习成绩有什么影响时，这就提出了一个描述性问题，因为回答这一问题需要分别比较疫情前后高收入与低收入家庭子女的学习成绩变化情况，给予客观的描述，无法给出一个明确简单的“是”或“否”的判断。

三、描述性研究的应用

上文提到，近年来教育政策研究经历了从重视前沿方法向重视研究问题的转向，越来越多的学者意识到研究方法并没有优劣之分，关键是要将研究问题与合适的研究方法联系起来。虽然描述性研究方法一直以来没有得到学者们的足够重视，但仍然有一些高质量研究可供借鉴。本节挑选了教育政策领域较为经典的使用描述性分析的研究，大致分为作为独立研究和作为因果推断研究组成部分两类。

（一）作为独立研究的描述性研究

1. 时间关系的研究[5]

在时间维度上，描述性研究可以直观呈现一个政策问题在一段历史时期内的变化情况。这里所展示的研究利用描述性统计方法，在一个长时段上考察了美国不同收入家庭子女学业表现差距不断扩大的事实，该研究认为教育政策重点应当进行一个重大的转向，由重点解决不同种族子女教育公平向重点解决不同收入阶层子女教育公平转向。图5中，横轴表示不同的出生年份，纵轴表示高低收入组家庭和白人黑人家庭子女标准化考试成绩的差异，由于目前没有任何一个数据集能够覆盖如此长时间跨度，因此作者使用了多达十余个数据集，进行了大量的教育测量方面的调整工作，以便不同数据集中的学生成绩能够可比。

从结果上来看，在美国过去60年间，不同种族子女的学业表现差异在不断缩小（由约1.4个标准差下降到0.5个标准差左右），而不同收入家庭子女的学业表现差异却在不断扩大（由约0.6个标准差上升到约1.25个标准差）。研究认为，美国政策制定者持续关注如何缩小不同种族子女间学业表现差距，并取得了非常好的成果，但以家庭收入为基础的子女间学业表现差距却一直在上升。因此，应当调整已有的政策重点，从过去持续致力于解决种族间教育差异，转变到解决家庭收入间教育差距。

图5 1943-2001年美国不同收入和种族（黑人/白人）子女阅读能力差距变化[6]

注：为图表显示简洁，图例相关研究使用缩写，具体为：

（1）TALENT：美国人才项目（Project Talent），1960年发起实施的面向44万余名美国高中生的追踪调查；

（2）NLS：全国追踪调查（National Longitudinal Study）；

（3）HS&B：全国高中及以上学生追踪调查（High School and Beyond Longitudinal Study ）；

（4）NLSY79/97：1979年/1997年全国青年追踪调查（National Longitudinal Survey of Youth）；

（5）NELS：全国教育追踪调查（National Education Longitudinal Study）；

（6）Add Health：全国成人健康追踪调查（National Longitudinal Study of Adolescent Health）；

（7）Prospects：国会授权的教育增长与机会调查（The Congressionally Mandated Study of Educational Growth and Opportunity）；

（8）ELS：教育追踪调查（Education Longitudinal Study）；

（9）SECCYD：早期儿童照护和青年发展调查（Study of Early Child Care and Youth Development）；

（10）ECLS- K：早期儿童追踪调查-幼儿园组（Early Childhood Longitudinal Study）；

（11）ECLS- B：早期儿童追踪调查-新生儿组（Early Childhood Longitudinal Study）。

2. 相关关系的研究[7]

描述性方法被大量用于两个变量间相关关系的讨论。这里的研究基于大规模的脸书（Facebook）社交网络数据，考察了衡量社会资本的不同测量方法，以及他们与社会经济流动性之间的关系。社会经济流动性主要指收入向上流动性（upward income mobility），指儿童在低收入家庭成长条件下提高收入的机会概率。社会资本是社会学研究中的重要概念，同时也拥有众多不同的定义，衍生出了多种测量方法。从已有研究来看，通常单一的数据集仅能测量某一类社会资本，但由于社交网络数据中包含了个体的交友、社群参与、留言互动等多维度信息，使得本研究能够同时使用多种标准衡量个体社会资本，对社会资本与社会经济流动展开分析。

如图6所示，研究将社会资本分为三类（纵轴），分别是交叉联结型，即不同类型的人（如高、低收入）相互交叉的关系；网络凝聚型，即不同网络聚集为若干小圈子；公民参与型，即个体参与公民组织的程度；横轴是县级层面经过人口加权后个体向上经济流动性相关系数。

结果显示，在众多社会资本类型中，仅有交叉联结型联系中的经济联结（economic connectedness）与个体收入向上流动性显著正相关。换句话讲，对于低收入个体而言，与高收入个体建立联系后对其收入的上升具有显著正向影响。当低收入个体拥有了高收入朋友时，在榜样效应（role model effects）的作用下，可以激励他们更努力地工作，从而获得收入的增加机会。

通常认为，人群具有同类聚集趋势，高收入人群与低收入人群之间会产生分化，而社会群体持续分化将使阶层固化，这是一个非常危险的信号，对社会长远的健康发展和经济繁荣都是非常不利的。本研究的意义在于，其利用简单的相关分析，证明了经济联结指标能够较好地预测人们的向上经济流动性，将为后续的研究提供重要的借鉴意义。

图6 县级层面收入流动能力和不同社会资本测度方式相关关系

3. 空间关系的研究[8]

描述性分析方法在空间上能够呈现相关问题在宏观整体层面的分布特征。这一研究基于美国税收数据中的个体收入数据，计算并绘制了美国县级层面的代际经济流动性情况。本研究中的代际经济流动性是指最低10%收入家庭子女最终成为最高10%收入群体的概率。如图7所示，颜色越深表明当地代际经济流动性越弱，颜色越浅表明代际经济流动性越强。结果显示，美国整体的代际经济流动性在空间分布上出现了分化，西部整体流动性更强，东部整体更弱。

图7 美国县级层面代际经济流动性情况

（二）作为因果推断研究组成部分的描述性研究

1. 高分低收入学生的隐性供给[9]

描述性研究能够作为很好的诊断工具，通过诊断识别“真问题”以及可能的关键原因，为后续因果推断研究提供指导。这一研究基于哈佛招生数据，试图去解释美国顶尖高校中来自低收入家庭的孩子比例偏低的问题。

如图8所示，横坐标表示学生的SAT成绩与所进入学校SAT成绩中位数的差值，越靠近原点表示这一差值越大，即高成绩的学生进入了低录取要求的学校，反之则表示自己的成绩与录取结果是匹配的。结果显示，很大比例高收入家庭子女的成绩与所录取学校的要求非常接近，也就是说高收入家庭子女大部分都能够进入和他们能力匹配的学校；对于中等收入家庭子女而言，这一数量急剧下降，但相比于低收入家庭子女来说，仍然有更高比例学生能够进入相匹配的学校；重点是低收入家庭子女，他们的分布在横轴上较为平均，意味着他们中很大比例成绩优异的学生并没有进入与其成绩匹配的学校。

通过对不同家庭收入组学生成绩与就读学校成绩差值的统计描述，该研究发现，低收入家庭中成绩优异的学生申请名牌大学的可能性远远低于高收入家庭同样成绩优异的同龄人。研究识别出这一问题后，进一步分析了可能的关键原因，发现这些学生甚至不知道自己有资格申请名牌大学，而这些顶尖大学提供的奖助学金政策可以使他们的实际上学成本基本降为零。而这一研究直接为本文作者随后一个非常有影响力的因果推断研究提供了基础。

注：由于灰度打印无法区分不同颜色，最上部为紫色，中部为棕色，底部为蓝色。

图8 美国不同家庭收入阶层子女SAT成绩与所就读学校SAT平均成绩差异

2. 高中生部分旷课现象的原因分析[10]

该研究使用美国某学区行政管理数据，研究关于学生旷课的问题。如图9所示，横坐标代表不同年级，纵坐标代表缺勤率。通过分析，作者发现学区负责人所关心的全天旷课（full-day absenteeism）问题虽然存在，但非全日旷课现象更加普遍，已经占到全部旷课规模的一半多。研究对数据进行统计描述分析后，诊断出了更加值得关注的研究问题。

随后，研究者希望进一步识别出影响学生是否旷课以及选择缺席什么课程的关键因素。已有研究证明了教师对基础教育质量具有重要影响，早期研究关注到教师对学生成绩的影响，随后学界逐渐开始关注教师对于学生是否还有其他影响。由此作者提出假设，教师的行为是否是学生选择旷课的一个关键因素呢？例如学生对教师的偏好或教师对学生的态度可能会影响学生旷课与否的行为决策。

基于对学生出勤数据的统计描述分析，作者进一步构建了一项因果推断研究，通过增值模型估计了教师对于学生出勤率的影响效应究竟有多大。

图9 不同年级全日和非全日请假/旷课情况

四、结语

本文首先以标准化考试数据为例，介绍了数据在政策制定过程中所承担的不同功能，以及由此产生的关于教育政策研究方法的变迁与反思。随着2001年美国联邦政府《不让一个孩子掉队法》的实施，各州陆续开展了大规模、系统性的学生数据收集工作。海量数据为不同的政策制定提供了支持，包括群体层面低利害考试数据的教学监测、群体层面高利害考试数据的教育问责、个体层面低利害考试数据的课堂诊断以及个体层面高利害考试数据的选拔。伴随着数据的“井喷”式增长，劳动经济学中典型的计量分析方法被引入教育政策研究领域，大量基于实验和准实验方法的教育研究不断出现。然而从近年来的发展结果上看，一味重视方法导向的研究并未带来美国教育质量的提升，这便引发了学界对推崇研究方法而忽视其与现实适切性的反思。

其次，本文基于过去十年间学界对整个方法论的反思与调整，阐述了教育政策制定的主要问题、证据的分类框架以及数据、证据与教育政策制定之间的关系。从政策实践者角度来看，根据教育政策制定的过程，可以将相关问题归纳为三类（问题的诊断、策略评价和政策评估）。进一步讲，不同的政策问题需要使用不同的证据（描述性证据、因果推断性证据、汇总性证据和过程性证据）予以支持，而随着数据量的丰富和研究方法的发展，本文认为数据、证据与教育政策制定三者之间应是彼此联动、唇齿相依的关系。具体来讲，数据是基础，数据类型差异导致所形成的证据类型的差异，从而可支撑的政策制定问题势必有所区别，而教育政策的实施往往会催生特定类型数据的产生。

最后，本文就描述性问题和因果问题进行了针对性辨析，并且详细介绍了若干篇经典的描述性研究。在实际的研究过程中，描述性证据与因果推断性证据所适用的研究问题仍然容易混淆。总体来看，适用因果推断性证据的政策问题主要涉及清晰的对比，侧重对问题中核心因果关系的识别，而通常不涉及对问题整体特征的描述；而适用描述性证据的政策问题往往是探讨一个政策问题的若干特点，无法证明政策问题中的具体因果关系。通过本文介绍的三篇经典研究能够发现，数据类型、研究方法与政策研究问题之间并无绝对的固定关系，描述性数据和分析方法既可以作为独立研究，也可以作为因果推断研究的组成部分。

综上所述，本文认为数据是实证研究开展的基础，学者应根据不同的研究目的选择合适的数据和恰当的方法，从而得到稳健的研究结论以支持政策的制定。

---