原题:欧盟职业教育学习成果质量评估的EXPERO模型探析
作者简介:王永林,东华大学高等教育研究所副研究员,管理学博士。上海 201620
内容提要:EXPERO模型旨在通过对学校主要利益相关者在教学不同阶段反馈的信息进行比较分析,来评估职业教育学习成果的质量。它以利益相关者的理想“期望”与现实“感知”的比较为基本特色,强调对学生能力素养的考察,突出职业教育的核心特质,指向持续改进;注重利益相关者的获得感与实际体验,彰显教育评估的人本属性;赋予利益相关者明确的评估职责,践行评估主体多元化;促进院校完善内部质量保障体系,积极打造有公信力的质量认证品牌。同时,它着眼于质量标准的国际化、通用化,团队成员和研制过程体现了多方参与和国际协同。在推进供给侧改革和构建现代职业教育体系的背景下,EXPERO模型的理念与实践对完善我国高职教育质量保障与评估体系具有一定启发借鉴意义。
关 键 词:教育评估 EXPERO模型 学习成果 职业教育
标题注释:国家社会科学基金教育学青年课题“现代职教体系构建进程中的高职教育评估:价值取向与实施路径”(项目编号:CJA150163)。
[中图分类号]G723.2 [文献标识码]A [文章编号]1006-7469(2018)05-0092-12
教育质量是教育领域的永恒主题,寻求更加科学有效的教育质量保障与评估方式一直是各国教育界的共同追求。我国高职教育评估迄今先后经历了人才培养工作水平评估、人才培养工作评估和适应社会需求能力评估三种形式,它们在我国高职教育质量标准建设和保障提升方面发挥的积极作用得到了社会的总体认可。而随着内外部环境变化,高职教育评估在诸多方面仍有亟待改进完善之处,如:在评估内容上,三者虽然均以人才培养为考察对象,但指标体系却几乎囊括了学校办学的各个方面,其本质上属于院校综合性评估,对与学生职业能力关系最为密切的学习成果的关注度、聚焦度不够;在组织发起方式上,三者均为由政府行政力量推动主导的强制性评估,院校处于被动地位,主动参评的动力不足;在实施方式上,评估的“物化倾向”仍较明显,作为社会实践活动主体的人在评估中的地位和作用未得到充分重视和挖掘;在评估界限上,三者均属外部评估的范畴,可供高职院校自主选择、有较大影响力和较高认可度的内部质量保障与评估工具长期缺失等。放眼国外,欧盟在2002年11月达成的《哥本哈根进程》中即已明确,要通过构建欧洲职业资格框架、学分转换系统、共同质量保障框架等举措,促使各国在职业教育交流互通和质量提升方面加强合作,并于2004年12月通过决议,提出将“建立一系列公认的质量保障评估标准、程序和指导方针”作为欧洲教育的首要任务。[1]之后诞生的《欧洲职业教育与培训质量保障参照框架》(European Quality Assurance Reference Framework for Vocational Education and Training,简称EQARFVET)便是为落实上述文件和决议而达成的成果之一。与此同时,欧盟也在积极探索更切合职业教育特点、能准确反映职业教育质量成效的评估机制与方法。成果期望与感知(Expectation and Perception of Outcome,简称EXPERO)模型便是在EQARFVET之外,欧盟另一个已通过国际认证和实践验证、正在各成员国推广的质量评估工具。相较于其它工具,EXPERO模型面向各职业教育实施机构,着眼于院校内部教育质量控制,以学生的学习成果质量为考察目标,在评估的理论基础、指标框架、实施方式等方面,均进行了一些颇具创新性的探索并得到了相关方的高度认可。基于此,本文对EXPERO模型进行系统探究,以期对弥补我国高职教育质量保障与评估的不足有所启发借鉴。
一、EXPERO模型的背景缘起
2006年11月,欧洲议会和理事会通过1720号决议,决定设立终身学习计划(Lifelong Learning Program,简称LLP)。作为欧盟在教育与培训领域的主要资助对象,LLP是一个综合性项目,致力于为欧洲各社会阶层的劳动者创造学习提升的机会,具体包括“四纵四横”共计8个计划。其中,纵向计划侧重于教育培训的不同阶段,分别是“夸美纽斯学校、伊拉斯谟高等教育、达芬奇职业教育、格伦特维成人教育”。横向计划旨在为纵向计划提供支撑以确保其取得最佳实施成效,主要聚焦于“政策合作与创新、语言文字、信息与通信技术、成果传播与开发”四个关键领域。[2]达芬奇职业教育计划(Leonardo da Vinci Programme,简称LdV)作为LLP的一部分,其目标是通过帮助欧洲公民获取新技能、新知识和资格证书,培养可在欧盟跨国流动的技能型人才,提升欧洲劳动力大军的竞争力,使其得到不同国家劳动力市场的认可,并促进职业教育的改革创新。LdV资助的范围广泛,涵盖了包括成人教育在内不同层次的职业教育,且所有受到LdV资助的项目都涉及欧盟各国间的跨国合作。[3]
近年来,学习成果(Learning Outcome)质量日渐成为欧盟职业教育领域关注的热点。但当前教育领域所使用的质量模型如欧洲质量管理基金会(European Foundation for Quality Management,简称EFQM)的业务卓越模型、通用评估框架(Common Assessment Framework,简称CAF)、国际标准化组织(International Organization for Standardization,简称ISO)认证、服务质量(Service Quality,简称SERVQUAL)模型等,主要侧重于过程评价或者服务评价,而不是反映实际教育成效的产出评价;它们在考察教育教学诸要素的同时,忽略了对学习成果质量的检验。基于此,在欧盟LLP和LdV计划的资助下,EXPERO项目于2008年10月正式启动并于2010年10月结束。EXPERO项目的初衷,是要在欧洲建立一个跨国界的、聚焦于职业教育学习成果质量评价的通用工具,以便对教育质量保障的共同原则与标准做出统一规定,促使职业教育机构合理组织教育过程,实现教学结果的最优化。[4]期间,EXPERO项目团队先后在不同国家举行了6次国际研讨会,并将评估模型在部分职业院校进行了试点应用。目前,EXPERO模型已得到《哥本哈根宣言》框架下欧盟全体成员国的认可,并通过了国际权威认证机构——通用公证行(Societe Generale de Surveillance S.A.,简称SGS)的认证。[5-6]
二、EXPERO模型的理论基础
20世纪下半叶以来,全面质量管理开始在公司治理中大行其道并逐渐扩展至教育领域。作为欧盟关于职业教育质量保障的重要指导性文件之一,EQARFVET便是全面质量管理理论与方法在学校应用的典范。除此之外,EFQM和CAF的质量模型也属全面质量管理的范畴,在教育领域应用较为广泛。二者均包括“领导能力、人力资源、战略规划、合作关系、教育过程、人员绩效、用户成效、社会成效以及关键成效”等9大类评估指标,只是各自所占权重不同。此外,二者均以追求卓越为导向,侧重考察学校的优势特色因素,并基于自我评估,以不同权重指标的累计得分来区分学校整体教育质量的优劣。
ISO认证体系是现代企业质量管理中的另一重要工具,部分国家也曾尝试将其运用于教育领域。它与EFQM、CAF质量模型的共同点在于:三者均要求质量体系贯穿于质量形成的全过程,均采用PDCA质量环,即计划(Plan)、执行(Do)、检查(Check)、行动(Action),实施系统化管理;其最终目的均是为了提高产品质量,满足顾客需求,强调任何一个过程都是可以被不断改进、不断完善的。而EFQM、CAF和ISO三个质量模型之间的主要区别在于:前两者致力于评估学校的整体表现,通过更具战略性的方式寻求改变现状,其作业通常仅限于一次;而后者主要致力于考察质量标准所要求的内部组织流程,是以标准为中心。通过了ISO认证的学校也许会拥有与评估标准相一致的内部流程,但此类学校未必能称得上优秀。反过来看,经受了EFQM和CAF质量模型检验的学校也不一定能通得过ISO的认证。
SERVQUAL模型是诞生于服务行业的一种质量评价工具,其理论核心是“服务质量取决于用户所感知与所期望的服务水平之间的差别程度,用户的期望是开展优质服务的先决条件,提供优质服务的关键就是要努力满足或超越用户的期望值。”基于这一前提假设,在测量服务质量时,SERVQUAL模型通常会将“期望”与“感知”进行比较。[7]显然,它所遵循的是顾客取向策略,顾客满意度被当作是组织成功的关键。在教育领域,SERVQUAL模型主要通过收集学生对教学过程和结果的反馈意见,从宏观层面来考察学校教育服务的质量水平。[8]但该模型在教育领域的应用一直存有争议,因为学生所期望的服务并非都是学校完成教育教学任务所应该提供的。这也是时至今日,许多教师仍对衍生于公司治理领域的质量模型,在学校教育质量管理中应用缺乏认同的原因所在。
总之,从EFQM、CAF、ISO到SERVQUAL的质量模型,它们在教育领域的应用均是从学校的功能属性出发,侧重考察教育教学的组织过程,对学习成果缺乏明确而持续的关注。[9]此外,以上模型多是根植于公司治理领域,它们同学校教育所涉及的不同学科知识之间,缺乏交流互通的历史传统,加之彼此技术语言和路径方法的差异,从而使得其与学校教育的环境特征和文化氛围一直未能深度融合。与以上质量工具的顾客取向不同,EXPERO模型所秉持的利益相关者取向则更为贴近学校文化,依其理念,通过建立有效的沟通机制,学校利益相关者之间可以增进交流,就学校应该提供怎样的教育服务、雇主应当对学校教育抱有何种期望等议题达成共识。依其设计,即使利益相关者的理想预期与现实感知之间存在一定偏差,学校也可以加以甄别,视情况来决定是否需要以及如何对教育活动做出改进。
三、EXPERO模型的基本框架、指标内涵与实施步骤
(一)理论概述
EXPERO模型旨在通过对学校主要利益相关者在教学不同阶段反馈的信息进行系统比较和分析,来评价学生学习成果的质量。[10]其理论模型包含应然(Should)和实然(IS)两大区域,分别代表数据资料采集的不同阶段。其中应然表示预期的理想状况,是利益相关者事前对学生应取得的学习成果或对学校教育应改进之处的期望;实然则表示学业结束后,利益相关者对学生学习成果的现实感知。在两个阶段的信息采集完成后,将应然阶段的理想期望与实然阶段的现实感知进行比较分析、吸收多元利益相关者参与,是EXPERO的基本特色。在该模型中,期望是指利益相关者基于自身立场、对学生学习成果的理想期待;感知则是利益相关者对学生学习成果的现实评价,是客观事物的主观意义。[11]
学习成果的质量同利益相关者的期望密切相关,根据需要,EXPERO模型将学校利益相关者分为了四类:1)外部利益相关者,不直接参与学校办学,但会对教育过程产生影响,如公司、协会、学生家庭、潜在学生、贸易集团、政府机构等;2)内部利益相关者,与教育过程直接相关,如任课教师、管理人员等;3)学生、实习生,是学习成果的首要受益者,与教育过程和结果关系密切;4)学校领导层,是学校使命与愿景的制定者,掌舵学校发展的大计方针,如校长、董事会等。需要指出的是,学生和学校领导层同时具有内部利益相关者的属性,只是为了突出其在不同评估阶段的作用而将之单独分类。[12]由于办学定位、课程种类、管理方式以及所处地理区域不同,各院校利益相关者的构成群体及其影响力也必然有所差异。为此,EXPERO模型允许学校领导层自主确定各利益相关者在评估中所占的权重。
在实施方式上,EXPERO模型要求根据不同评估指标和利益相关者的特点,灵活采用多种方法来收集信息,如焦点小组、半结构化访谈、问卷调查、文献分析等。为配合评估实施,EXPERO模型还专门设计了一个专用的数据处理工具,它可通过定性和定量方式,对各个阶段采集的信息资料进行自动加工处理,并以表格、图形、文档等形式直观呈现数据处理结果,突出显示被评估院校的优势不足,对学习成果质量做出评级,是EXPERO模型的必备工具。[13]
图1 EXPERO模型理论框架
(二)指标内涵与评价方式
基于职业教育专家们的实践经验和研究成果,考量利益相关者们的诉求,本着客观性、可验证性、可操作性以及定性定量相结合的原则,EXPERO模型设定了“使命愿景”(Mission & Vision)、学习成果质量(Quality of the Results)、组织流程(Organization Processes)、能力质量(Quality of Competencies)、成果满意度(Satisfaction of the Results)、形象质量(Quality of Image)等6大类评估指标。[14]
1.使命愿景
使命愿景指标与学校领导层密切相关,它们只存在于应然阶段。使命是学校对自身存在价值的描述,它包含教育教学的目标定位,所培养人才的能力规格等与利益相关者的期望和需求密切相关的信息。因而在定义学校使命的同时,要确定利益相关者名单并对其重要程度做出认定。愿景是对学校发展目标和品牌形象的独特描述,是领导层对学校未来发展的规划设想。在该模型中,使命是对应然和实然阶段的学习成果质量进行评判比较的参照指标,愿景是对形象质量进行评价的参照指标。
2.学习成果质量
欧洲职业教育发展中心认为,学习成果是学生完成学业后所具备的理论知识与实践能力,是学校教育活动成效的集中体现,它与教学过程、教职工素质以及社会经济环境等密切相关。据此,EXPERO模型将学习成果质量界定为“学生通过学习所形成的完整能力体系,它包括知识、技能、专业行为以及适应市场需求的应变力等”。[15]学习成果质量作为EXPERO模型的核心指标,具体由“能力、辍学率、就业能力、未来需求适应力、学分”等5个要素构成,由于它们在学校教育中的重要程度不同,EXPERO模型允许对其赋予不同的分值权重。
学习成果质量指标存在于应然和实然两个区域,对其进行评价,首先要确定访谈的利益相关者样本。根据学校类型不同,访谈样本可涵盖在读学生、学生家庭代表、学生先前就读学校代表、潜在学生、公司代表、公司客户、贸易集团代表、行业协会代表、高校代表、欧盟代表等。其次,在数据采集的第一阶段(应然区域,下同),组织外部利益相关者以学校使命为参照,反馈对学习成果的理想期望。其三,数据采集的第二阶段(实然区域,下同),组织同一批利益相关者反馈对学习成果的现实感知;若个别利益相关者无法接受现场访谈,可根据列出的详细考察指标,通过书面方式反馈信息。最后,评估小组将两个阶段的数据资料加以对比分析,以数值形式对“现实满足理想”的程度做出评价,通过数据处理工具,对学习成果质量的5要素分别评分并生成标有红、白、绿三种颜色的图表。其中绿色模块代表该指标表现优秀,白色代表其表现平平;而红色则代表其表现糟糕,评估小组必须分析原因并制定改进方案,使其在下次评估前达到正常水平。
3.组织流程
组织流程仅存在于应然区域,它指学校教育教学涉及的全部过程,包括:学年工作计划、教学大纲、教学方法、入学标准、教职工素质、人员职责描述、内外部沟通管理、学分管理、教学资源配置、师生工作量管理等。由于教学实施过程仅涉及学生和教职工,因此对组织流程的评价仅面向内部利益相关者,通过焦点小组和访谈的方式,依据课程设置、日程表、师生工作量、财务绩效、人力资源、关键事件等微观指标进行。焦点小组和访谈的另一个目的,在于发掘过去若干年内曾对学校发展产生重大影响的关键事件,以便于学校参照采取相应纠正、预防和改进措施。
4.能力质量
在EXPERO模型中,能力是对知识、技能、行为方式等构成的综合素养的统称,它是人们谋求和从事适合自身工作的前提和保障。[16]能力本属学习成果质量的要素之一,此处单独将其列为一级指标,体现出EXPERO模型对以能力为核心的职业教育特征的刻意凸显。与学习成果质量评价主要是依据外部利益相关者不同,能力质量评价主要依据内部利益相关者和学生。由于学生的期望源于学校的人才培养定位与规格等教育许诺,对此项指标进行考察,第一阶段的任务是在学期初,收集描述课程教学目标的教学计划等正式文件,以此确定学校对应然能力质量的描述。第二阶段的任务是在学期末,内部利益相关者(教师)对每个学生的能力状况进行评价,学生则对自身能力的习得情况做出自我评价,据此来确定实然的能力质量。最后,通过Exqlusieve系统,将教师和学生对实然能力质量的评价结果与应然能力质量进行比较,同时分别将教师和学生对实然能力质量的评价结果进行比较,从多维度来判断人们对能力质量的期望与感知之间的差异度。
5.成果满意度
成果满意度指标旨在了解学生对学习成果的感受。由于满意度只能通过人的实际感知来测量,因而它仅存在于实然区域。对成果满意度的评价,由评估小组在课程结束后三个月内组织实施,参与的学生样本应不少于40人。一方面通过调研问卷采集定性数据,一方面要求学生在0到100分之间对总体满意度做出量化评价。对于调研中发现的学生不满之处,应及时予以记录,作为改进、纠正之参考。通过数据处理工具对调研数据处理之后,若满意度数值低于系统设定的最小值,评估小组必须展开深度分析来查找原因,制定纠正改进方案。
6.形象质量
基于“学校的品牌形象会对利益相关者关于学习成果的期望和感知产生影响”这一前提论断,EXPERO模型设立了形象质量指标。品牌形象是事物符号和价值维度的向量,它代表人们对某物的总体印象并将其与同类事物予以区分。作为一个宏观定性指标,它由形象唯一性、渠道一致性、时间一致性、产出一致性、信用和价值观等6个维度的要素构成。[17]评价形象质量指标的方法是:以学校愿景为参照,通过问卷分别调查内、外部利益相关者和学生对形象质量的看法,他们可以用自己认为最恰当的语言、以不同的语义尺度来描述对学校形象的实际感受。之后,将三组人员的评价结果与愿景进行比较,分析学校现实形象与愿景描述之间的一致性和差异性。根据比较评价结果,对学校愿景进行检验、更新修正或沟通说明。
(三)评估实施流程
根据EXPERO模型的上述理论框架和指标体系间的逻辑关系,评估实施流程可被归结为五个步骤:
1.组建工作团队。学校领导层负责组建由组长、研究主管、区域质量机构代表、教师、学生和管理人员等构成的评估小组,全程参与信息资料的采集、审查、分析及后续改进工作。2.采集应然阶段的信息资料。通常在学期初或课程开始前进行,主要任务包括:1)学校领导层制定使命和愿景,据此确定利益相关者名单及其权重,定义学习成果质量的构成要素及其权重;2)内部利益相关者和学生加入焦点小组,评判学校的组织流程并提出改进建议;3)外部利益相关者参照使命描述,反馈对学生学习成果质量的期望;4)将信息资料录入数据处理工具。3.采集实然阶段的信息资料。通常在学期末或课程结束后实施,具体任务包括:1)内部利益相关者(教师)对每个学生的能力质量做出评价;2)学生对能力质量做出自我评价,同时反馈对学习成果的总体满意度;3)外部利益相关者从其立场来反馈对学习成果质量的现实感受;4)所有利益相关者以愿景为参照,对学校形象质量做出评价;5)将数据资料录入数据处理工具。此外,若需监测某些指标的变化情况(如辍学率等),可在应然和实然阶段的信息采集中,分别设立相应的量化指标。4.信息资料的分析处理。主要任务有:1)评估小组花费足够的时间阅读、审查数据资料,对每个指标做出评分(0~100分之间);2)通过数据处理工具,按照各指标所占权重对其加工处理,生成评价结果。5.采取纠正、预防和改进措施。评估小组应根据数据处理工具反馈的评估结果,筛选出学校教学中存在的现实问题和潜在问题,深入分析原因,制定纠正方案,采取预防措施,落实责任执行人,明确完成时间,杜绝同类问题重现,防止潜在问题出现。纠正和预防措施完成后,还应对其是否有效进行追踪评价。此外,评估小组还需依照各利益相关者在应然阶段所表达的期望诉求,对学校工作进行全面检视,寻求改进空间,持续提升机构效率,努力缩小利益相关者期望与感知之间的差距。
四、EXPERO模型的特征评析
(一)强调学生的能力素养,突出职业教育核心特质,指向持续改进
绝大多数国家都已意识到,拥有问题解决、沟通合作、批判性思考、创造力等综合能力的学生,才能在当今激烈的社会竞争中立足。尽管世界各国职业教育的形式各异,但培养能灵活适应劳动力市场需求、可持续发展、实践动手能力强的高素质劳动者,是各国职业教育的普遍特征。教学内容针对性、实用性强,具有较为开放的质量文化,易于同外部利益相关者建立协同关系,是职业教育有别于普通教育的基本特色。
EXPERO项目面向欧洲4~5级职业教育机构,它从研发之初便充分考量职业教育的类型特点。在EXPERO模型中,学习成果是教育活动成效的集中体现。对学习成果质量进行评价,即是瞄准职业教育的输出端,把学生通过完成学业所掌握的知识、技能、行为方式等综合能力素养作为检验职业教育成效的基本依据,强化了职业教育的根本使命。相较于全面质量管理视域下偏重过程管理的诸多模型,EXPERO模型是第一个致力于评估职业教育学习成果质量的工具,它更加准确地把握和凸显了职业教育的核心特质,回应了当前全球职业教育所关心的共性问题,实现了研制的初衷。同时,EXPERO模型并非将教育质量指标视为机械化的官僚标准,而是坚持过程和结果并重,将人们对学习成果质量的期望与感知进行比较,从中发现目标计划与现实状况之间的差距,使学校更易于甄别人才培养中的问题,指向持续改进。
(二)注重利益相关者的获得感与实际体验,彰显教育评估的人本属性
经验主义和理性主义是长期存在的两种教育评估取向,前者注重经验材料和人的主观判断,后者强调评估的标准化、客观性。21世纪以来,理性取向的教育评估日渐占据主导地位,它将复杂的教育现象和结果不断细化分解为易测量、明确的评估指标,实质是对普适性需要和科学化手段的迎合,但其固有的机械性、物质化、形式化等弊端则削弱了教育评估的应有价值。鉴于经验主义和理性主义的评估取向均不适宜独立担负教育评估的重任,集两者之所长、实现二者的平衡互补是教育评估走向完善的必然之路。人是教育活动的主导者,也是教育成果的最终受益者和评判者。EXPERO模型的一大特色,就是引入了人主观层面的“期望”与“感知”要素,把利益相关者在评估前后形成的理想期盼与现实感受,作为评判学习成果质量的基本参照,提升了他们对学校教育事务的参与度、认同度和满意度,体现了对评估中人这一根本主体的尊重,增强了利益相关者对学校教育这一“服务”活动的获得感与实际体验,实现了教育评估由“物”到“人”的回归,使得教育评估的人本属性得以彰显。与此同时,EXPERO模型并未排斥或弱化量化数据和定量方法在评估中的重要作用(如采用专门的数据处理工具),而是将其当作期望与感知进行比较的工具和依据,一定程度上实现了理性主义与经验主义的合理平衡。
(三)赋予利益相关者明确的评估职责,为切实落实评估主体多元化提供了实践范例
评估主体多元化是现代教育评估界广为认同的理念之一,但受制于现实条件,其在评估实践中落实仍不充分、不深入。除却教育管理体制、文化传统等因素之外,评估机制与方法不适宜也是原因之一。在当下的诸多质量评估工具中,EXPERO模型首次基于利益相关者取向,以分阶段采集教职工、学生、行业企业、雇主、家庭等内外部利益相关者反馈的信息为基础,来评价学生的学习成果质量。它通过下沉评估主体,明确应然和实然阶段、各类评估指标所涉及的利益相关者群体的类型和数量,创建沟通交流机会,将期望与感知加以比较,从不同立场对学校教育活动的流程和成效做出全方位评价,为多元主体切实有效参与教育评估提供了机制和路径保障。
在EXPERO模型中,利益相关者之间沟通联络机制的建立,有助于学校系统分析自身优势和不足,优化内部组织流程。对内而言,EXPERO模型对所有间接或直接参与教学并可能对利益相关者的期望产生影响的教师、学生、管理人员等均提出了要求;对外而言,吸收外部利益相关者参与教育评价,提升了社会力量对学校办学活动的话语权,使得其反馈意见能及时、准确地融入教育教学过程,有助于学校面向社会、开门办学。
(四)多方协同参与模型研制与验证,推动质量标准的国际化、通用化
EXPERO模型由一个跨学科的国际团队协同研制而成,团队成员的知识背景涉及社会心理学、社会学、市场营销、成人教育、全面质量管理等领域。其最终目标,是在参照现有评估理论与实践的基础上,创建一个能对职业教育学习成果质量进行评估的、国际通用的质量工具。
研制过程中,项目团队同16所职业院校密切合作,向与职业教育有关联的各领域人员广泛征求意见,并采取混合交叉方式、分三个步骤对其进行了验证和完善。第一步是国际教育评估专家评审。从5个欧盟成员国各选取1名专家,采用“五点李克特量表”,就评估模型的创新性、适用性、完整性等进行论证,评点其优势与不足,5位专家对该模型均给予了高度评价。第二步为试点应用。根据专家反馈意见做出改进后,在5个参与合作国家的职业院校进行了实践试用,[18]以收集一线教育工作者的评价意见。所有参与院校均对试用结果表示满意并愿意今后继续使用。第三步是转换为国际质量标准模型。专门邀请SGS公司,遵循严格标准和程序,对EXPERO模型及其工具进行检验,目前已通过SGS国际委员会的认证,具备了国际推广的资质。[19]教育评估专家和认证机构的意见认为,EXPERO模型与职业教育的适切度高,将事先预期与现实感知进行比较的做法,为利益相关者之间有效沟通创造了机会,为客观评价学习成果提供了系统可靠的信息资料,并被欧盟认定为LLP的最佳实践项目。
(五)促进完善内部教育质量保障体系,积极打造有公信力的国际质量认证品牌
以院校为基准,教育质量保障可分为内部与外部两个层面。院校自我质量保障的内推力为根本,政府和社会质量保障的外推力为补充和超越,是教育质量保障体系建构的应然逻辑。EXPERO模型专门面向职业教育,它以宽广的视野,涵盖了可能影响学习成果质量的所有核心要素,任何职业教育机构均可用其监测自身所提供的教育服务与外界需求之间的匹配度,识别可能影响学生学习成果质量提升的薄弱环节和区域,了解外部利益相关者对教育机构敬业精神、专业能力和责任意识的评价意见,以资改进。因而,它是学校建设和完善内部质量保障体系的有效工具。
为打造有公信力的国际质量认证品牌,EXPERO项目团队还成立有EXPERO国际质量协会,该协会在众多欧洲国家设有代表处,是唯一被授权从事EXPERO质量认证的独立性第三方机构。使用EXPERO模型的教育机构若希望通过一定方式,来证明自身的教育质量达到了相应标准,便可向EXPERO国际质量协会提出认证申请并在通过后获得不同等级的证书。其中,绿色公章的证书表示该学校在第一次认证之后、第二次认证之前的改进工作得到了认可。金色公章的证书表示在获得绿色公章证书之后,学校进行了至少两个学年系统持续的改进,质量水平已有显著提升。[20]该认证证书相当于一个质量标签,代表着学校的教育产品或服务得到了外界认可,达到了标准要求。从此意义上来讲,该模型对学生学习成果质量的认证不啻为对教育机构办学的一种鞭策与激励。
同时也应注意到,EXPERO模型作为欧洲为应对全球化挑战、保障提升职业教育质量而研制的一个重要评估工具,它强调欧盟成员国间的协调和目标整合,具有一定的欧洲价值色彩。此外,该模型所依据的“期望”与“感知”要素属于人主观因素的范畴,它同利益相关者的知识眼界、修养阅历、价值观念等有着密切关联,在实际应用中,需加强对影响评估信息采集的各种不确定性因素的甄别与控制,做好对利益相关者代表的遴选把关,吸收责任心强、综合素质高的利益相关者参与评估,方能取得预期成效。
五、对我国高职教育质量保障与评估的启示
当前我国高职教育的体量已基本稳定,提质增效成为今后职业教育改革发展的迫切任务。借鉴欧盟EXPERO模型的理念与实践,未来我国高职教育质量保障与评估应在以下方面做出改进。
(一)注重教育成效与产出,更加突出对院校社会贡献和学生综合能力的考察
在推进教育供给侧改革和构建现代职业教育体系的时代背景下,职业教育被赋予了人才培养和人力资源开发的双重使命,“发展现代职业教育,不单单是一个教育问题,还是推动工业化、信息化、城镇化、农业现代化同步发展的重要一环”。[21]把促进人的全面发展和满足经济社会发展需求,作为教育质量评价的根本标准,是《国家中长期教育改革和发展规划纲要(2010-2020年)》对教育评估导向的基本定位。因而,今后的高职教育评估应更加突出院校对区域经济社会发展的贡献度和学生综合能力的养成情况在评估中的地位,将其作为考察院校办学成效的重要依据,引导高职院校不断深化“产教融合、校企合作”的办学模式。
(二)内外兼顾,以内为主,更加重视院校内部教育质量保障体系建设
在21世纪初以来,我国高职教育领域经历的三次全国性评估中,2004年的人才培养工作水平评估着眼于规范管理,2008年的人才培养工作评估致力于内涵建设,2016年启动的适应社会需求能力评估则强调服务职能。从评估组织方来看,三者分别由教育部和国务院教育督导办等外部主体发起,均属于外部评估的范畴,高职院校处于被动地位。长远来看,激发院校自身的内在动力,构建内外结合、以内为主的质量保障体系是大势所趋。长期以来,我国高职教育内部质量保障主要建立在院校自觉的基础上,既缺乏统一规范的实施工具,又缺乏对实际成效的有效检验标准。2016年,教育部出台在全国职业院校建立教学工作诊断与改进制度的举措,着重强调院校在自我教育质量保障中的作用,在加强内部质量保障体系建设方面迈出了重要一步,对此应有序推进、持续完善、做实做好。
(三)优化创新评估机制,更加注重发挥人在评估中的主体性作用
在工具理性价值取向的指引下,以往的高职教育评估实践存在着“重物轻人”“重客观性指标、轻主观性指标”的倾向,考察要素偏重物质化条件。在评估主体上,虽然高职教育评估主体多元化已在政策层面得以明确,但雇主、学生、一线教师等在评估中的地位和话语权依然偏弱,评估主体多元化理念的落实并不到位。为此,参考EXPERO模型的实践做法,一方面应结合国情创新评估工作机制,细化分解评估流程,明确多元主体在不同评估阶段的职责任务和参与方式;另一方面应适当增加与人主观感受密切相关的主观性指标在评估中的比重,实现主、客观性指标的合理平衡;三要扩展评估信息的来源渠道,加大从评估参与方采集信息的力度。
(四)系统谋划,及早布局,加强对适应高职教育改革发展趋势的评估工具与方法的前瞻性研究
评估工具与方法事关评估理念的落实,直接影响评估成效。教育部“高等职业院校人才培养工作状态数据采集与管理平台”的建立曾是我国高职教育评估进程中的一大创新,它对推动高职教育评估信息化发挥了重要作用。但总体来看,我国高职教育评估在工具方法上仍然存在着顶层设计缺乏统筹、各类数据平台相互隔离兼容性差、数据采集标准不统一等问题。为此,须顺应高职教育改革发展趋势,围绕教育供给侧改革和构建现代职业教育体系的目标要求,借鉴多学科的知识体系,着眼长远、系统谋划、及早布局,加强与我国职业教育国情特点适切度高的评估工具与方法的前瞻性研究。
参考文献:
[1]European Commission.Fundamentals of a "Common Quality Assurance Framework" for VET in Europe[EB/OL].[2016-08-02].http://www.vocededu.au/content/ngv19336.
[2]The Education,Audiovisual and Culture Executive Agency of European Commission.About Lifelong Learning Program[EB/OL].[2016-09-23].http://eacea.ec.europa.eu/llp/about_llp/about_llp_en.php.
[3]The Education,Audiovisual and Culture Executive Agency of European Commission.Leonardo da Vinci for Vocational Education and Training[EB/OL].[2016-09-23].http://eacea.ec.europa.eu/llp/leonardo/leonardo_da_vinci_en.php.
[4][14][16][17]Lifelong Learning Program.Expero:Standard for the Certification of Quality in Professional Education and Training[EB/OL].[2016-10-16].http://www.expero2.eu/site.html.
[5][12][13][20]Arturo Campanella,Sara Cervai.Leaflet of Expero[EB/OL].[2016-11-02].
http://www.adam-europe.eu/prj/4408/prj/leaflet_expero_4%20pages.pdf.
[6][10][19]Sara Cervai,Luca Cian,Alicia Berlanga,etc..Assessing the Qualityof the Learning Outcome in Vocational Education:The Expero Model[J].Journal of Workplace Learning,2013,25(3):198-210.
[7]Laroche,M.,Kalamas,M.,Cheikhrouhou,S.,etc..An Assessment of the Dimensionality of Should and Will Service Expectations[J].Canadian Journal of Administrative Sciences,2004,21(4):361-375.
[8]Abdullah.The Development of HEdPERF:A New Measuring Instrument of Service Quality for the Higher Education Sector[J].International Journal of Consumer Studies,2006,30(6):569-581.
[9]Pecar,Z.,Cervai,S.,Kekale,T..Developing a European Quality Assessment Tool for Schools[J].Total Quality Management Journal,2009,21(3):284-296.
[11]Parasuraman,A.,Zeithaml,V.A.,Berry,L.L..Reassessment of Expectations as a Comparison Standard in Measuring Service Quality:Implications for Further Research[J].Journal of Marketing,1994,58(1):111-124.
[15][18]Luca Cian,Sara Cervai.A Model to Evaluate the Learning Outcome and to Achieve a Certification of the Competences in the Vocational Training[EB/OL].[2016-11-01].
http://www.expero2.eu/materials%20cian/EXP%20ingl.pdf.
[21]李克强.让职业教育为社会源源不断地创造人才红利[EB/OL].[2014-02-27].