芥末堆芥末堆

在线学习力测评工具的开发与验证

作者:MOOC 发布时间:

在线学习力测评工具的开发与验证

作者:MOOC 发布时间:

摘要:学习力是人发展的核心内驱力,学习力决定发展力。

thought-catalog-214785-unsplash.jpg

图片来源:unsplash

摘要:在“互联网+”时代,在线学习是网络学习者适应时代发展、促进专业发展的重要方式。研究网络学习者学习力,开展在线学习力测评,对提升他们的在线学习水平具有重要价值。为了对网络学习者在线学习力发展测评提供科学依据,本研究结合理论研究、专家论证以及实证检验的多轮迭代,构建了网络学习者在线学习力模型,并通过项目分析、探究性因子分析及信效度验证,研制了网络学习者在线学习力测评量表。综合多轮验证与检验,验证基于此模型开发的量表信效度良好,可作为网络学习者在线学习力测评工具,为我国网络学习者在线学习力发展与测评提供依据。

关键词网络学习者;学习力;发展模型;测评

一、问题提出

学习力是人发展的核心内驱力,学习力决定发展力(Kirby,2005)。研究网络学习者的学习力,开展在线学习力测评,提升网络学习者在线学习能力,使其成为有意识、有能力的主动学习者,对网络教育质量提升具有重要意义。

在当前“互联网+”时代,针对成人学习者,网络教育的目标不应仅限于关注让学习者学会,更重要的是通过有效的支持让学习者成为会学习、有主动学习意识与学习能力的终身学习者。从“学会”到“会学”,是从关注结果走向网络教育育人目标的发展性与开放性,兼顾过程与结果,帮助网络学习者成为具有终身学习能力并适应学习型社会发展的人,是网络教育育人目标的重要诉求(李宝敏等,2017)。国际很多知名大学将学习力发展作为促进学习者学习与发展的重要目标,比如哈佛大学将培养人的目标定位于:哈佛人=学会学习的人。英国开放大学不仅重视在线学习者“学会”,并且将学习能力发展作为重要目标,通过灵活的远程教学设计,促进在线学习者“会学”,将学习能力发展作为重要目标。美国凤凰城大学将如何开展高效能的网络学习做成专题课程,为在线学习者提供支持。在我国,许多开展网络教育的高校及机构,如华东师范大学开放教育学院也特别重视在线学习方法的指导与支持,以促进学习者顺利适应网络学习。然而,对学习力有针对性的指导与培养,需要科学的测评工具提供支撑。

美国麻省理工学院的福瑞斯特(Jay Forreste)于二十世纪六十年代首先提出学习力构想,成为管理学领域学习型组织的核心话语,八十年代后学习力研究在教育领域兴起。如今,随着信息技术的发展,学习力作为学习型社会与信息化社会必要的生存能力,正成为学习科学、教育技术学等学科领域学者关注的热点话题。学习是人的发展的最重要的品质和能力,对学习力内涵的研究,经历了从关注单个要素到强调复合体的转变。例如,杜门(Dopmen,1997)关注自主思考力;里斯尼克(Risnik,1987)关注高级思维能力;英国有效终身学习编目(简称ELLI)通过学习的连续性因子分析,提出学习力的七大维度:改变与学习、意义建构、探究意识、创造力、学习关系、战略意识和心理弹性;澳大利亚加强有效学习项目(简称PEEL)中,鲁思•迪肯•克瑞克(Crick,007)将学习力视为塑造个体参与学习机会的价值观、倾向、态度和能力的复合体。

学习力的构成要素中,目前有影响力的观点主要包括:1)“四要素说”。英国布里斯托尔大学克拉克斯顿(Claxton,2007)首先提出学习力构建的四个要素,即通过四种行为表现出来的四种力量“4R”:顺应/顺应力(resilient/resilience)、策应/策应力(resourceful/Resourcefulness)、反省/反省力(Reflective/Reflection)、互惠/互惠力(rcciprccal/Rela/onships)。2)“六要素说”。余建祥基于长期的学习力研究,认为学习力主要包括学习方法、学习动力、时间管理、学习习惯、学习心智、学习意志六个要素,这六个要素互相关联又相对独立,任何一个要素的改善,都会促进学习能力的改善和提升(余建祥,2018)。3)“七要素说”。英国ELLI项目丰富了学习力的构建要素,并在语言表达上做了精确定义,它们分别是:变化和学习(Changing and Leeming)、关键好奇心(CriticalCuriosity)、意义形成(Meaning Making)、创造性(Creativity)、学习互惠(Learning Relation-ships)、策略意识(Strategic Awareness)、顺应力(Re­silience),认为七个要素是相互依赖、相互促进的,属于同一事物的不同方面,其中一个或者两个要素获得发展,其他要素及个体的学习力水平亦能获得一定程度的提升。4)“综合体说”。美国哈佛大学柯比(Ki Ay,2005)基于长期的教学实践认为,学习力应该是包括学习动力、学习态度、学习方法、学习效率、创新思维和创造力的综合体,指出学习力还包括兴趣、好奇心和创造等非智力因素。此外,国际经合组织认为,学会学习的能力包括有效管理个人时间,解决各种问题的能力,善于处理不同的程序性事件,评价和吸收新知识,并把新知识及技能应用到家庭、工作、教育等情境的能力(Rychen,2007)。

本文基于网络学习者在线学习特征,认为网络学习者在线学习力是指在线学习环境下,能够有效促进学习者学习动力、认知能力、学习策略与方法、学习结果相互作用的动态能力系统,它能激发学习者的在线学习动力和潜能,推动学习者顺利完成在线学习目标,最终帮助他们实现自我完善与终身发展。基于这一认识,本文结合网络学习者学习力研究和实践探索,通过构建在线学习力发展模型,分析在线学习行为特征和学习力结构内容要素,研制学习力测评工具,并通过相关验证,诊断网络学习者在线学习能力,为学习力提升与培养提供科学依据。

二、在线学习力模型构建

借鉴国内外学习力研究的有关成果,本研究形成网络学习者在线学习力整体框架,包括网络学习者情意、认知、自我与人际四个领域,涉及学习驱动力、学习顺应力、学习策应力、学习反省力、学习互惠力五个维度、20个能力项(见图1)。学习驱动力、学习顺应力、学习策应力、学习反省/管理调节力、学习互惠力分别体现学习的五大系统,即动力系统、情意系统、认知系统、调节系统、社会及自我互动系统,体现通过在线学习行为所表现出来的五种力量:驱动/驱动力、顺应/顺应力、策应/策应力、反省/反省力、互惠/互惠力。

640.webp.jpg

  • (一)学习驱动力

学习驱动力是激发网络学习者在线学习的动力系统,是引发与激发网络学习者持续学习的关键,包括学习需要、兴趣、信念、成就目标等,直接影响网络学习者的学习行为,具体包括:1)学习需要:指网络学习者在网络学习过程中对目前水平与期望达到水平之间差距的感知与认识,对学习期望达到的目标与需求;2)兴趣:对在线学习充满积极的倾向,将在线学习作为促进自我发展的源泉和力量;3)信念:坚信在线学习对职业发展、能力提升及所追求的发展目标的正确性,具有为之付出努力的意向;4)成就目标:对在线学习活动和及其目的具有一定知觉,能感知参与在线学习活动的理由及目标。

  • (二)学习策应力

学习策应力是网络学习者熟知信息内容表征的方式,能够根据需要综合运用多种方法或策略,如提问、建立联系、想象、推理等进行学习。具体包括:1)提问:具有好奇心,善于提出问题,能潜心思考与钻研,提出与众不同的观点;2)建立联系:能利用自身经验将不同知识或事物建立联系,建立认知图式,形成认知网络图;3)想象:利用想象与知觉获取新经验,在新情境下探究新的可能性;4)推理:运用推理能力,严谨、有序地进行推理,建构观点,且不断修正完善。

  • (三)学习顺应力

学习顺应力指网络学习者能够保持耐性与专注精神,排除内外干扰,集中精力投人学习,具体包括引发并保持注意,管理分心、毅力与持久力等。1)专注力:网络学习者全神贯注投人学习;2)管理分心:网络学习者能认识并管理分心,知道什么时候容易走神,并能及时克服干扰,提起精神,创造最佳学习状态;3)注意:引发并保持注意,能聚焦学习重点与关键;4)毅力:在面临困难时仍坚持不懈。

  • (四)学习反省/管理调节力

学习反省/管理调节力是指网络学习者的规划管理、反思与调节能力,网络学习者不仅要能感知学习目标,而且能科学制定计划、预计结果、选择策略、预见问题及解决方法,及时评价、反馈学习活动过程及结果,根据问题采取相应措施及时作出修正调整,具体包括:1)计划:思考到哪里去,采取什么行动,所需时间、资源等,预见结果及将会遇到的困难等;2)调整:根据不同情境灵活调整计划,监视学习进展,发现新的机会,调整学习状态与进展;3)提取:知道在需要时提取所需信息,能将相关方法策略运用于后续学习,做自己学习的教练;4)元学习:知道自己作为网络学习者,如何才能学得更好,思考如何学习的过程和方法。

  • (五)学习互惠力

学习互惠力是网络学习者能以有效、负责任的方式建立学习关系,既能学习他人的成果,也愿意与他人共享自己的学习成果。网络学习者不仅应知道如何进行自主学习,也知道何时与如何开展合作学习,讨论问题时能表达个人观点,也愿意倾听他人观点,具体包括:1)自主性:知道何时自主学习,何时相互学习,讨论问题时能坚持自己的立场;2)合作性:知道如何管理自己,尊重他人观点,愿意分享自己的观点;3)倾听:倾听他人时能理解他人意图,具有同理心;4)观察:通过观察他人,能建设性调整方法、习惯和价值观。

三、在线学习力自我测评工具开发

  • (一)自评工具的开发与修订

本研究先通过文献研究、专家咨询、问卷调查、多轮研讨及修订,构建了网络学习者在线学习力模型,并在此模型基础上开发能力测评问卷。问卷验证修订过程采用迭代方法,展开两轮小样本测评,依据反馈信息及数据分析结果,修订测评工具。为了保障测评工具的科学性与合理性,每个题项的修订均经过专家组的研讨论证与学员的试测。综合上述分析过程,确立网络学习者在线学习力的核心能力项及测评工具。

  • (二)被试对象

调查对象为华东师范大学开放教育学院在读学员,目前已接受两轮测评,第一轮测评对象为1080人,其中有效测评问卷1023份,有效测评率为94.77%;第二轮测评对象为1986人,其中有效测评问卷1890份,有效测评率为95.21%。

640.webp (1).jpg

本次测评调查采用随机抽样的方法选择样本,为了增强样本的代表性,尽量选择不同专业(23个)的样本进行抽样测评。

  • (三)数据收集与分析

数据收集采用集中填写与分散填写相结合的方式,研究者对测评数据进行严格筛选,剔除无效数据,然后利用SPSS对数据展开项目分析、探索性因素分析及信度分析,利用AMOS工具对数据结构展开验证性因素分析(吴明隆,2017)。

四、结果分析

本研究根据两轮预调研的数据以及专家意见对网络学习者在线学习力测评工具进行了结构调整,删除无关题项,调整各维度的题项内容,最终形成了正式的测试版量表并通过正式测试完善量表结构,形成正式的在线学习力测评工具。

  • (一)项目分析

本研究首先根据网络学习者在线学习力的五个维度对问卷题目进行分类编码,对量表题项进行临界比检验,用以检验单个题项的鉴别度,从而确保量表的科学性与严谨性。

研究者将核对后的数据进行高低分组,取前27%为高分组,组别为1;后27%为低分组,组别为2。临界比检验指通过T检验检验高低组每个题项的差异,即求出高低组受试者各试题平均数的差异显著性,删除未达到显著性的题项。数据分析显示,该测评工具所有题项临界比值均达到显著水平,表明高低分组差异显著,具有较好的鉴别度,可以保留。

  • (二)模型的探索与验证

本研究首先根据一二轮的预调研数据,对量表的题项进行探索与验证,调整量表各题项所在维度与删除不适当题项,形成最终的正式量表。为检验网络学习者在线学习力测评工具的潜在结构及其对在线学习力的影响,本研究将正式测验结果一分为二进行探索性因素分析和验证性因素分析。

1.探索性因素分析

本研究对网络学习者在线学习力测评工具中的五个维度进行探索性因素研究,揭示各维度间的潜在结构。五个维度的KMO值均大于0.8,达到“良好的”标准,表示变量间有共同因素。此外,量表巴特利特球形度检验的近似卡方值达到0.05显著水平,表示总体的相关矩阵间有共同因素,适合进行因素分析。每个题项的MSA值也大于0.50,且各成分抽取主成分后的共同性均大于0.20,变量均具有一定影响力,说明量表的五个维度适合进行因素分析。在探索性因素分析中,本研究采用主成分分析法对数据进行因子分析,并对因素负荷矩阵直交旋转,将特征值大小以及前期理论研究基础预设的能力项作为因子提取标准。通过因素分析,研究者筛选出因子负荷过低(小于0.40)和多重负荷的(两个及以上因子负荷同时大于0.4)题项,专家根据筛选结果进行研讨,决定是否删除异常题项。研究者根据同一维度提取的因子以及各题项的分布,进一步对该测评工具的潜在结构进行解释。

1)学习驱动力

根据理论研究成果,学习驱动力维度划分为4个因子,研究者通过探索性因素分析对其进行归类,但归类后通过模型检验发现网络学习者在线学习力测评工具的“驱动力”未达到拟合优度模型水平。研究者进行了相应调整,重新进行探索性因素分析。第二次探索性因素分析提取3个共同因素(可以解释测量题项79.7%的变异量),分别为个人发展、目标兴趣、价值证明(见表一)。其中A1-A5分别考察的是学习者对在线学习可促进自身职业发展、能力提升以及自我完善的信念,专家组将这五题归为“FA1个人发展”要素。A6、A7考察学习者对学习本身和所学内容的兴趣,以及是否将在线学习作为促进发展的积极力量,这两题归到“FA2目标兴趣”要素。A8和A9两题考察了学习者对在线学习自我价值证明方面的期望,归到“FA3价值证明”。

2)学习顺应力

依据探索性因素分析结果,学习顺应力维度原有13道题目,B11在因素2和4上双重负荷,经专家讨论确实存在语意模糊,故删除该题项。研究者对剩余12个题项再次进行探索性因素分析,提取出4个共同因素(可以解释测量题项81.6%的变异量),命名为专注力、管理分心、注意、毅力(见表二)。其中,B1、B2考察网络学习者对在线学习的投入状态,B3、B4考察学习者的注意力集中程度,专家组认为这四道题目均属于“FB1专注力”范畴。但由于B3“排除外部干扰”表述可能会产生歧义,误认为是管理分心,专家组研讨后,将B3的表述调整为:网络学习时,我能够集中注意力,不受外部干扰”。B5属于及时调整状态、创造最佳学习状态,B6、B7题在两个因子上负荷过高,为谨慎起见,专家组对该题项进行研讨。专家一致认为,B6考察的是学习者克服干扰、持续学习的状态,B7描述的是学习者是否能开展深度学习,表意明确,属于管理分心范畴。因此B5-B7题归到“FB2管理分心”要素。B8-B10题均属于聚焦学习重点与保持注意范畴,应归到“FB3注意”要素。B11-B13表意清晰,指学习者面临困难时仍坚持不懈的态度,归到“FB4毅力”范畴。

3)学习策应力

学习策应力维度原有13道题,本研究依据探索性因素分析结果删除了第13题与第11题,对剩余11个题项进行第三次探索性因素分析,提取出的4个共同因素(可以解释测量题项85.9%的变异量),分别为推理、建立联系、想象、提问(见表三)。C2在2和4两个因子上负荷较高,虽应优先选择因子2,但专家研讨认为C2属于提问范畴,因此C1、C2两题归到“FC1提问”要素。C3属于思考现象与本质的联系,C4属于探究已知与未知、理论与实践间的联系,这两题均归于“FC2建立联系”要素。C7题项叙述清晰,指运用想象策略进行在线学习,C5、C6两道题虽未直接指出想象,但表达了利用知觉获取新经验的含义,且因子归类结果也属于想象范畴,专家讨论认同将这三道题归到“FC3想象”范畴。C8考察的是建构观点,C9考察的是推理演练,C10和C12考察的是修正和完善观点,根据探索性因素分析结果,这4个题项均归到“FC4推理”。

640.webp (2).jpg

4)学习反省/管理调节力

学习反省/管理调节力原有19道题,研究者依据探索性因素分析结果删除了第9题,对剩余18个题项再次进行探索性因素分析,提取出4个共同因素(可以解释测量题项81.4%的变异量),分别为计划、调整、提取、元学习(见表四)。D1-D3属于学习者在线学习时的计划工作,归到“FD1计划”。D4、D5题在两个因子上负荷均过高,为谨慎起见,专家组研讨认为D4预测学习收获与成果不属于学习计划范畴,而是对学习过程的把控,应归到“调整”。D5题项表意明确,属于调整学习计划,也归到“调整”。D6、D7表意明确,属于调整学习计划与进度,专家组将D4-D7四道题项归到“FD2调整”要素。D8、D10两题属于在学习过程中进行思考,提取所需信息,D11属于利用资源获取信息,D12、D13表达了思考何种方法策略适用于学习。这五道题项均属于学习者在线学习中利用学习策略改进学习、做自己学习的教练,专家组将其归到“FD3提取”。D14-D16表达了学习者在线学习中思考如何学习的过程和方法,D17-D19描述了学习者对自身学习的态度,这六道题项表意明确,均属于“FD4元学习”范畴。

5)学习互惠力

学习互惠力维度原设定4个因子,但通过探索性因素分析,研究者发现提取2个公共因子时量表呈现最佳结构。专家经研讨,将学习互惠力原定的4个要素调整为两个:)自主与合作,即在讨论问题时愿意分享自己的观点,能坚持自己的观点,同时尊重他人观点,能站在对方角度思考问题;2)观察学习,即通过观察他人,向他人学习,建设性调整方法、习惯和价值观。调整后的2个共同因素可以解释测量题项83.3%的变异量(见表五),其中E1-E3属于在讨论中交流互惠,归到“FE1自主合作”要素;E4-E6属于与他人学习过程中习得知识,归到“FE2观察学习”要素。

640.webp (3).jpg

2.验证性因素分析

本研究运用Amos软件对随机分半的另一半数据进行验证性因素分析,对探索性因素分析得到的能力模型进行检验。通过进一步调整,能力模型达到拟合优度模型水平(见表六)。网络学习者在线学习力的五个能力维度的CMIN/DF、RMR、GFI、TLI、CFI、PGFI指标均达到标准范围,顺应力和反省/管理调节力的RMSEA指标略高于判断标准,AGFI指标略低于于判断标准,但均在误差允许范围之内,均可视为模型拟合良好。各项指标检验结果显示,本研究所建立的网络学习者在线学习力模型有良好的拟合性,模型合理。

640.webp (4).jpg

  • (三)问卷信效度检验

1.信度检验

量表各维度的克隆巴赫Alpha系数(内部信度一致性系数)均大于0.85,且量表的克隆巴赫Alpha系数为0.988,说明问卷具有较高的信度。

2.效度检验

1)内容效度

本研究针对量表内容效度确立的两个阶段进行了严格把控。在量表制定阶段,研究者以相关研究为基础,对量表的维度进行定义,同时邀请专家对量表结构和题项进行调整修订。在量表内容效度的评价阶段,研究者针对华东师范大学开放教育学院的学员开展了多轮测试,对量表的项目进行验证审查,同时专家组对量表项目反复审阅和修订。“分析一修订一验证”多次迭代,确保量表的各个项目具有较好的代表性,能比较准确地测量网络学习者在线学习力水平。因此,本量表具有较高的内容效度。

2)结构效度

本研究采用项目分析法、探索性因素分析法、验证性因素分析法,对量表各题项的区分度及数据结构进行了严格的筛选和检验,并通过多轮测试、反复迭代,不断修正网络学习者在线学习力模型。以上措施较好地保证了量表的结构效度。

六、结语

本研究针对网络学习者在线学习力测量工具的开发,经过“文献研究一模型建构一量表开发一量表及模型检验一修订完善”五个阶段,并由多位专家的修改建议,保障了研究过程的规范性与严谨性,确保了研究结果的科学性与合理性。

综合理论分析、专家论证及数据分析检验,本文首先构建了在线学习力模型,并针对网络学习者在线学习力进行探究式因子分析,最终得到网络学习者在线学习力量表,由学习驱动力、顺应力、策应力、反省力、互惠力五个维度组成,共56个题项。在这个量表中,学习驱动力、反省力、互惠力是一般性维度,顺应力、策应力是特殊维度。这个框架与编制的学习力量表结构一致。学习内驱力是网络学习者在线学习的动力系统,顺应力是在线学习的方法系统,策应力、反省力是在线学习的调节系统,互惠力是在线学习的激发系统。基于上述能力模型开发的在线学习力自评量表,经过多轮迭代与试用验证,证明具有良好的信度与效度,可以作为网络学习者的在线学习力测评工具。(本文原载于《开放教育研究》2018年第3期)

640.webp (5).jpg640.webp (7).jpg640.webp (6).jpg640.webp (8).jpg

*作者筒介:李宝敏,博士,副研究员,华东师范大学开放教育学院;宫玲玲,华东师范大学教育信息技术系硕士研究生;祝智庭(通讯作者),博士生导师,终身教授,华东师范大学开放教育学院。

本文转自微信公众号“MOOC”,作者李宝敏、宫玲玲、祝智庭。文章为作者独立观点,不代表芥末堆立场。

1、本文是 芥末堆网转载文章,原文:MOOC
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。
来源:MOOC
芥末堆商务合作:王老师 18710003484
  • 在线学习力测评工具的开发与验证分享二维码