首页 > 智慧教育 > 正文

学习仪表盘个性化设计研究

2018-02-06 15:22:57  来源:《电化教育研究》杂志

摘要:作为“数据驱动教学”的核心,学习仪表盘适用于具有差异的学习者,须解决数据呈现的共性与个性之间的矛盾。研究围绕学习仪表盘的个性化设计展开探索,旨在提供核心指标的基础上,为不同人格偏好学习者呈现个性化的指标。利用“模式识别技术”判定学习者人格特质,基于复制自适应方式建立静态区域与自适应区域,设计了包含“数据指标”以及“前置工具”的自适应呈现内容。设计原型的感知比较验证了设计的合理性;学习行为水平以及成绩的准实验研究表明,学习仪表盘通过恰当的呈现方式放大学习者的感知,从而提升了特定的行为表现;通过推送匹配人格特质的数据指标强化了使用动机,从而助力学习目标的达成。
关键词: 学习仪表盘
  
\
​       一、引言

  以学习测量为核心的“数据驱动教学”,正日益成为教育技术领域的新研究范式。可视化分析工具的设计是“数据驱动教学”的核心,特指学习仪表盘,被定义为为了支撑和改进学习和表现,对学习分析结果进行可视化和直观显示的学习分析工具[1]。纵观当前学习仪表盘设计,还停留在静态、稳定的信息呈现,缺少个性化的呈现方式。过多的指标很难让学习者从众多数据中把握有价值的信息,甚至有可能增加学习者的认知负荷。从研究场景上看,多基于固定学习场景,对移动学习场景关注较少。本研究旨在围绕学习仪表盘的个性化设计展开探索,使评测指标直观、动态、智能化介入移动学习场景之中,以推进“互联网+”教学的革新与优化,丰富学习分析领域的实践研究。

  二、个性化设计:学习仪表盘的发展趋势

  学习仪表盘是“个人信息学”(Personal Informatics)的特定应用类型。个人信息应用通过提供回顾和分析个人历史的工具帮助学习者提升自我感知。自我感知的提升有诸多益处,如培养洞察力、增加自我控制能力以及积极的行为表现。从呈现内容看,学习仪表盘呈现的多元信息包括从简单的原始数据信息到基于复杂算法的数据指标,其呈现结果可以归纳为从描述性到处方性的谱系。对于描述性指标,绝大部分学习仪表盘将采集到的数据进行全面呈现,具体包括登录信息(学习时间与频次)、学习结果(考试、测验、作业成绩等)、内容使用(文档、学习材料、资源等)以及发帖与回复次数等。根据K Verbert提出的信息处理过程模型[2],当数据指标可以与相关目标和记录的过程相联系时,有意义的反馈环因此被创建,从而促进学习者调整或保持强预期的学习行为。鉴于学习者个性的差异,利用一个模型描述学习者具有较大的局限性,如果可以考虑学习者的个性化差异,为不同层次的学生提供相应的数据指标,学习仪表盘的影响则有可能会扩大。

  学习仪表盘个性化设计的必要性也可以从教学有效性上进行阐释。当前,除普渡大学开发的Course Signals[3]是为数不多的经过3年大规模学术研究的案例外,还没有明确的数据证明学习仪表盘的有效性[4]。Jeonghyun Kim等[5]的研究认为,学习仪表盘有效性不确定的原因是对具有差异的学习群体干预程度有差别,当学习仪表盘信息不能满足不同学习者的好奇心或者需求时,会引发挫败感,导致低持续性访问。一味增加显示指标,并不能提升学习者的使用动机,建议未来研究应采用个性化的呈现措施。

  一般认为,学习仪表盘相对丰富的数据可以拓展学习者对学习状态的感知,使得“学习者信息处理的反馈循环”得以不断建立与更新。在实际应用中,研究者还需根据系统的采集指标以及应用场景进行综合权衡。学习仪表盘如何能呈现个性化的内容为学习者交流和协作提供更有效的支撑,使其既保证数据呈现的完整性,又不提供繁杂的冗余,都有待创新性的探索。较为合理的研究路径是引入自适应界面的概念。若建立自适应系统,还须考虑使用何种个性化模型作为分类标准,以及模型的适用性问题。

  三、基于人格特质的复制自适应方式

  自适应界面(Adaptive User Interface,AUI)是基于数据挖掘技术,使系统内容及呈现方式符合学习者个性化特征的界面呈现形式。自适应界面可以简化界面的复杂度,提高使用动机与满意度,是未来用户界面的发展方向与趋势[6]。尤其在缩小界面以及简化导航的移动终端具有巨大的潜力[7]。复制自适应方式是自适应界面的一种类型。复制自适应方式在保留界面整体属性不变的情况下,通过复制不同的自适应项目至特定区域,从而使界面分成静态区域和动态自适应区域,保持了界面主体的稳定,有利于提升操作绩效和使用意向。

  自适应界面的建立离不开学习者个性化分析模型的研究。目前,自适应系统的研究和应用采用比较多的是学习风格模型,例如:Felder-Silverman模型、Kolb模型等。鉴于东西方文化差异,这些模型是否适用于国内学习者,有待进一步考证。尤其值得商榷的是,中学生身心发展的变动性以及学习内容的深入性会导致其学习风格存在较大的变化,这一点已在国内大规模研究中得到证实[8-9]。鉴于上述不可回避问题的存在,利用大五人格特质刻画学习者是比较可行与易行的方式。

  特质是人格的“心理结构”与“神经特性”,具有“支配个人行为的能力”[10],反映人与人之间的基本区别[11]。作为人格应用最为广泛的模型,大五人格在自适应系统中具有4个方面的优势。一是基于“心理结构”特质理论的大五人格完美解决了识别个体差异的问题。评测结果具备高效度与信度。当前,大五人格的研究已处于绝对“统治地位”[12]。二是大量跨文化研究证明,该人格特质具有极强的普适性。Rolland对16种不同文化的适应性探索[13],Terracciano等发表在Science的研究[14]以及Schmitt对56个国家跨文化实用性分析[15]均验证了其跨文化普适性以及稳健性。三是大五人格特质的开放性和外倾性维度与在线学习行为具有紧密的联系。e-Learning环境中,外倾性的本质是通过“社交扩展”获得社会关注,其高低差异体现在元认知策略方面[16];开放性的本质是“创造体验”[17]。高开放性学习者擅长利用拓展性学习及服务获取综合的学习体验,低开放性学习者更重视心理建模与策略比较,多采用自我定向学习。四是基于特质一致性假设(Trait-congruency Hypothesis)认知情感人格系统框架(Cognitive-affective Personality System),不同人格特质的学习者对e-Learning环境(人工情境)的敏感度不同,学习者偏爱于加工与其人格特质一致的信息,且这一变化模式遵循“如果……那么……”的逻辑[18]。

  四、学习仪表盘个性化设计

  (一)研究情境

  2015年起,“数字学习与教育公共服务教育部工程研究中心”依托高中实验校开展全学科“互联网+”教学,该教学场景强调平板终端支撑学习者学习的各阶段,技术以常态化形式“无缝内嵌”学习过程之中。

  (二)框架设计

  结合学习仪表盘的功能、数据指标以及移动终端物理尺寸,对功能框架进行设计。根据复制自适应方式建立静态呈现区域和动态呈现区域。其中,静态呈现区域包括核心行为指标、学习者个人信息以及学习投入分值;自适应区域呈现个性化行为指标。每个指标均以特定的可视化形式呈现个体与班级平均分的数值。

  (三)静态区域设计

  Y Park等基于Moodle平台LMS系统的数据,利用多元线性回归考察行为自变量与作为最终成绩的因变量之间的关系,将回归模型中的预测变量作为学习仪表盘的核心可视化指标[19]。借鉴该研究,以最终课程成绩作为因变量,平台记录指标为预测变量,建立逐步多元线性回归预测方程,确定核心行为变量。选取语文、英语、数学3门代表性学科,以实验校高二年级738名学生为研究样本,对持续一学期的平台数据进行分析。容忍度(Tolerance)、方差膨胀系数(VIF)与条件指标(CI)的结果表明不存在多元共线性问题。课后测试分数、多媒体形式提问数量、总计学习时间、主题被推荐数量、文本形式提问数量5个指标变量先后进入回归方程,各模型中的行为变量P值均为0.000,5个变量对学习结果具有57%的解释力。静态区域呈现的学习者个人信息包括学习者姓名、头像图标及个人学习投入分值排名。学习投入分值以及包含的“持续性、反思性、主动性、专注性”四维度分值根据工程中心研发的模型和算法输出。

  (四)自适应区域设计

  1. 在线学习行为挖掘

  利用“模式识别技术”判定人格特质。选定大五人格特质中的“外倾性”与“开放性”作为人格分类的标准。利用NEO-FFI大五人格量表[20]显式获取学习者人格特质。该量表内容简洁,且具有与完整版相同的信度和效度[21]。其中,外倾性和开放性每个维度均包括12个题项。采用5级计分制,1至5分别对应“完全不同意”至“完全同意”。回收有效问卷662份,其中,外倾性Cronbach α为0.805,开放性Cronbach α为0.701。“外倾性”均值为40.56,标准差为5.81,中值为40.68;“开放性”均值为42.89,标准差为6.53,中值为43.02。其中,低外倾学习者314人(占47.4%),高外倾学习者348人(占52.6%);低开放学习者309人(占46.7%),高开放学习者353人(占53.3%);独立样本t检验的结果显示,低外倾人格分值显着低于高外倾分值(t=-30.955,P<0.001)。低开放人格分值显着低于高开放分值(t=-32.570,P<0.001)。综合以上结果可以看出,NEO-FFI量表适合作为本研究的分类标准。

  利用分类算法对在线学习行为进行挖掘。为排除冗余变量,依次剔除平台记录指标中的“分数”变量,通过比较每次的预测精度,得出最优化模型。结果显示:基于C4.5算法建立的模型“外倾性”预测精度为77.42%,“开放性”预测精度为74.24%;基于随机森林算法的预测精度有较大幅度的提升,“外倾性”预测精度为93.94%,“开放性”预测精度为93.89%。

  2. 自适应界面呈现内容

  在验证“模式识别技术”判定人格特质的可行性基础之上,围绕“自适应”区域呈现内容展开研究。探索如何根据不同的人格类型,设计与之匹配的呈现内容。

  (1)“人格特质—学习行为倾向—匹配场景”分析框架

  根据先前的理论阐述,建立“人格特质—学习行为倾向—匹配场景”的自适应界面分析框架。定义人格特质P={P1,P2,P3,P4 };其中,P1为“高外倾、高开放”,P2为“高外倾、低开放”,P3为“低外倾、低开放”,P4为“低外倾、高开放”。具体来看,外倾性的本质是衡量“社会关注”——个体在人际行为领域中建立联系的程度,行为倾向方面体现出工具使用的差异性。教育云平台中,“高外倾”学习者通常倾向使用“合作策略”,关注社交工具使用,以及表达类数据指标;“低外倾”学习者倾向使用“自我监控策略”,关注建模工具使用,以及计划类数据指标。开放性人格的本质是衡量“创造与体验”——个体获得体验和经验的程度,行为倾向方面体现出信息分享的差异性。教育云平台中,“高开放”学习者更倾向社会性、拓展性学习,关注拓展工具使用以及探索类数据指标;“低开放”学习者多采用自我定向学习,关注反思工具使用以及评价类数据指标。

  (2)自适应区域内容设计

  基于“人格特质—学习行为倾向—匹配场景”的自适应界面分析框架,确定自适应呈现内容。呈现内容包括 “前置工具”以及“数据指标”两部分。“前置工具”从教育云平台的学习工具中选择,“数据指标”排除5个核心指标,从平台记录的剩余指标中遴选。根据理论假设,列出每一种人格类型对应的工具使用倾向与关注数据指标,两两组合后,进行归类、排序与合并,得出最终的自适应呈现内容,见表1。
 
\
  表1 自适应区域呈现内容

  五、实证研究与讨论

  (一)设计原型的感知比较

  1. 实验设计

  借鉴Davis修订的“技术接受度问卷”(TAM)[22]制定使用意向问卷与感知有用性问卷。使用意向问卷包括4个题项,感知有用性问卷包括5个题项,问卷采用5级计分制,1至5分别对应“完全不同意”至“完全同意”。根据P1至P4四类人格类型相匹配的呈现内容设计界面1至界面4。学习者浏览界面原型设计,对其内容呈现完成问卷评分,利用差异性检验并结合访谈的形式以验证理论假设与设计。

  223名高一学生参与了调查,有效问卷176份。其中“高外倾、高开放”50人,“高外倾、低开放”41人,“低外倾、低开放”44人,“低外倾、高开放”41人。感知有用性问卷Cronbach α在0.686至0.755之间,使用意向问卷Cronbach α在0.679至0.789之间。

  2. 实验结果

  (1)“高外倾、高开放”学习者感知有用性和使用意向差异

  以人格特质为自变量,学习者感知有用性得分作为因变量,进行方差分析。结果表明:该类学习者感知有用性存在显着性差异(F=93.261,P=0.000),表现为学习者对界面1的感知有用性显着高于其他界面。以人格特质为自变量,学习者使用意向得分作为因变量,进行方差分析。结果表明:该类学习者使用意向存在显着性差异(F=98.827,P=0.000),表现为学习者对界面1的使用意向显着高于其他界面。

  (2)“高外倾、低开放”学习者感知有用性和使用意向差异

  以人格特质为自变量,学习者感知有用性得分作为因变量,进行方差分析。结果表明:该类学习者感知有用性存在显着性差异(F=76.596,P=0.000),表现为学习者对界面2的感知有用性显着高于其他界面。以人格特质为自变量,学习者使用意向得分作为因变量,进行方差分析。结果表明:该类学习者使用意向存在显着性差异(F=99.597,P=0.000),表现为学习者对界面2和4的使用意向显着高于界面1和3。

  (3)“低外倾、低开放”学习者感知有用性和使用意向差异

  以人格特质为自变量,学习者感知有用性得分作为因变量,进行方差分析。结果表明:该类学习者感知有用性不存在显着性差异(F=0.313,P=0.816)。以人格特质为自变量,学习者使用意向得分作为因变量,进行方差分析。结果表明:该类学习者使用意向存在显着性差异(F=88.046,P=0.000),表现为学习者对界面3的使用意向显着高于其他界面。

  (4)“低外倾、高开放”学习者感知有用性和使用意向差异

  以人格特质为自变量,学习者感知有用性得分作为因变量,进行方差分析。结果表明:该类学习者感知有用性不存在显着性差异(F=0.289,P=0.833)。以人格特质为自变量,学习者使用意向得分作为因变量,进行方差分析。结果表明:该类学习者使用意向存在显着性差异(F=64.876,P=0.000),表现为学习者对界面4的使用意向显着高于其他界面。

  由以上结果可知,“高外倾、高开放”人格类型对应的界面1以及“高外倾、低开放”人格类型对应的界面2,在感知有用性和使用意向上均显着较高;“低外倾、低开放”人格类型对应的界面3,以及“低外倾、高开放”对应的界面4在使用意向上均显着高于其他界面,理论假设得到了初步的验证。研究还对16名“低外倾、低开放”和“低外倾、高开放”学习者展开了访谈,进一步验证了自适应呈现内容设计的合理性。

  (二)学习有效性分析

  二次实验围绕学习仪表盘的学习效果,即对学习行为变化、学习成绩以及相关关系展开进一步探索。搭建基于R的随机森林环境,根据学习仪表盘个性化设计进行系统开发。选取实验校高二(3)班(52人,系统平台整合学习仪表盘)、(4)班(49人,不整合学习仪表盘)为实验对象,两个班级师资配备相同、教学进度一致,时间从2016年11月持续至2017年1月,共计3个月。

  1. 学习行为差异借鉴Y Park等开发的学习行为测量问卷[19]分析学习行为水平。该问卷针对学习仪表盘使用场景,包括6个题项。BC1:“学习仪表盘刺激了我的学习动机”;BC2:“我会定期参照仪表盘的信息”;BC3:“我会根据仪表盘信息进行反思”;BC4:“学习仪表盘支撑了我的时间管理策略”;BC5:“我使用仪表盘制定学习计划”;BC6:“我参考学习仪表盘的行为指标会让我更加自信”。问卷采用5级计分制,1至5分别对应“完全不同意”至“完全同意”。

  利用独立样本T检验比较实验组和对照组在学习行为水平上的差异。结果显示:实验组显着高于对照组(t=7.667、P<0.001)。从各题项上看,BC1(t=4.727、P<0.001)、BC2(t=7.445、P<0.001)、BC3(t=6.782、P<0.001)、BC6(t=3.629、P<0.001)均存在显着性差异。这表明:在学习仪表盘的介入下,学习者的学习动机、反思能力、计划个人成就以及自信方面显着增强,并且可以把仪表盘信息和个体行为变化联系起来。因此,可以认为学习仪表盘强化了预期的学习行为。

  2. 成绩差异

  以语文、数学、英语的期末均分作为最终成绩衡量标准,利用独立样本T检验比较实验组和对照组在成绩改变上的差异。结果显示:实验组显着高于对照组(t=2.592、P<0.05)。

  3. 学习行为与成绩的相关关系

  利用双变量相关考察学习行为水平与成绩之间的相关关系,相关系数为r=0.683、P=0.000,两者显着正相关。

  利用平均数加减一个标准差,划分学习行为水平高中低分组。其中,学习行为水平低分组与成绩的相关系数为r=0.6831、P=0.001,中分组与成绩的相关系数为r=0.464、P=0.006,高分组与成绩的相关系数为r=0.210、P=0.512。表明:对于低分组与中分组,学习行为水平与成绩之间存在显着正相关。

  以学习行为水平高中低分组(分别对应图1中组别1、2、3)为自变量,成绩为因变量,进行方差分析。结果表明:三组学习者在成绩上存在显着性差异(F=88.046,P=0.000),表现为低分组成绩显着低于中分组。图1可以清晰地看出这一趋势,随着学习行为水平的提升,成绩逐步上升,随着组别的增加,递增幅度呈下降态势。

  作为学习分析系统的“意义建构”重要部分(Sense-making Component),基于个性化设计的学习仪表盘通过遴选特定的数据指标,促进学习者将目标状态和当前任务状态进行对照,从而提升特定的行为表现;通过恰当的呈现方式放大学习者的感知,使其学会自我监控与监督;通过推送匹配人格特质的数据指标强化使用动机,使学习者将学习作为一个积极的过程去追求,从而增加自我控制能力,助力学习目标的达成。
 
\
  图1 组别与成绩单变量轮廓图

  这在对学习行为与成绩的差异分析中得到了证实。研究也发现,学习行为水平更高的学习者,并未体现出更高的学业成就。推测其原因是不同学业成就学习者对数据指标理解程度的差别造成的。特定数据指标的强化与反馈可能对中低学业成就者更有效果,因为他们不能较为全面地了解与其他人的差距[23],而这种比较对高学业成就者可能不是必要的。此外,高学业成就者本身具备较强的学习动机,他们的目标设置多为提前自发的行为而很少被外界因素激励,这会导致学习仪表盘的干预作用减弱。

  六、结语

  “互联网+”教学的弹性与开放特征允许学习者实施更多自我导向的学习。学习仪表盘通过扮演提示的角色,让学习者了解自我调节过程中目标和当前状态的差异,从而促进学习绩效的提升。因此,学习仪表盘呈现信息是否能满足具有差异的学习者是设计的关键。基于人格特质的“复制自适应”方式可以很好地解决数据呈现的全面性与有用性,以及个性与共性之间的矛盾。在个性化呈现内容的同时保持界面相对稳定,具有较好的应用前景。未来研究应更多聚焦如何为学习者提供持续有效的呈现内容,重点考虑学习者的学习能力差异与动机水平,以及持续评估不同数据类型的可用性

第三十四届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:content

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。