近年来，人工智能已经成为一个非常热门的研究领域，但事实上人工智能概念并不新鲜，该概念最初是在1956年的达特茅斯会议上被提出的。人工智能是计算机科学的一个研究领域，它主要通过模拟人脑的思维方式实现机器智能化，涉及多学科知识，如控制学、心理学、神经学以及遗传学等。人工智能帮助人类增强了对于客观事物的了解程度，在人脸识别、目标检测、语音识别、语言翻译等众多领域都有着优秀的表现。经过60多年的沉淀与发展，人工智能技术得要了质的飞跃，被应用于生活中的方方面面。当今，教育作为国家重点关注的领域，也得到了人工智能技术的重点应用。

  课堂行为观察是一种评估教师教学水平的重要方式。课堂中学生的参与状态、互动状态对于学生课堂知识吸收情况影响较大。参与状态具体指学生是否认真听讲，是否参与记笔记，是否有走神以及东张西望等动作。互动状态具体指学生是否举手发言、站立回答问题等都反映了学生的课堂参与度。可见学生的课堂行为与姿态不仅反映学生课堂参与度，同时也反映了教师教学水平与教学吸引力。通过课堂行为观察评估能够进一步评估课堂教学质量与学习质量，同时也能够评估教师教学模式，方便教师及时评估教学效果改进教学方式，可见课堂观察对提高教学质量具有重要的指导意义。

  因此，在教育和人工智能密切融合的当今,将人工智能引入教学活动，识别学生在课堂上的行为，了解学生的上课状态，对教学改革具有积极意义。基于此，笔者开展了课堂行为识别技术的教育应用研究，旨在帮助教师提高课堂的质量和学生学习的效率，进而培养出人工智能时代下的高技术人才和富有智能素养的合格公民。

 从弗兰德斯互动分析方法（FIAS）开始，教学行为迎来了量化分析的高潮，S-T行为分析、ITIAS、TBAS、iFLAS、OOTIAS、TIMSS、智慧教室环境下的课堂教学互动分析编码系统等一大批行为分析系统相继涌现，为教学评价、教学实践的改善提供了有效的研究工具。课堂行为识别与这些工具密切相关，因为它同样是在行为量化的基础上展开的。

  基于课堂视频的教学行为识别研究近年来受到广泛关注，然而能够适用于真实大课堂环境的应用研究仍然很少，根本原因在于真实环境的复杂性，如光照条件，摄像机视角，学生人数、年龄等因素非常多变，而目标人数较多、分布密集也导致了行为之间遮挡问题。所以教学行为的识别不仅是一个教育问题，也是一个技术难题。目前研究者的目光多着眼于单人行为的识别，实验条件较为理想化，如陈江涛提出一种改进的MHI-HOG联合特征提取方法，和基于查对表的快速神经网络和支持向量机联合识别分类方法，实现了对单人行为包括举手、放下、起立、坐下的识别，并达到了97%的识别率。蒋沁沂等人训练的六分类深度残差网络，识别单人上课、睡觉、玩手机、做笔记、看书、东张西望等行为，平均准确率达到91.91%。魏艳涛等人将学生行为分成听课、左顾右盼、举手、睡觉、站立、看书和书写七类，采用VGG16深度神经网络实现了93.33%的识别准确率。林灿然等人使用多模态数据如人体关键点信息、RGB图像等识别起立、端坐、举手，达到92%的准确率和96%的召回率。但由于存在多目标行为识别的现实需求，提取更具效果的行为特征和设计效果更好的算法成为了重点突破方向。如Si提出一种改进的R-FCN网络实现真实课堂下举手行为，达到85%的检测率。Shao等将课堂行为分为学生站立、举手和教师行为三类，并提出了一种改进的R-FCN网络用于真实课堂多目标的行为检测，AP75达到80.5%。周鹏霄等根据传统的S-T分类表，利用opencv检测人脸数目、轮廓特征、主体动作幅度来判断课堂视频中图像的S-T行为，达到了71.5%的准确率。徐家臻等基于人体骨豁信息识别真实课堂中学生的听讲、看书、站立、举手和写字五种行为，使用XGBoost模型的识别准确率达到85.49%。

  从上述研究可以看出，真实课堂环境下多人行为识别的效果远不如单人行为识别。另外，研究者很少关注目标的检测率，这不利于促进精准教育和个性化学习，最显而易见的是后排学生由于遮挡情况严重，尺度较小，行为往往难以有效捕捉。

  因此，基于真实课堂环境下的课堂行为识别技术在以下方面还有待深入。（一）针对复杂教学环境下的教学行为分析泛化性和实时反馈的要求，亟需一种具有良好鲁棒性且运行快速的智能识别方法。（二）上述研宄中课堂行为分类比较简单，行为类间差异较大，但纵观传统行为分析系统，行为分类更加多样和复杂。基于教学行为分析多样化和精细化需求，需要将更多复杂行为纳入识别研究中。（三）目前研究多注重算法的改进，而忽略课堂情景的特殊作用，并且与现有教学分析方法结合较少。需要更加注重人工智能技术背景下教学分析理论、行为分类方法的创新。

3.1 课堂行为识别的内涵 

  课堂行为识别，顾名思义，就是对课堂教学情境中的行为进行识别。同时，课堂上的行为包括老师的行为和学生的行为。它们不仅能反映学生的学习状态、学习效率和课堂质量，更能帮助教师发现自己的教学缺陷，进而优化教学。

  人体行为识别(Human Action Recognition)根据动作特征模态来分类，主要有:图像人体轮廓特征(appearance)、深度图(depth map)、视频人体运动光流(optical-flow)以及人体骨骼(body skeletons)。

  典型的行为识别主要分3步进行:人体目标检测、动作表示和动作识别。人体目标检测的目的是从静态图像中分割出人体前景，从包含动作信息的视频中分割出动作序列，从而得到容量更小但包含足够运动信息的数据，并以数学符号的形式表达出人体动作。

3.2 课堂行为识别的难点

  目前课堂学习行为识别研究存在两个难点：①很难获取课堂中的学生学习行为数据，而在公开的行为识别数据集中恰好缺乏该类数据，在此需要研究人员专门采集课堂视频数据，并对视频依次进行筛选划分、视频分割和标注，这是一个十分耗时的工作；②学者研究的课堂学习行为识别，大部分是基于检测，仅关注空间信息（只考虑单帧图像就判断其行为属于某一类别），没有充分考虑学习行为具有时序性（很多行为由连续的多帧图像共同组成），不能很好地识别、分析学习行为。当然，空间信息可以识别部分课堂行为，如睡觉行为是学生趴在桌子上，全程不动或者身体变化幅度较小，对此研究人员只需考虑空间信息，因为单帧图像可以较好地描述该行为。但是，大部分行为不能仅依赖单帧图像进行描述，如学生从坐着到站立、从站立到坐下这两个行为在时间顺序上呈负相关。

 总的来说，课堂行为识别技术主要分为两类，其中一类是通过手工设计特征并训练分类器的方式，另一种通过深度学习实现动作分类。并且，对于学生的课堂行为的研究已经不再局限于过去的人工观察并编码学生行为的方式来探宄学生课堂行为。随着信息技术的发展，越来越多的学者开始尝试通过技术与人工相结合的方式识别学生行为。同时关于学生状态的研究方向也是多维度的，例如学生课堂的异常行为，学生课堂的表情识别以及学生课堂的动作，使用的手段不仅包括传统机器学习同时更多采用深度学习的方式。

4.1 基于传统特征的课堂行为识别

  传统的行为识别算法主要是手工提取特征，需要建立起表示人体行为的模型，在建立好的模型上识别人体行为，可以从表示方式上分为整体表示方法和局部表示方法。传统的行为识别处理方法步骤包括输入视频、图像预处理、特征提取、特征分析、目标检测、目标分类等。最开始是通过运动信息、人体几何特征等方法进行人体行为识别，而后采用哈尔特征、光流、剪影、局部二值模式、梯度直方图等各种图像特征提取方法进行行为识别。

   一般来说，首先利用专家设计的特征提取符提取视频的底层行为特征;之后通常采用主成分分析(Principal Component Analysis， PCA) 和白化(Whitening)对底层特征进行预处理，以消除数据间的相关性，防止过拟合;然后将特征编码成定长的特征向量，并将其作为行为分类器的输入进行训练，最终得到训练好的行为分类器。常见的编码方式有矢量量化(Vector Quantization)、软分配(Soft-Assignment)、稀疏编码(Sparse Coding)、费舍尔矢量(Fisher Vector)，分类器通常采用支持向量机(Support Vector Machine，SVM)。

4.2 基于深度学习的课堂行为识别

  对于不同复杂场景中存在的光照、遮挡、视角变化等问题，传统手工特征并不具有普适性，因此以深度学习的方式从数据中自动学习特征可能更有效利用深度学习模型去自动提取数据中的特征，避免了人工设计特征过程中的盲目性和差异性。

  基于深度学习的课堂行为识别方法以端到端的方式，利用可训练的特征提取模型从视频中自动学习行为表征来完成分类。

（1）卷积神经网络 
  卷积神经网络是一种使用卷积核进行卷积计算且具有深度结构的前馈神经网络，被广泛应用于行为识别领域。卷积神经网络中上层与下层的参数并不是一一进行连接的，卷积神经网络通过卷积核作为中介，使得图像之间可以共享相同的卷积核。主要被应用为利用其3D卷积核进行卷积运算，对视频沿着空间和时间维度直接提取时空特征。

（2）循环神经网络 
  循环神经网络常被用于对时间序列数据进行建模和特征提取，通过时序门控制时序数据的特征表达在循环神经网络中，每一层神经元的输出都可以在下一时间段应用于自身，循环神经网络可以看成是一个在时间上传递的神经网络，因此循环神经网络的深度是时间的长度。现今主要被应用为：通过卷积神经网络提取视频图像帧中的空间相关性，并产生基于运动的注意力映射，依靠视频级别的动作标签便可以利用注意力映射来定位动作的时空位置。 

（3）图卷积神经网络 

  图卷积神经网络主要被使用于提取空间特征，传统卷积操作只能处理非常整齐的矩阵，图卷积操作就可以对骨骼数据这一不规则的数据进行精准的特征表达。图卷积神经网络实际上跟卷积神经网络的作用一样，就是一个特征提取器，只不过它提取的对象是图数据。图卷积神经网络精妙地设计了一种从图数据中提取特征的方法，从而让我们可以使用这些特征去对图数据进行节点分类（node classification）、图分类（graph classification）、边预测（link prediction），还可以顺便得到图的嵌入表示（graph embedding）等。

5.1 教学决策辅助支撑

  通过采集课堂环境下学生以及同步的课件数据，对学生上课中的动作以及课件对学生行为产生的影响进行分析，可以让教师获取到整体课堂教学效果的反馈信息。认真的表情和行为代表学生在课堂教学中是积极参与的，专注于教师的授课内容，能够跟上教师的教学进度并进行思考；如果学生表现出了消极的课堂状态，例如交谈、睡觉、玩手机等，可以解释为学生对当前的课堂内容感觉困惑甚至是厌烦，但是学生的课堂状态也是会随着课堂节奏变化而变化的。课堂上，通过监控等设备捕捉课堂视频处理可以分析出学生的课堂状态，实时记录学生课堂行为的变化，才能分析出课堂中存在的问题，及时进行教学效果反馈。并且，通过这些反馈信息也能辅助教师做进一步的教学决策的改进，提高上课的质量和学生学习的效率。

  同时，通过采集课堂环境下学生以及同步的课件数据，对学生上课中的动作以及课件对学生行为产生的影响进行分析，可以让教师获取到整体课堂教学效果的反馈信息，这会使教师更关注课堂教学的内容和质量。

5.2 教学评价支撑

  智能时代背景下，课堂测评指标内容逐渐多元化，数据收集与分析技术智能化水平日益提升。从测评对象看，目前基于智能技术的课堂测评研究主要集中于三大方面，即课堂参与主体的动作行为识别、课堂学习认知与情感状态诊断、课堂教学核心过程分析。课堂参与主体行为反映了课堂教学过程中教师和学生的基本状态；课堂认知与情感状态影响课堂教与学过程与机制，也是反映课堂教学效果的重要因素；课堂教学核心过程是教学活动实施的关键环节，也是课堂教学质量评估的直接依据。基于此，通过课堂行为识别技术进行教学评价，全面准确地分析并挖掘课堂教与学过程，可以全方面、深层次的对学生做出适性价值判断，进而充分发挥教学评价的诊断、鉴定、反馈、导向等功能。

  随着智能技术在数据采集中的应用，采集方式由传统的课堂观察、回放视频录像等形式转变为集常态化和伴随性采集于一体的智能化形式。结合基于多维数据的课堂教学行为指标体系，可以采取AI视频分析技术对教学过程进行自动化分析研究，依托信息技术自动化、智能化获取量化结果，同时依托语义分析批量处理话语数据获得质性结果。质性结果和量化结果经过折合，得到最终的评价结果。在数据采集与分析的基础上，要实现对教学过程数据分析与结果报告的数字化呈现，以弥补传统呈现形式的不便与弊端，助力教学活动。借助技术对课堂中的师生动作、师生话语、师生情绪等多维数据进行分析，可以在一定程度上克服传统评价的主观性和经验依赖性，实现课堂行为的实时监测与优化，打开显性行为和隐性行为背后的“黑箱”，帮助师生精准获取自身发展特质，实现教学评价的精准化。

  同时，教师不仅能从面向学生的摄像头视角中获取视频数据，利用基于RGB图像识别学生行为和姿态；而且也能从面向教师的摄像头视角中获取视频数据，通过Openpose工具提取骨骼信息，融合两种模型识别教师动作和姿态。同时，结合两个视角的信息，对教师的行为进行合理推测和修正。最后，教师根据推测得出的结果，进行自我反思，就可以发现自身教学习惯以及不足之处，进而发挥教学评价的诊断作用，提升教学效果。

5.3 学生心理和情感状态分析

  研究学生的情感状态往往是具有挑战性和难以验证的。然而，一些研究已经证明，识别情感是可以一致的，情感是学习和理解学习的一个重要标志。通过多模态数据对学习者的学习认知、人类推理、情感状态进行分析，并据此优化学习环境设计，使学习者能够更有效、更深入地学习。已经有使用面部动作编码系统（FACS）的研究证明，在课堂上，老师可以通过简单地观察学生的面部表情来识别他们的情感状态。

  最新的技术已经能够准确地预测情感状态，以及用户在与基于计算机的辅导系统交互时情感状态变化的来源。特别是在处理基于网络和辅导活动时，识别情绪状态的强度和时间是区分情感学习过程与愉快但不有效的基于计算机的活动的重要线索。在实现一个目标后，积极情绪的强度可能是学习能力增加的一个预测因素。而消极的情绪和反应反过来与认知任务的较低表现有关，外部刺激引起的紧张情绪对后续认知任务的表现有负面影响。

  对学生情感的各种研究都强调了通过学生情感意识赋予教育者力量的潜力。基于课堂行为识别技术在此领域的应用，老师能够更好地理解学生在学习时的心理状态和产生的情绪，并基于情感和学习之间的关系，了解学生的学习动机。

5.4 协作学习与问题解决评估

  尽管对社交和人际交往技能的评估一直被建议并强调为在教育测量社区中无处不在的“21世纪技能”，但衡量这些技能的持续挑战之一是难以理清的复杂方差问题。从几个角度来看，衡量协作是具有挑战性的。不仅很难定义多方面的结构和开发有意义的（和可靠的和有效的）协作任务，而且在协作任务中收集的数据是复杂的，并且具有时间依赖性的特征。总是有多个成分技能同时评估，这些技能是动态的，随着时间的变化，并依赖于几个人；一个人行动，第二个人对第一人做出反应，然后第一个人或其他人依次对这些行为做出反应。

  而课堂行为识别技术能够捕获、分析和测量复杂的人类行为，并对有噪声、非结构、多模态的数据进行分析，利用包括音频、视频和活动日志文件在内的多模态数据，使用一种层次分析方法，对人类行为的时间动态进行建模，并且进行分析。基于此，可以让大家在协作学习中更清晰的定位自己的角色，明确自己在团队中发挥的作用，进而提升协作学习的学习效果。

  本研究表明，智能时代下基于课堂行为识别技术的有以下的教育应用：

      1.通过监控等设备捕捉课堂视频处理可以分析出学生的课堂状态，实时记录学生课堂行为的变化，才能分析出课堂中存在的问题，及时进行教学效果反馈，帮助教师改进教学决策。

      2.通过课堂行为识别技术，全面准确地分析并挖掘课堂教与学过程，可以全方面、深层次的对学生做出适性价值判断，进而充分发挥教学评价的诊断、鉴定、反馈、导向等功能。

       3.采集多模态数据对学习者的学习认知、人类推理、情感状态进行分析，并据此优化学习环境设计，使学习者能够更有效、更深入地学习。

       4.捕获、分析和测量复杂的人类行为，并对有噪声、非结构、多模态的数据进行分析，利用包括音频、视频和活动日志文件在内的多模态数据，使用一种层次分析方法，对人类行为的时间动态进行建模，进而分析评价协作学习。

  综上所述，基于课堂行为识别技术的教育应用研究，将人工智能技术引入教学，能识别学生在课堂上的行为，了解学生上课时的情绪和心理状态。不仅对教学改革具有积极意义，而且基能够帮助教师提高课堂的质量和学生学习的效率，进而培养出人工智能时代下的高技术人才和富有智能素养的合格公民。

[1]闫兴亚,匡娅茜,白光睿,李月.基于深度学习的学生课堂行为识别方法[J/OL].计算机工程:1-8[2022-10-16].DOI:10.19678/j.issn.1000-3428.0065369.

[2]谢伟,陶亚平,高洁,周东波,王溦.基于YOWO的课堂学习行为实时识别[J].现代教育技术,2022,32(06):107-114.

[3]谢冬. 多模态课堂行为识别及教学决策研究[D].中国矿业大学,2022.DOI:10.27623/d.cnki.gzkyu.2022.001025.

[4]黄勇康,梁美玉,王笑笑,陈徵,曹晓雯.基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别[J].计算机应用,2022,42(03):736-742.

[5]夏磊杰. 基于课堂视频的教学行为智能识别与分析研究[D].华中师范大学,2021.

[6]吴立宝,曹雅楠,曹一鸣.人工智能赋能课堂教学评价改革与技术实现的框架构建[J].中国电化教育,2021(05):94-101.

[7]何秀玲,杨凡,陈增照,方静,李洋洋.基于人体骨架和深度学习的学生课堂行为识别[J].现代教育技术,2020,30(11):105-112.

[8]徐家臻,邓伟,魏艳涛.基于人体骨架信息提取的学生课堂行为自动识别[J].现代教育技术,2020,30(05):108-113.

[9]侯成坤. 基于多模态融合的课堂教师教学行为自动识别研究[D].华中师范大学,2020.DOI:10.27159/d.cnki.ghzsu.2020.001237.

[10]胡佳敏. 基于卷积神经网络的学生课堂行为识别研究[D].华中师范大学,2020.DOI:10.27159/d.cnki.ghzsu.2020.000955.

[11]杨凡. 基于人体骨架和深度学习的学生课堂行为识别研究[D].华中师范大学,2020.DOI:10.27159/d.cnki.ghzsu.2020.001458.

[12]魏艳涛,秦道影,胡佳敏,姚璜,师亚飞.基于深度学习的学生课堂行为识别[J].现代教育技术,2019,29(07):87-91.

[13]秦道影. 基于深度学习的学生课堂行为识别[D].华中师范大学,2019.

[14]朱朝. 基于深度学习的课堂低头抬头行为状态识别与应用[D].华中师范大学,2019.DOI:10.27159/d.cnki.ghzsu.2019.000266.

[15]周鹏霄,邓伟,郭培育,刘清堂.课堂教学视频中的S-T行为智能识别研究[J].现代教育技术,2018,28(06):54-59.