-
教育知识图谱
普通类 -
- 支持
- 批判
- 提问
- 解释
- 补充
- 删除
-
-
学习目标
1.了解教育知识图谱的定义,及其在当今时代所面临的挑战; 2.掌握实体识别的模板和规则,掌握实体标注、关系挖掘等原理
3.掌握知识图谱的可视化方法;
4.理解教育知识图谱在现实中的部分应用场景。
-
学习建议
1.建议学习5个课时;
2.学习期间可以阅读相关文章,加深基于不同算法的知识图谱生成的理解;
3.针对不同的教育场景,找出知识图谱的具体应用,与同学分享;
-
思维导图
-
10.1教育知识图谱面临的挑战
当前我国学生的学业负担相较于国外学生的学业压力来说略显沉重,深究其原因,因为“双减政策”的发布,在统一教学模式下如何提高学习效率,受到广大学生、家长和教师等的广泛关注。所以,通过知识图谱技术改善学习需要和个性化学习显得尤为重要。
教育知识图谱作为人工智能教育应用重要的赋能技术,能够基于教学过程丰富的多源异构数据、资源,表征各学科多层次、多粒度的知识谱系和认知过程,为满足教育教学对学科知识本体的建模需求提供了可能性;教育知识图谱能够融合学科专家的教学经验和领域知识,为智能教育提供可解释的机器智能,提供数据驱动和知识驱动相结合的信息处理方法,从而推动智能教育从“感知智能”迈入 “认知智能”时代。
但教育知识图谱也存有一些挑战,这体现在:
第一,学科性:不同学科的知识形式与内涵存在巨大差异,对于教育知识图谱方案的普适性提出巨大挑战,学科与学科之间的知识体系存在的差异,是教育知识图谱落地的挑战之一。
第二,全覆盖性:在面对一片完整的知识领域时,如何对其完整的还原和呈现为知识图谱提出了巨大挑战。教育所涉及的知识内容丰富多样,在信息时代,就知识的更新速度而言,由于高等教育更关注理论与技术前沿,其持续更新恰是常态。
第三,准确性:学科中的知识点是有粒度之分的。不同抽象层次的知识点很自然地组织成层级体系,不同的层级对应不同的知识粒度,不同的知识粒度需要不同的处理手段。
10.1.1 学科性
在学科教育中,特别是高等教育的各个学科,它们的知识体系往往处于动态发展与持续更新的过程当中。对于科研、教学和学科情报工作而言,需要具备足够的学科背景知识才能拥有一定的学科洞察力。而学科知识图谱对于学科洞察具有积极意义,比如,学生搜索“智慧化”相关文献,通过直接匹配论文关键字很难检索得到直接的相关文献,但事实上标题含有“智慧教学”、“智慧学习”的论文是符合要求的 显然,如果机器也拥有人类类似的学科背景知识,是能够胜任这类文献查找工作的。学科知识图谱的建立可以深化整个学科发展态势的洞察,提升科技情报服务的内涵。当前,词汇挖掘和关系挖掘等方法能够从海量学科论文、专利等语料数据自动挖掘学科术语(词汇、关键词等)及其之间的各种语义关系,构建以术语为核心的词汇知识图谱(其内涵与传统图书情报领域的虚词表相近),为学科洞察奠定了良好基础。
知识图谱能够建立各个学科的知识点概念建立层级关系,知识点与知识点之间的关联关系,不同知识点之间的顺序关系构成各学科知识点图谱。利用这个图谱,通过可视化的知识网络图展示给学生,一目了然,可以很天然的用来帮助学生构建知识体系,查阅知识要点,发现知识点之间的关联帮助学生做总结沉淀,消灭知识盲区。但是不同学科的知识形式与内涵存在巨大差异,如图1,对于教育知识图谱方案的普适性提出巨大挑战,学科差异是教育知识图谱落地的挑战之一。例如,语文教学过程中注重学生对文字的感知和表达能力,课堂上以阅读、写作等形式为主,教材也以各种文学作品的解读与分析为主。而数学教学过程则大不相同,其注重学生的数理逻辑和计算能力,课堂上以答题等逻辑和计算训练形式开展教学,教材则多围绕术语提供大量的定义、解释、示例进行组织。即使是同为理科的数学和化学之间也存在很大的区别,化学更加关注真实世界化学物质的性质、合成等,而数学则主要包含抽象世界中的逻辑和计算。
不同学科间的巨大差异对于知识表示与应用提出巨大挑战。数学中需要表达数理与运算的逻辑,历史需要表达事件之间的时序关系、地理需要表达时空逻辑、物理需要表达物理规律。作为语义网络的知识图谱很难应对不同学科的知识表示需求。学科差异也对知识的获取与应用手段提出了挑战。语文、历史、政治等文科类的学科,使用大规模语言模型有可能取得比较好的效果。理科的各类学科单单文本不足以表达相应学科的基本逻辑,需要发展额外的知识表示方式,以显著提升相应学科的知识表示与应用水平。此外,各个学科之间存在紧密关系(所谓文史哲不分家、数理化不分家),跨学科的知识融合对技术提出了巨大挑战。比如牛顿的万有引力(物理)与微积分方法(数学)有着紧密联系。如何关联与融合不同学科的知识仍有待深入研究。
图1 不同学科间知识表达
10.1.2 全覆盖性
教育所涉及的知识内容丰富多样,如图2,包含课程知识、教学知识、教材知识、学科知识、百科知识课程题库等。目前,关于知识图谱理论、技术和应用的相关研究设计领域知识结构展示、学科可视化、课程教学组织、知识传播途径以及数字图书馆的管理等方面,分布在生命科学、经济学、社会鞋、体育科学、教育学和新型技术等领域。尤其在教育教学领域中,知识图谱更多地被应用于高等院校课程设计,主要涉及教师课程建设和学习者学习情况追踪,旨在优化教学,推动教学内容及活动的改进,并促进在线学习模式的转变。知识内容的多样性增加了知识获取和组织的难度。不同类型的知识需要不同的表示方式,不同的知识处理手段。例如,在教学环节,教材知识极为重要,通常需要以知识为核心组织教材的知识体系与内容逻辑,因而需要建设以知识点之间的逻辑关系为核心、辅以知识点与定义、公式、说明的关联关系为外围的知识点知识图谱。而考评环节的关键是考题资源,往往需要建设以考题为核心的知识图谱,包含题目与知识点、学生、老师的关联关系。在某些应用场景,比如机器辅助解题,需要进一步从题目中拆解题干、选项、答案解释等知识要素。教育的不同环节需要不同类型的知识,需要建设不同类型的图谱。利用知识图谱,以及知识点学习进度和考试反馈数据的实时关联,丰富用户画像,更加精准的学情分析。利用这些可以做更精准的学习资源推送和帮助老师针对性的制定教学策略。但类型多样对教育知识图谱的建设提出了巨大挑战。
教育知识图谱对于各个学科的研究都有重要的帮助,至2022年10月16日以CNKI收录的关于知识图谱的核心期刊文献为研究样本,发现关于知识图谱的论文文献有224篇,关于知识图谱分析有64篇,这些知识图谱的应用涉及各个学科各个领域,例如有:知识学习、文化养老、国内大学生创新创业等。
此次以《基于知识图谱的数据安全教育研究现状》为例,讲述知识图谱在数据安全教育研究中发挥的重要作用。论文主要采用关键词共现分析的文献计量方法和高频关键词的内容分析法,基于具有文献计量功能的SATI4.0(Statistical Analysis Toolkit for Informetrics) 文献题录信息统计分析工具,探寻我国的数据安全教育研究的内容。
主要检索出的内容包括:首先有研究内容的有用研究样本的数量,作者的综述,作者间存在合作,以及合作程度等。其次可以根据发文时间的分布,可大体了解研究内容的集中度、趋势以及所处的研究阶段。然后还可通过期刊分布表明不同期刊对于研究内容的接受情况,并以此提供建议,如可以进一步扩大学科研究领域,进行跨学科交叉研究,以取得更优的研究成果。另外,对于作者的分布与合作方面,研究作者的分布,利于识别某研究领域的核心作者;作者合作分布的研究,利于发现学术共同体。最后,发文机构分布与合作,对于发文机构分布研究,利于识别某研究领域或主题的核心研究机构;对于机构合作共现知识图谱,利于发现机构间的合作情况。
图2:丰富的知识内容
10.1.3 准确性
知识图谱在自适应学习场景应用案例。基于知识图谱,利用数据分析,快速的检测定位学生的学习状况和薄弱点,并针对性的推荐相关的内容以及学习路径规划。第一步精准检测:检测学习水平,找到薄弱知识点。通过对学生过程化动态学习数据的自动分析,检测学生的学习水平,精确诊断学生的学习情况,并分析学生薄弱知识点。第二步内容推送:基于检测结果,针对性的为学生提供推荐优质学习资源个性化学习资源,实现错题举一反三和使学生摆脱题海战术,大幅减少学生重复练习的时间和课业负担。第三步学习路径规划:路径规划服务。基于知识点之间关系,学生自身的学习偏好,学习能力等多个维度,为学生量身定制个性化学习方案,使学生从原来表层知识学习,逐步深入到深层学习。第四步形成闭环;将精准检测,内容推送,路径规划,整个流程作为动态闭环,稳步提升学生知识掌握程度。
构建学科知识图谱应用案例。如以大学生四六级考试为例。以知识点、题目、学生为主要核心进行设计,基本结构如图4所示。首先在知识图谱数据库中找到分析的学会个体实体节点,继而找到该实体节点未掌握的相关知识点,并将其与所述的各层知识主题实体节点所形成的子网络结构抽取,形成学生初试的学习路径。随后,运用知识图谱的测试数据自动评估功能对测试过程与结果数据的合理性进行判断,对学生与个别知识点的掌握关系进行修正,从而对该学习路径进行适当的调整。
图3 学生四六级考试知识图谱结构
-
10.2 知识图谱技术实现路线
【知识图谱的类型】
1.常识|领域|专业 知识图谱,常识知识图谱,一般挖掘的是这些词之间的语义联系,是一些非常稳固的常识性先验知识,如「阿司匹林」-「消炎药」,非常在意准确性;比较主要的 Relation 包括 isA Relation、isPropertyOf Relation
2. 百科全书知识图谱:对于百科知识图谱,一般会在意实体和实体之间的事实,如「王菲」-「妻子」-「李亚鹏」则需要经常更新;
预定义一些谓词,比如说 DayOfbirth、LocatedIn、SpouseOf
更实用的分法是:领域知识图谱和百科知识图谱,比如医疗知识图谱,药品知识图谱,这种垂直领域的知识图谱通常数据来源和应用领域都比较专业和固定,而百科知识图谱更像一个大杂烩。
【知识图谱架构】
模式层:
模式层最重要的工作概括为确定数据结构:哪些实体,实体类型,关系,关系类型,属性,属性类型,确定表示的粒度。
Schema属于模式层,用来规范KG的领域与描述对象,即schema描述了知识图谱的数据结构。其实就是用来描述本体层(Ontology)。为知识图谱设计Schema相当于为其建立本体(Ontology),标准的KG包括如下几部分,概念和实体是并列关系,
- 概念和概念层次关系
- 属性和属性值类型
- 关系, 关系定义域概念集, 关系值域概念集
ps:额外添加规则(Rules)或公理(Axioms)来表示模式层更复杂的约束关系
在垂直领域的知识图谱,你就只需要定义实体类型,关系类型,属性类型。
数据层:
数据层的水很深,技术栈很长很深,每一个点看起来都有点小众,仔细一查又有大量的分散的方法,又无法确定是否真的实践有用,非常的让人头秃。简单概况数据层的工作:
1.「数据获取」结构化数据能否直接使用,半结构化数据如何转换,非结构化数据如何信息抽取。
2.「清洗整理」单位,格式等的同义,知识缺失时其他标签填充,为缺失的属性构造抽取器,可以利用上下位等概念,或者其他机器学习深度学习方法,单源数据属性融合,多源数据的知识融合:实体对齐,关系对齐,实体消岐,实体链接等。
3. 「数据库」图数据库的选择,存储方式的选择,索引等的设置。
4. 「知识更新」:可以周期性更新,实体的拓展,监控热词更新,关键词搜索引擎的更新。
10.2.1 实体识别标注
(1)标注原理
A.获取语料(即语言材料,语料是构成语料库的基本单元。)
- 现成语料
在日常生活中的书籍、文档等等资料都可以整合处理后变成语料库来进行使用。
- 网上抓取语料
网上抓取语料,在互联网上每天都会产生大量的文本,例如微博、论坛、留言等等都是可以抓取获得经过处理作为语料库的。其特点就是容易获取且是电子版可以在抓取的时候直接转换成需要的格式。难点在于网上的文本数据的用法有可能跟我实际生活中有差别需要进行进一步的处理。
- 人工采集语料
对于特殊需求的语料只能进行人工采集,例如儿童的文本对话,日常生活中的对话等等。在特殊场景上应用基本上都需要人工进行采集,采集特点会根据需求场景进行规范语料内容,在特定的规范中发挥人本身在生活中的实际对话进行采集。这类采集目前阶段需求量还是非常大。
B.语料的处理
上面提到的不管是现成的语料、网上抓取语料还是人工采集语料都需要做进一步的处理之后才能应用,那么语料的处理过程往往会占据完整的中文自然语音处理工程中的50%-70%的工作量。基本上需要经过如下4个方面数据清洗、分词、词性标注、去停用词进行语料的处理工作。而这4个方面大部分需要进行人工进行处理。
- 语料清洗
语料清洗一般可以从几个维度进行。- 数据格式清洗(不符合需求格式的数据进行清洗)
- 脏数据清洗(对我们不需要的数据进行清洗)
- 数据内容清洗(例如我们只需要文章标题,不需要作者就需要根据实际需求进行对已有的数据进行清洗)
- 数据格式清洗(不符合需求格式的数据进行清洗)
- 分词
分词是对文本分析非常重要的一步,但分词方法又有很多种,所以我们就需要根据我们项目需求,提前设定好分词的颗粒度、以及一些特殊词的分法。以免后期处理产生歧义。这一部分可以结合分词算法来加快数据标注的进度。但是分词算法也有非常多,需要大家根据大家的需求进行选择。如:正向最大匹配算法、逆向最大匹配算法、最大Ngram分值算法、全切分算法、双向最大最小匹配算法等等。
- 词性标注
词性标注,就是给每个词语打标签,如形容词、动词、名词等。词性标注在大部分的处理中是非必须的,只是类似情感分析、知识推理等是需要的。但是相对其他标注词性的标注也是需要更多专业知识的。
- 去停用词
停用词一般指对文本特征没有任何贡献作用的字词,比如标点符号、语气、人称等一些词。去停用词的操作一定要根据场景进行,有些场景是需要语气词来进行判断情感。
3.NLP文本标注方法
所以可想而知在拿到数据的第一阶段是很头痛的,你会发现维度太多了,而且种类也太多了,每种产品的留言也有可能是不一样的。那么我们就需要从更高维度去分析提出共性和基本处理原则。所以,我们可以从三个维度去考虑。
1.总体原则:这个标注过程中必须遵守的基本原则。
例如:最简原则/最小原则,可以理解成在分词过程中用到的最小颗粒度的分词方法。例:和平饭店,可以分和平饭店整体,也可以分为和平/饭店,那么在这里我们就分为和平/饭店。
2.特殊定义:在标注过程中特殊情况的处理方法。
例如:在分词当中可以遇到的一些专有名词,就不进行拆分等。
3.标注需求:对具体标注过程进行说明。
标注需求部分,我们还是进行两类的区分考虑。
a.词性的角度。
例如:标注的我们需要分为哪些,可以更好的贴切与我们的需求。在本次需求里我们要分析用户对产品的全流程的使用体验,那么能涉及到什么?留言会有什么?首先情感是必须存在的一类。那么什么可以哪些特征词可以表示出客户的情况呢?那么理解到了核心的问题点。特征词和情感词。
b.事件的角度。
什么是事件的角度?本次需求当中需要点会涉及到非常多种类的产品。但是不管什么产品都需要经过一个全流程的事件,最后产生用户反馈。那么在这个全流程过程中哪些点是可以影响用户体验的。这样这个事情的逻辑就出来了,例如:物流、包装、品牌等等。就可以根据实际情况去设定对应的事件了。
(2)序列标签预测算法
10.2.2 关系挖掘
1. 关系抽取
当信息来源是非结构化文本时,构建知识图谱关键的一步是需要从非结构化文本中抽取去结构化信息。知识图谱中的信息抽取是从自然语言文本中抽取指定类型的实体、关系、事件等事实信息,并形成结构化数据输出的文本处理技术。在知识图谱构建所需的RDD三元组结构中,一般抽取的信息也是「实体」-「关系」-「实体」,知识图谱的构建会先确定好要抽取的信息,确定抽取信息的schema, 然后基于schema去抽取信息。
2. 关系抽取难点——关系重叠
数据中有可能只有一个实体对及关系,也有可能是一个实体同另一个实体之间存在着多种关系,还有可能是一个实体与其他不同实体之间存在着多种关系,这种现象被称为关系重叠。
关系重叠问题在实体关系抽取中会影响抽取的性能,所以解决各种关系重叠类型的实体关系抽取、提高抽取性能是目前研究的重点。
关系重叠,例如:
- Single Entity Overlap (SEO) 单一实体重叠:两个三元组之间有一个实体重叠
- Entity Pair Overlap (EPO) 实体对重叠 :即一个实体对之间存在着多种关系
- Subject Object Overlap (SOO) 主客体重叠 :既是主体,又是客体
3.抽取方法
a.按模型结构分类,关系抽取主要分为 Pipeline 和 Joint 方法。
(1)流水线(Pipeline)方法
先从文本中抽取全部实体(e1,⋯,en),然后针对全部可能的实体对(ei,ej),i≠j判定其之间的关系类别。
(2)联合抽取(Joint extraction)方法
通过修改标注方法和模型结构直接输出文本中包含的(ei,rk,ej)三元组。对于 联合抽取(Joint extraction),又可以分为 "参数共享的联合模型" 和 "联合解码的联合模型":
b.经典的实体关系抽取方法主要分为有监督、半监督、弱监督和无监督这4类。
深度学习的实体关系抽取任务分为有监督和远程监督两类。
在有监督中, 解决实体关系抽取的方法可以分为流水线学习和联合学习两种
远程监督方法缺少人工标注数据集, 因此, 远程监督方法比有监督多一步远程对齐知识库给无标签数据打标的过程,而构建关系抽取模型的部分, 与有监督领域的流水线方法差别不大。
10.2.3 图谱可视化
知识图谱主要数据模型是RDF数据模型,即Resource Description Framework资源描述框架的基础架构是一个资源(subject)-属性(predicate)-属性值(objecct)这样的一个三元组(triple),由模式(schema)的描述方法并支持推理。知识图谱可以认为是以RDF或属性图表示的知识数据本身。其可以用图数据库存储也可以用其他数据库存储。2000年的时候Neo4j为了解决多媒体关系系统中schema 经常会发生重大变化的问题,提出了用图的方式进行数据的组织、存储与应用。经过发展于2010年正式提出了属性图模型。属性图数据模型跟RDF数据模型的起源于发展是两条线,只不过因为属性图更加易于理解并且通用(更接近通用的图抽象方法)知识图谱也可以用属性图模型存储。知识图谱中常用的RDF模型可以认为是图在语义方向的一种特种模型。
知识图谱是图分析与可视化所基于的图数据中的重要组成部分。知识图谱是一种数据形式,基于这种结构化的数据可以支持从数据分析、智能问答、反欺诈等一系列智能应用。而图分析与可视化是一种基于复杂网络的可视化形式与分析手段,其数据基础是各种图数据,知识图谱只是图数据中的一种。除了知识图谱数据,还可以从其他角度得到不同的图数据,例如各对象间的信息、资源、资金或人员流动与传播的数据;此外,还可以根据各个对象间的特征进行相似度计算,从而生成对象间的相似度网络,并进行展示与分析,如果我们想构建文献相似度图谱,需要根据文献摘要间的文本相似度构建相似度网络,进而利用图挖掘算法进行分析。我们可以基于以上不同规则定义,通过不同手段得到的图数据,进行展示与分析。
图可视化就是把图数据中的节点和边用可视化的网络表示出来。专用的布局算法可以计算网络中节点的相对位置,从而在平面或者3D空间中对其进行较为清晰的展示。而交互式可视化工具是人们从关联数据中识别洞察并产生价值的重要桥梁。图可视化的优点有很多,例如:
- 更快吸收信息。因为人脑处理视觉信息的速度比书面信息要快得多,直观显示数据有利于更快地理解数据,从而快速采取行动。
- 通过与数据进行交互,更高效地提出见解。图可视化工具提供了处理数据的可能性。它鼓励使用数据,提出质疑,增加了发现可行性见解的可能性。一项研究表明,与仅依靠托管报告和仪表板的管理者相比,使用视觉数据发现工具的管理者发现关键信息的可能性要高28%。
- 通过可视化的模式和背景更好地理解问题。图可视化工具不仅可以展示可视化关系,也可以帮助理解数据的背景。通过图可视化工具,可掌握事物之间连接的完整概述,进而识别数据中的趋势和相关性。
- 图可视化是一种有效的沟通方式。视觉表示提供了一种更直观的方式来理解数据,并且是与决策者共享数据发现的有效媒介。
- 不仅是技术用户,每个人都可以使用图可视化工作。不需要特定的编程技能既可实现与图可视化的交互,使得更多的用户能通过图可视化提出观点,增加创造价值的潜力。
-
10.3 教育知识图谱应用
前言
近年来,随着互联网+教育模式的普及,教育领域逐渐积累了海量具有应用价值的教育数据。但不同来源的教育数据之间结构不同,没有建立起相应的联系,难以直观地服务于教学参与者,迫切需要人工智能、大数据等新兴技术采集并处理相关的教育数据,为教师、学生和家长群体提供智能服务,持续促进教育应用的智能化。知识图谱作为人工智能技术在知识工程方面的代表,能够有效地处理和分析数据,重构知识之间的联系,为数据决策或者分析提供支持。在2019年的“全国教育信息工作会议”上,知识图谱和深度学习、大数据一起被列为智能教育时代下的重点研究内容,针对教育知识图谱的研究也成为了教育技术的研究热点。教育知识图谱能够基于教学过程中产生的教学数据和资源,对不同学科的多层次知识结构进行准确地表征,为教育教学对知识的建模提供可能性。多模态资源区别于传统的单一媒体资源形式,泛指教学过程中产生的大量文本、视频、音频以及图片信息。结合多模态资源,能够在知识挖掘的过程中丰富知识的特征表示,提升教育信息挖掘的准确程度。同时,通过教育知识图谱对大量无序的多模态资源进行处理,能够有效地破解多模态资源汇聚融合的难题,对于生成个性化学习路径、教育资源推荐等智能教育应用具有极大的意义。
10.3.1智能问答
10.3.1.1智能问答的发展智能问答是自然语言处理中的重要分支,通常以一问一答的人机交互形式定位用户所需知识并提供个性化信息服务。它能让计算机自动并以精准自然语言形式回答用户所提出的问题且不同于搜索引擎。如表1所示,智能问答的历史可以追溯至1950年,计算机科学之父阿兰·图灵为了检验计算机是否具备精准应答问题的能力,提出机器能否思考的判断方案——图灵测试,自此翻开了自然语言人机交互的篇章。20世纪60年代前后,首批问答系统问世,Green等人设计的Baseball程序可用普通英语回答有关棒球比赛的问题,1971年月球科学大会上,LUNAR系统首次亮相,它可以回答月岩样本分析的相关问题,但这一时期的QA系统只停留在处理领域结构化数据层面上。20世纪70年代前后,语言学的兴起、马尔科夫假设等理论的提出、数据库构建成本降低,使得问答系统构建难度也因此而降低。该时期的问答系统集成自然语言处理、知识表示等方法分析用户问题,耶鲁大学开发的SAM系统便是这一时期的产物,它引入计划的概念并使用脚本来理解问题,但是其缺点在于脚本未就绪则系统将无法工作。20世纪90年代,计算机运算能力提升,基于机器学习的自然语言处理诞生,智能问答进入了开放领域、自由文本时期。智能问答研究热点转向基于大规模文档集的问答、研究领域从限定领域延展至开放领域,研究对象从固定语料库延伸至互联网。2002年,密歇根大学开发了一个支持多语言的WQA系统,用户可以使用多语言提问。同时期有影响力的问答系统还有Webclopedia、LAMP等。2009年,WolframResearch公司推出的WolframAlpha在线自动问答系统能给出答案与答案相关的所有信息,这一时期的系统越渐成熟,涵盖多领域多语言的知识数据,配有相应的可视化界面。当2011年IBM公司研发的“沃森”在美国知识竞赛节目《危险边缘》中战胜两位顶尖人类选手后,基于深度学习的智能问答再次成为研究热点。10.3.1.2基于知识图谱的问答系统近年来,随着知识图谱概念渗透到各领域,基于知识图谱的智能问答逐渐成为焦点之一,在金融、医疗、旅游、农业、电商等垂直领域,都不乏相关研究,例如李贺等人构建的基于疾病知识图谱的问题系统,杜泽宇等人的电商知识图谱的问答系统,由于医疗和电商等领域对该类系统的需求较大,因此完善程度也较好。这些基于知识图谱的问答系统,或利用当中的知识数据结合深度学习构建问答系统;或利用图谱的推理能力理解问题;或融合问题与三元组的信息编码至向量空间,在向量空间内完成问题相关的相似度计算任务,得出用户所需近似答案。归结基于知识图谱问答系统的构建方法有3种,即语义解析(semanticparsing,SP)、信息检索(informationretrieval,IR)、向量建模(vectormodeling,VM)。学术界有一种说法称主流方法只分为语义解析和信息检索,只是近年来将深度学习应用于两种传统的方法,更将VM归结一种类似IR的方法。在该领域,一些研究者旨在深入研究KBQA的子任务,例如问题实体检测、关系抽取、多跳推理等,一些研究者则研究整体的通用框架,如Pei等人设计基于TransE的中文领域知识图问答通用框架,涉及多模型融合。本文以这些任务中使用到的关键技术为侧重点对该领域技术现状以及展开阐述。10.3.1.3问答数据集研究KBQA离不开数据集,而不同数据集通常针对不同QA任务,包括简单问题和复杂问题。一些研究者为达成研究目的还需要扩充公共数据集或独自构建数据集,如Miller等人为了验证其网络功能而提出MovieQA数据集。但大多数研究者会选择使用公共基准数据集,既省去构建时间而专注于算法模型的设计,又便于对比同类模型。而人工标注数据集往往需要高成本人力物力,因此数据集的构建者会使用模版构建问答数据集,但仅使用模版生成问题的数据集缺乏多样性,而缺乏多样性的数据集作为训练数据时通常会降低模型对复杂问题的泛化能力,因此近年来数据集的构建者会以构建高质量数据集为目标。本文归纳整理了近些年来具有代表性数据集,如表2所示。从体量上看,数据集的规模已从千级别扩展至百万级别,其中含有复杂问题的数据集体量往往较小。从基于的知识库看,早期数据集一般基于Freebase构建,2016年Freebase被收购后,KGQA数据集大多基于Wikidata和DBpedia。近3年,数据集的问题焦点放在了多样性、SPARQL以及推理过程上。考虑到以往的数据集很少有推理过程,2021年,Shi等人基于Wikidata数据加入推理过程构建KQAPro,它包含了多样的简单问题与复杂问题,且保证了其规模与质量,无疑是近年来高质量的数据集之一。10.3.1.4构建方法本节对目前主流的基于模板的语义解析方法、基于语义查询图的方法、基于编码解码的方法进行介绍,并对其进行归纳总结如表3所示。基于模板的语义解析方法其核心在于模板于规则的制定、语义查询图的核心在于如何用语义图来表示自然语言的句子结构、编解码的方法的核心在于构建编码模型捕获句子特征、基于检索的方法其核心在于句法的信息如何映射为特征图或句子特征转为空间向量。语义解析方法是一种语言学方法,其思想是将非结构化的自然语言问题映射为一系列结构化逻辑形式,例如语义图和高级查询语言(如SPARQL,Cypher等)。而基于模版的语义解析方法其思想在于将问题先转换为人为预定义的规则或模版,再转换为可执行的查询。如图1所示,输入的问题首先被映射为逻辑形式,该过程通过预定义模版规则进行映射,得到实体与关系,再进一步转化为图数据库的可执行查询得到知识图谱中的相应的答案。本文归纳整理了近年来在这方面的研究如表4所示。基于模板的语义解析方法其核心在于模板的构建,其优点在于过程清晰,可解释性强,但此类方法需要结合语言学的知识,无论是自动或半自动的构建方案都需要一定的工作量。10.3.2知识检索
10.3.2.1知识检索的定义
知识检索由情报检索、信息检索和文献检索衍化而来,指“通过对检索对象语义层次上的标引,提高查全率和查准率”(《计算机科学技术名词》第三版),“从知识资源或知识库中,按照一定的方式和技术,并根据用户的需求找出相关知识的过程”(《管理科学技术名词》第一版),或“一种基于知识组织体系,能够实现知识关联和语义检索的智能化的检索方式”(《图书馆·情报与文献学名词》第一版);在辞书学中,检索这一概念通常对应search和access两个术语,前者指利用检索词(search word)查找特定信息的过程,后者指辞书中的信息能被相对便捷地查检到(relative ease with which information can be located)。为进一步明晰知识检索的概念,使其适用于专业词表尤其是术语词典编纂研究,我们有必要对知识检索进行定义。
知识检索以知识为研编对象。对知识的第一种理解维度源于哲学认识论,侧重波普尔“三个世界”理论中的“世界3”,即相对于“主观知识”的“客观知识”。达尔伯格认为,知识可分为知识因子(knowledge elements)、知识单元(knowledge units)等四个层次,我国知识组织研究奠基者王知津等将这种知识表述为由众多“知识因子”和“知识关联”组成的“网状结构”;辞书学将词目承载的知识分解为各类信息范畴(information categories);专科词典是特定“学科领域知识体系化语言表达的结果”,Henning Bergenholtz和Sven Tarp将专科词典中的知识分为语言知识和百科知识及其子类。第二种理解维度源于信息/知识管理领域,以DIKW模型为代表,指相对于数据、信息乃至智慧的知识。其中,信息是经过结构化加工后带有意义的数据,而知识被视为经过加工后可“被利用”、“助于产生新信息”或带有判断的信息(information with judgement)。结合研究对象特点,本文侧重第一种解释,将知识检索的对象视为术语词条承载的各类客观知识。
知识检索以检索为研编活动。检索有广狭之分,广义的检索“对信息工作者而言”,指信息/情报存储与检索,“通过建立检索系统来解决文献查找问题”;狭义的检索“对用户而言”,仅包括广义检索的“后半个过程”,即“信息查检”。结合研究对象特点,本文侧重广义检索中的检索系统设计和评价研究,突出学科领域专家在术语分析中的作用。
10.3.2.2 知识检索功能框架
根据上述对知识检索的定义探讨,面向专业词表尤其是术语词典的知识组织功能性研究以对专业知识体系及其构成要素的检索为基本功能,以检索系统设计或设计特征为研究重点,包括有效性和增效性两个外延。
(专业)知识检索的有效性,源于信息/情报检索中的“检索效率”。广义检索效率衡量指标包括“查全率、查准率、检索方便性及成本等”;狭义检索效率以查全率和查准率为主。王知津等基于情报学的“专指性”与“查准率”、“网罗性”与“查全率”等概念,提出“知识组织概念模型”;曾蕾针对知识组织系统,提出歧义消解(简称消歧)、同义控制、关系建立和表呈特性的功能及其方法;美国国家信息标准组织文件ANSI/NISO Z39.29—2005(R2010)收录了曾蕾提出的前三项功能及其方法,将其作为词汇控制的主要原理和方法,利于提升词表检索系统的查全率和(或)查准率。检索效率现已拓展于基于本体、动态的知识检索模型研究等,而术语知识检索属于细粒度的知识组织研究,仍待发挥研究者的学科领域专业优势,作为智能检索研究的理论基础和必要补充。
较之有效性,(专业)知识检索的增效性是基于特定领域知识多维性原理的特色设计,超出潜在用户对查全率、查准率等有效性指标的基本心理预期。随着知识关联研究的深入,多维度知识关联与融合研究渐成趋势,如苏新宁等谈到知识组织的“多维性原则”以及“不同学科”、“同一学科内不同维度”的知识关联。该视角与术语工作相关标准相契合,如国际标准ISO860:2007和国家标准GB/T 16785—2012《术语工作 概念和术语的协调》谈到“概念的多样性”,源于“专业”、“科技”、“文化”及“社会经济”等方面的不同而形成的概念差异(或称歧义、多义)。术语标准化工作要对此类概念进行协调,但若从知识检索角度而言,术语概念多样性及协调可被视为知识增值的契机,因为检索到一个术语可获得超出基本心理预期的多维度专业知识。
通过文献综合,我们搭建出知识检索功能框架(表5),该理论框架面向专业词表尤其是术语词典检索性能设计和评价相关研究,涉及知识检索的有效性和增效性两个外延。知识检索有效性的主要指标参考狭义的检索效率,包括查得全和查得准(在量化研究中表述为查全率和查准率),其主要因素借鉴张琪玉等和ANSI/NISO的相关内容。知识检索的增效性借鉴“知识增生”这一术语,指通过知识点间的多维度关联与对照,可提供新的理解角度,促进新知的产生,从而“在知识服务中发挥更大效应”。我们根据现有规范名词(2016年《管理科学技术名词》)代之以“知识增值”,其主要因素参考概念协调相关内容,以及“知识关联”的类型,整合为不同媒体间以及同一媒体内的概念协调。根据研究对象的媒体和领域等特点,主要因素可适当增减。
10.3.3“人工智能+”视域下的教育知识图谱应用前景
(一)助力教育大数据智能化处理
教育大数据是人工智能教育应用的基础。教育大数据的分析与挖掘是从“数据”到“知识”的萃取过程。通过知识图谱,我们可以将教育领域海量且繁杂的大数据整合为一个语义化的知识网络,破解数据汇聚融合的难题,并优化数据价值的攫取过程,如图2所示。
从数据汇聚融合的角度来看,教育大数据价值密度低、数据稀疏的特性,需要融合多源异构的教育数据才能保证分析结果的精准性。而当前的教育大数据在汇聚融合过程中,缺乏统一标准与规范,数据模式动态变迁困难,多源异构数据难以语义化融合,“数据孤岛”“数据烟囱”等问题依然严重,因此,急需一种灵活可扩展、智能自适应的数据模式,将现有数据进行多维度深度融合。知识图谱作为一种轻量级的数据模式,并且具有语义关联、动态可扩展的能力,能够在一定程度上实现多源异构数据统一建模与管理。
首先,需要由学科专家和知识工程师从教学、管理、科研三个维度定义知识图谱的标准模式;其次,需要由大数据工程师将海量的教学日志数据、教学资源数据以及学习行为、学习测评数据与标准模式进行映射;再次,通过知识校验技术将不同数据源中的实体进行融合;最后,利用实体链接技术将数据与各类资源库和知识库进行关联。
从数据的分析与挖掘层面来看,对于教育领域的文本、视频等非结构数据的处理,传统文本挖掘算法(文本分类算法、潜在语义分析算法等)以及CNN、RNN等深度学习模型,由于缺乏语境上下文以及领域知识,其分析效果欠佳。这就需要借助知识图谱提供的教育领域知识,进一步提升性能。
此外,当前“数据驱动”理念指导下的教育大数据分析与挖掘技术,能够很好地处理具有“相关关系”特征的问题,但对于因果判断、溯因推理、决策规划等“因果关系”问题却捉襟见肘。究其原因,“数据驱动”的方法严重依赖数据本身的特征,缺乏领域知识和专家经验的融入。而通过知识图谱提供的先验知识去赋能教育大数据的分析挖掘,能够增强机器学习算法的学习能力,提高机器的认知水平,实现“数据”与“知识”双向驱动的教育大数据智能化处理。
(二)助力教学资源语义化聚合
近年来,随着泛在学习环境以及MOOC、SPOC、微课等开放教育资源的出现,知识的获取方式呈现跨端、跨源、跨模态的特性,学习资源面临着分散无序、知识碎片、共享困难、关联缺失等严重问题,学习资源的语义化聚合逐渐成为教育技术研究的热点问题。
知识图谱以其语义化关联、智能组织聚合的能力,为机器理解复杂的学习资源和构建知识语义网络提供了新的思路,它是进行海量教育资源组织、表征与管理,实现教育资源融合的关键技术之一。知识图谱之于学习资源的作用,主要体现在以下两个方面:
1.面向知识组织的学习资源语义化关联
目前,在线学习平台通常采用“资源—索引—元数据”的模式来组织学习资源,无法根据学习者现有的知识结构或认知水平,为其推荐最切合的学习资源。通过利用知识图谱对学习资源进行知识化标引和链接,建立以知识为中心的资源语义关联模式,使得非结构化的学习资源通过结构化、知识化的加工,成为有语义关联关系的知识对象,实现从内容资源到资源图谱的转化,为学习者提供了可重组、可融合、可创生的知识体系。此外,知识图谱还将资源使用记录与学习者个性特征、知识状态进行关联,能够为学习者提供更加个性化的资源服务。
2.融合多模态资源,构建跨媒体知识图谱
在多环境下利用多媒体通道进行多模态学习,成为“互联网+教育”时代人类学习的主流模式,也是信息加工理论、多媒体学习认知理论倡导的知识建构方式,这使得学习资源逐渐从单一有限的媒体资源,向海量多源的异构媒体资源演进。而如何将语言、视觉、听觉等不同类型的媒体资源进行融合,对现实世界中的知识进行统一的语义表征、关联理解,成为当前学习资源聚合亟待解决的问题。
跨媒体知识图谱通过视、听、语言等感知算法,来分析、挖掘跨媒体中的知识,将来源于不同媒体中的实体对象进行语义关联,为解决上述问题提供了新的技术支撑。跨媒体知识图谱的构建过程大致如下:首先,通过图像识别、音频分析、语音识别、自然语言处理等机器学习技术,从图片、视频、语音、文本等媒体资源中,识别出知识实体和实体属性;其次,将不同媒体中的实体通过特征向量进行表达,并映射到统一的共享向量空间中;最后,通过欧几里德、余弦距离等计算公式,度量实体与对象之间的相似性,并将相似的实体对象进行融合。
(三)助力智慧教学更加高效化
1.教学目标精准定位,助力“以学定教”
教学目标作为教学过程的出发点和风向标,它的精准定位决定着教学设计和教学过程的有效性。教学目标的精准定位取决于两个要素:一是要精准定位学生当前的知识和能力状况,二是要精准预测学生未来的知识掌握状态和能力发展程度。以知识图谱为代表的人工智能技术为教学目标的精准定位,提供了新的技术手段,主要表现在:
(1)基于学科知识图谱,能够精准探测学生在各知识点的掌握状态。借助于教育大数据的采集技术,智能学习系统能够记录学生在作业、练习、考试、答疑等各个环节的学习轨迹;结合学习分析技术,以知识图谱的形式可视化展示学生知识点的掌握程度,能够精准定位学生学习短板以及薄弱知识点。
(2)结合知识追踪技术以及相关教育学理论,动态预测学生各知识点的掌握变化情况。每个学生的学习状态、学习进度、知识程度都各不相同且动态变化,需借助人工智能技术进行动态预测。知识追踪技术是当前智能教育领域新兴的一种预测手段,它通过学习者外在的、显性的学习表现或行为序列,来预测学习者内在的、隐性的知识技能状态。2015年,斯坦福大学提出的深度知识跟踪模型,已初步应用于沪江英语、扇贝英语、义学教育等在线学习平台。
2.知识结构更加可视化,助力“高效建构”
由关联主义学习理论可知,知识是一个由事实、概念、命题和原则等要素通过关系构成的网络,而学习的本质也就是增强学习者对该网络的认知,建构学习者个体的认知结构。知识结构的可视化,正是通过图形、图表、地图等视觉表征手段,呈现知识内在结构和关联关系的辅助工具。在智慧教学中,知识结构可视化工具,为学习者有效组织知识、高效建构知识,提供了认知脚手架。
目前,基于知识图谱的知识结构可视化,已成为智能化教学平台的基本组件,如,全球最大的适应性学习平台Knewton就采用了知识图谱作为其平台的知识组织工具;可汗学院也将知识图谱作为其学科知识可视化的表征工具;WolframResearch公司构建的知识搜索引擎,也采用了知识图谱作为底层支撑技术;国内的伟东云教育也推出了基于知识图谱的智能化知识导航和管理工具———寻知图。
(四)赋能学习者画像模型的构建
用户画像是一种以用户行为大数据为基础,融合文本挖掘、情感分析、知识抽取、数据可视化等技术,以标签化的信息模型描述用户多维特征的建模方法,其本质就是对画像主体“打标签”。
学习者画像是用户画像的一种特殊形态,主要用于描述学习者的学科知识、认知能力、学科素养、学习风格以及情感状态等方面的个性特征,它是开展个性化支持服务的前提和基础。学习者画像的一般过程包括:学习行为数据获取、学习行为数据分析、用户标签抽取、用户画像生成四个环节。当前,学习者画像模型的构建,面临以下挑战:一是行为数据的稀疏性、缺失性、偏差性和隐私性,导致画像模型的精准度一直都比较低;二是学习者画像模型是以标签形式表征的,这些标签对于机器来说是难以直接理解的,导致学习者画像的语义性和可计算性大大减弱。
将知识图谱运用于学习者画像建模与分析,不仅能够基于知识图谱对标签进行语义泛化和语义关联;而且能够基于学习者的知识图谱进行标签传播,提高数据的可用性以及标签的可理解性,从而将学习者画像的建模从基于行为的建模转向基于语义的建模。例如,加拿大阿萨巴萨卡大学的学习分析研究专家Siemens以及哥伦比亚大学的教育数据挖掘专家Baker,共同提出了构建个性化学习图谱(PersonalLearningGraph)的构想,进而构建了基于个性化学习图谱的学习者数字画像。
(五)赋能适应性学习的诊断
当前的智慧教育更加突出强调“以学习者为中心”的教学理念,而如何评测、诊断学习者对于知识和技能的真实掌握状况,仍是全球教育信息化面临的难题。根据认知主义理论观点,学习是面对真实的问题情境,通过学习者的心理加工和信息处理,形成和建立认知结构的过程,而学习诊断是通过诊断性测试,来对学习者的认知结构进行评估的过程。
目前的学习诊断方法,可分为基于学科专家的学习诊断和基于人工智能的适应性学习诊断两种。基于学科专家的学习诊断,主要依靠经验对学习者的知识与能力状态进行评估,缺乏教育测量学思想的融入,具有较大的偶然性和主观性。其诊断的大致过程是:首先,由学科专家或心理测量专家确定认知属性及其层级结构;然后,根据Q矩阵理论,编制诊断性测验项目;最后,对被试在测验项目上的反应模式进行分析,进而推知学习者的认知结构。这种方法存在费时费力、测验可重用性差、个性化支持不足等问题。
而知识图谱等人工智能技术支持下的学习诊断,能够基于学习者客观的学习过程数据,以知识空间理论、认知诊断理论为基础,以统计测量、学习分析、数据可视化、数据挖掘等智能技术为手段,为不同的学习者选择适应性的测评工具、测评内容,设置差异化的测评过程,并自动生成目标达成度、认知及知识维度的分析报告,从而实现学习诊断过程的智能化、客观化、个性化。此外,还可以对未达成的学习目标进行认知和知识等方面的归因分析,对其缺失的知识提供补救措施,能够有效地帮助学习者发展和完善其认知结构。因此,和普通学习诊断相比,基于知识图谱的学习诊断,实现了诊断过程的自适应和个性化。
(六)赋能个性化学习的推荐
个性化学习是教育发展的本质追求和价值取向,也是人工智能技术赋能教育的最佳实践。然而,当前指数式增长的学习资源,使得学习者的“认知负荷”和“学习迷航”问题日益加剧,学习资源的极大丰富与个性化学习服务供给不足之间的矛盾日益突出。而个性化学习推荐能够根据学习者当前的知识状态,为其推荐适切的个性化学习资源和学习路径,成为实现精准个性化学习的关键和基础。
已有的研究发现,传统基于协同过滤的推荐、基于内容的推荐以及二者混合的推荐方法,不仅存在冷启动、数据稀疏、可拓展性差等诸多问题,而且也无法应对教育领域个性化学习推荐的复杂性。即便是基于深度学习、增强学习等的个性化学习推荐方法,也无法融入教育教学的领域知识(如,学习者的知识状态、认知能力以及学习资源的难度等)。针对上述问题,朱天宇等人提出了领域知识驱动的个性化推荐方法,并将其成功应用于“智学网”[71],这一研究充分证明了教育领域知识对个性化学习推荐的重要性。基于上述研究成果,我们认为,知识图谱作为一种组织和表征知识的工具,反映了知识点的先后顺序以及认知依赖关系,提供了较完善的教学知识体系;参照知识图谱来实现个性化的学习资源推荐以及个性化学习路径规划,符合知识的认知规律和教学的基本逻辑,能够解决现有个性化学习推荐方法缺乏领域知识的问题。
可见,基于知识图谱的个性化学习推荐,能够根据知识间蕴含的前驱和后继关系,综合考虑学习者的认知风格、当前的知识状态等特征,为他们推送个性化、有针对性的学习资源和学习路径。具体可分为以下几个阶段:
(1)学习者个性化需求分析阶段。根据学习者的信息交互、操作交互等学习行为,识别学习者当前正在学习的知识内容,定位学习者的知识盲点、缺失概念,生成学习需求数据库,并根据学习活动进行动态调整。(2)学习者个性化测评阶段。个性化测评的目的是对学习者的知识水平、学习风格、认知能力等各方面的差异性进行量化分析,为学习资源的个性化推荐和学习路径的动态规划提供依据。(3)个性化知识子图生成阶段。根据学习者的个性化学习需求以及学习者的知识水平、学习风格、认知能力等个性特征,从学科的知识图谱中抽取学习者待学习的知识点,形成个性化知识子图。(4)个性化学习推荐阶段。个性化学习推荐,包括学习资源推荐和学习路径推荐两种协同推荐模式。学习资源推荐,主要针对薄弱知识点推荐相应的微课、教学测验等;学习路径推荐,主要为学习者推荐从当前知识点到目标知识点之间的学习对象序列以及学习活动序列。
(七)赋能智能教育机器人
《地平线报告》连续多年预测教学机器人将成为持续影响教育领域的关键技术;英国开放大学发布的2019年度《创新教学报告》也指出,“机器人陪伴学习”将成为教育领域可能出现的“创新教学法”。教育机器人能够充当学习者的学习助手、智能学伴,为其提供答疑、导航、推荐、提问、社交等智能服务,对于增强学习兴趣、激发学习动机、提高学习效果具有重要作用。同时,教育机器人也能够辅助教师进行教学监控、教学管理、自动答疑,延伸教师的表达能力、知识传递能力和沟通能力。
当前,教育领域应用的机器人主要是对话型或聊天型,该类机器人通过机器学习和知识图谱等技术让机器理解人的语言,在对人类意图进行深入分析的基础上,经过简单的逻辑推理和规则匹配过程,对学习者的提问进行回应抑或完成某项明确具体的任务。比如,对话型机器人是一个集语言感知、语音识别、智能决策、自动反馈为一体的复杂系统,涉及自然语言处理、知识图谱、知识推理、增强学习等诸多人工智能技术,而知识图谱在其中起到了决定性作用。
如图3所示为对话型教育机器人的基本结构,主要包括自然语言处理模块、对话管理模块、知识图谱模块、自然语言生成模块四大部分。其基本处理流程如下:自然语言处理模块将学习者输入的文字与语音数据转变为机器的内部表示,在知识图谱的辅助下,基于深度学习技术对输入进行实体识别、实体链接、指代消解、语义理解等处理,最终解析为槽值对的形式;对话管理模块综合学习者的输入数据以及知识图谱中的信息,经过知识推理、语义消歧、上下文理解、语义检索等操作生成问题答案,最后交由自然语言生成模块反馈给当前学习者。在该过程中,知识图谱相当于教育机器人的大脑记忆系统,存储了教育领域海量的常识性知识,以及学习者的情感状态、兴趣偏好、知识技能等数据信息,使得机器人拥有了类似人类大脑的记忆、思考、推理和研判能力。
-
思考题
1.教育知识图谱如何促进教育智能化?
2.当前的教育知识图谱在教育领域中发挥了哪些作用?
3.如果需要你构建知识图谱,你会选择哪些角度或线索进行构建?
-
参考文献
[1]李亚琴,周奕琦.基于知识图谱的数据安全教育研究现状[J].对外经贸,2022(08):142-144.
[2]范柏乃,盛中华,韩家旻,吴赞儿,韩飞.中外区域技术创新知识图谱比较研究[J].自然辩证法通讯,2022,44(11):69-83.DOI:10.15994/j.1000-0763.2022.11.009.
[3]钟卓,唐烨伟,钟绍春,赵一婷.人工智能支持下教育知识图谱模型构建研究[J].电化教育研究,2020,41(04):62-70.DOI:10.13811/j.cnki.eer.2020.04.009.
[4]李振,周东岱.教育知识图谱的概念模型与构建方法研究[J].电化教育研究,2019,40(08):78-86+113.DOI:10.13811/j.cnki.eer.2019.08.010.
[5]陈悦,刘则渊.悄然兴起的科学知识图谱[J].科学学研究,2005(02):149-154.DOI:10.16192/j.cnki.1003-2053.2005.02.002.
[6]陆星儿,曾嘉灵,章梦瑶,郭幸君,张婧婧.知识图谱视角下的MOOC教学优化研究[J].中国远程教育,2016(07):5-9+79.DOI:10.13541/j.cnki.chinade.20160726.005. -
-
- 标签:
-
加入的知识群:
学习元评论 (0条)
聪明如你,不妨在这 发表你的看法与心得 ~