(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210027830.8 (22)申请日 2022.01.11 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 熊余　张健　王盈　蔡婷　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 代理人 廖曦 (51)Int.Cl. G06F 16/335(2019.01) G06F 40/30(2020.01) (54)发明名称 一种融合深度知识追踪的动态感知试题推 荐方法及系统 (57)摘要 本发明涉及一种融合深度知识追踪的动态 感知试题推荐方法及系统， 属于计算机领域。 第 一步： 将学生的试题交互序列数据输入嵌入层， 把大规模稀疏特征转换为适合模型输入的低维 密集特征， 并按时间对学生试题交互排序； 第二 步： 使用门控循环单元来建模试题交互序列之间 的依赖关系， 并引入辅助损失函数利用下一个试 题交互来监督当前隐藏状态的学习； 第三步： 设 计了带有自注意更新门的门控循环单元对与 目 标试题相关的知识演化过程进行建模； 第四步： 将学生动态的知识状态和目标试题的嵌入向量 串联， 馈入多层感知机进行最终的Softmax判决， 决定目标试题是否要推荐 给学生。 本发明有效地 提高了试题推荐预测的性能， 实现对 学生个性化 试题推荐。 权利要求书3页 说明书9页 附图2页 CN 114372137 A 2022.04.19 CN 114372137 A 1.一种融合深度知识追踪的动态感知试题推荐方法， 其特征在于： 该方法包括知识提 取和知识演化； 知识提取是从显 式学生试题 交互序列中提取潜在的知识掌握情况， 知识演化是对知识 演化过程建模； 在知识提取中， 引入辅助损 失函数来为当前时刻的试题交互施加额外的监督， 表示学 生各个时刻的知识状态； 该辅助损失函数使用下一个试题交互来监督当前隐藏状态的学 习， 结合门控循环单 元GRU从而获得相应的知识状态序列； 在知识演化中， 设计带有自注意更新门的门控循环单元SAGRU的顺序学习结构； SAGRU 通过在更新 门中引入自注意机制， 增强相关知识对知识演化的影响， 引导不同目标试题特 定的知识演化过程。 2.根据权利要求1所述的一种融合深度知识追踪的动态感知试题推荐方法， 其特征在 于： 所述门控循环单元GRU对行为之间的依赖关系进行建模， 其中GRU的输入是按发生时间 排序的学生试题交 互数据； GRU的公式如下： ut＝σ(Wuvt+Uuht‑1+bu) rt＝σ(Wrvt+Urht‑1+br) 其中σ 是sigmo id激活函数， 是元素乘积， W， U和b是模型的参数， vt是GRU的输入， 表示学 生的第t个试题交 互， ht是第t个隐藏状态； 原始的DKT中损失函数L定义 为： 其中原始损失函数L是学生试题序列t≤T的负对数似然函数， pt+1是模型t+1时刻输出 的预测概率， at+1表示t+1时刻试题的真实标签； 该损失函数通过最小化目标试题预测概率 和实际标签之间的标准交叉熵来训练模型； 在学生试题交互序列的T时刻， 由于目标试题qT+1的做题情况是由试题交互序列T时刻 的知识状态hT决定， 在损失函数L中仅用目标试题的二进制成绩标签aT+1监督了T时刻的知 识状态， 而t＜ T的知识状态没得到实时的监 督； 引入辅助损失函数来为原始损失函数中t＜T时刻试题 交互序列施加监督， 从而有效挖 掘学生的潜在知识掌握情况； 辅助损失函数将原始的损失函数L分为两部 分： t＜T时刻的历 史辅助损失函数Lhistory和T时刻的目标辅助损失函数Ltarget； 在t＜T时刻， 使用下一时刻的 试题交互vt+1来监督当前知识状态ht； 历史辅助损失函数Lhistory的公式为： 其中历史辅助损失函数Lhistory表示t＜T时刻带监督的学生试题序列的负对数似然函 数， S表示学生的数量， 是sigmoid激活函数， 表示学生i的第t 个GRU隐藏状态， 表示学生i回答正确的第t+1个交互的嵌入向量， 表示学生i错误回权　利　要　求　书 1/3 页 2 CN 114372137 A 2答的第t+1个试题的嵌入向量， G是整个问题集， T时刻的知识状态由目标试题 二进制成绩标签aT+1监督， 目标辅助损失函数Ltarget公式为： 其中， 目标辅助损失函数Ltarget表示T时刻带监督的学生试题序列的负对数似然函数； 模型中总体的损失函数为： Lglobal＝Ltarget+α *Lhistory 其中Lglobal表示全部时刻的带监督的学生试题序列的负对数似然函数， α 是在知识表示 和成绩预测之间取 得平衡的超参数。 3.根据权利要求2所述的一种融合深度知识追踪的动态感知试题推荐方法， 其特征在 于： 所述学生各个时刻的知识状态是通过多头自注意力来获取的； 多头自注意力： 用i ′t表示知识演化层的输入， 其值为知识提取层上相应的知识状态i ′t ＝ht， 将h′t表示知识演化层的隐藏状态， 用h ′DK表示动态知识状态， 将目标题目作为查询Q， 将学生的历史 交互序列作为键K和值V； 使用下列公式获得查询和键值对： Q＝vtargetWQ,K＝htWK,V＝htWV 其中， WQ,WK,WV是查询、 键和值的线性矩阵， 负责将各自的向量线性投影到不同的空间； 然后使用注意力权重来确定每个先前的交互与目标试题的相关性， 使用标度点积 Attention(Q,K,V)为注意力函数： 为共同关注来自不同空间的向量信息， 使用不同的线性矩阵对查询、 键和值进行线性 投射获得多头 MultiHead(Q,K,V)： MultiHead(Q,K,V)＝Co ncat(head1,...,headh)WO 其中每个头为 WiQ,WiK,WiV,WO是线性矩阵； 之后将 不同的头向量连接起 来， 被送入前馈网络中； It＝FNN(Concat(head1,...,headh)WO) 其中， It表示不同子空间的相关知识信息， FNN( ·)是前馈网络， WO是线性矩阵； 最后将 It通过残差连接和层标准化， 残差连接用于将较低层特征传播到较高层； 如果低层特征对 于模型很重要， 残差连接将有助于将这些特征传播到执行预测的最终层， 使模型更容易利 用低层特征 的信息； 层标准化的作用是标准化跨特征 的输入， 从而有助于稳定和加速神经 网络的训练； 由于每个多头自注意力模块的输出是一个包含目标试题相关信 息的向量， 为在知识演 化过程中激活相关的知识状态； 设计带有更新门的SAGRU来将自注意力机制和GRU结合， 其 公式如下： 其中 是元素乘积， u ′t是SAGRU原始的更新门， 是为SAGRU设计的注意力更新门， h ′t，权　利　要　求　书 2/3 页 3 CN 114372137 A 3