【论文阅读】GenAL: Generative Agent for Adaptive Learning自适应学习生成智能体

摘要

现有问题：

• 只用题目ID建模，忽略了题目本身的丰富语义
• 现有方法依赖特定场景，不同数据集上的泛化能力不足
• 现有框架在学习交互记录稀少时，推荐不稳定

GenAL自适应学习生成Agent

• Global Thinking Agent更新学习者知识状态，根据学习者的历史学习记录反映推荐结果
• Local Teaching Agent利用已有教育知识推荐项目
• 用大模型的语义理解能力，从文本内容提取相关信息，在真实数据集上评估

引言

LLM在海量文本数据预训练后，具有丰富的知识和强大的规划能力。利用LLM的丰富知识，从全局和局部视角评估学习者的学习状态，并据此自适应地推荐个性化学习路径。

GTA
用于学习者建模
Log Memory：存储学习者答题历史。
Tools：利用知识追踪模型评估学习者知识掌握状态。
Reflector：结合历史答题与工具输出生成学习者画像，并反思推荐路径效果

LTA
用于知识图谱生成，学习路径生成
teaching tools提供知识概念图，Recommender生成个性化，可迁移，稳定的学习路径

自身不足：

• 推理成本高，外部知识集成效率低
• LLM 幻觉问题仍存在
  

方法

输入：学习目标G，练习题集合EI，历史答题记录H_t
推荐：从练习中选择合适的题目e_i，一次推荐一个给学生
更新：学生答题后更新知识状态L_t
迭代：推荐-作答-更新-
评价：学习效果E_p

GTA
存储学习记录，汇总其学习能力和偏好，为教学过程提供先验知识，使得有限初始信息，更高效的学习路径，解决现有方法不足。

Log Memory
存储学习历史H_t，存储教学反馈(F_t+1,A_t+1)
学习历史H_t用于评估能力和偏好
预测结果A_t+1，推荐理由F_t+1，用于reflector模块反思推荐合理性
LTA提供局部信息，GTA总结全局状态。

Educational Tools
把隐性的知识掌握情况量化为数值，给 LLM 做画像和推荐决策提供可靠依据

输入历史答题序列和，知识点Ci对应的所有联系，得到知识点Ci整体掌握程度

Reflector
生成学习者画像：

输入历史答题记录H_t，知识状态估计E_t^c,历史题目难度D_t，提示词P_t
输出学习者画像

反思过去推荐：

推荐理由是否与学生状态匹配
预测是否准确
学生是否掌握推荐题目

LTA
在GTA提供的全局学习者画像基础上，从局部角度分析学生当前状态。利用大型语言模型强大的语义理解和分析能力，分析学习者的具体反应并提出后续的学习建议

Teaching Tools:
提供LLM以外的教育知识，辅助选择题目，降低幻觉

Recommender：
根据当前学生状态和候选题，选择下一道题，并提供推荐理由

首先，系统从 Log Memory 获取学生的历史答题记录，通过 Educational Tools 量化为每个知识点的掌握度；接着，Reflector（LLM） 综合历史答题、知识掌握情况和外部知识生成学习者画像 ，并输出反思策略；然后，LTA 的 Recommender 根据学习者画像和 Teaching Tools 提供的知识图谱约束，从候选题中选择下一道题 ，同时生成推荐理由 和预测学生答题结果 ，这些信息会回传到 Log Memory；学生完成作答后，实际答题结果Answer也更新到 Log Memory；最后，Reflector 对 Log Memory 中的新数据进行分析，比较预测与实际结果、评估推荐合理性、判断学生是否掌握题目，从而完成一次完整的推荐闭环，为下一轮推荐提供动态输入。

实验

真实数据集：junyi，assit09
本地数据集：TextLog

使用KES模拟学生答题交互，基于DKT模拟学生状态随时间的变化，测试推荐系统效果

基线对比

评价指标：学习效果E_p
正值表示效果提升，负值效果未提示甚至降低
传统方法在 TextLog 数据集上无法运行（空值“ - ”），说明 RL 方法在稀疏数据或复杂文本场景下不稳定

LLM：gpt-3.5-turbo
steps：5
学习效果Ep
w/o Text：推荐过程中只使用题目ID，不考虑题目所包含的文本内容
w/o EduTools：消除教育工具
w/o Reflections：不更新推荐策略，不更新学生情况

不同大模型下都表现良好，证明Genal的鲁棒性，也证明框架的性能与大语言模型嵌入的知识呈正相关