大规模知识编辑应保留什么?键向量幅度与事实置信度
研究大规模知识编辑中,激活幅度是否能识别值得保留的事实知识。初步实验尚未证明置信度加权具有优势。
- 已完成分析 MEMIT 旧记忆正则项隐含的键向量范数平方加权,并在 GPT-J 6B 上复现 MEMIT 与 Forward Replay。
- 已完成在 50,000 个背景词元位置、覆盖第 3-8 层构建五种迹与岭正则匹配的正则项变体,在 100 条联合编辑的事实中检验去除范数、词元似然、二者组合及打乱权重对照。
- 已完成在 100 条编辑的初步实验中,去除范数前后,编辑有效性、改写与邻域偏好分数均为 100.0%、96.5% 和 81.5%;词元似然加权未优于打乱权重对照。
- 进行中正在设计编辑前已知事实基准,以及至少 5,000 条编辑的压力测试,以评估事实层面的置信度加权。