Skip to content

关于复现指标差异与建图报错问题 #57

Description

@Lx-zjwf

作者你好,非常感谢开源这项出色的工作!在复现和测试的过程中,我遇到了两个问题,希望能得到您的解答:

  1. 我在Medical数据集上测试了HippoRAG2模型,发现跑出的结果与论文中报告的指标有所不同,Recall指标比论文中高出不少,而Relevancy指标则略低一些。请问这可能是什么原因导致的?
  2. 由于Novel数据集包含多个子语料库,请问是否每个子语料库都需要单独建图?在运行过程中,我发现仅对部分子集完成了建图,而另外一部分子集在没有建图的情况下直接进行了检索,最终因为找不到图谱而报错。请问该如何解决这个问题?另外,请教一下Novel数据集的模型精度统计方法,是所有子集精度的平均值吗?

最后,请问本项目是否有官方的交流群?希望能提供一下加入方式。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions