平均倒数排名

平均倒数排名

平均倒数排名

平均倒数排名是统计学中,依据排序的正确性,对查询请求响应结果的评估。查询响应结果的倒数排名是第一个正确答案的倒数积。平均倒数排名是多个查询结果的平均值。[1]:

MRR = 1 | Q | ∑ i = 1 | Q | 1 rank i . {\displaystyle {\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!} d16e3616105fd3cbad78fa61e2f60c6abb458e26.svg_

平均倒数排名和调和平均数有些相似。

例子

比如,想象一下我们有如下三个查询请求,让系统将他们翻译为英语的复数形式。对于每个例子,系统给出三个猜测,结果中第一个是我们认为最可能正确的:

查询 结果 正确结果 排名 倒数排名 cat catten, cati, cats cats 3 1/3 torus torii, tori, toruses tori 2 1/2 virus viruses, virii, viri viruses 1 1

通过这三个例子,我们得到平均倒数排名为 ( 1 3 + 1 2 + 1 ) 3 = 11 18 {\displaystyle {\frac {({\frac {1}{3}}+{\frac {1}{2}}+1)}{3}}={\frac {11}{18}}} 8d5d50c154799838d40664da8a3699b0f9345b8f.svg_约为0.61。

此外:

如果所有结果都不正确,结果为 0 如果存在多个正确答案,考虑使用平均准确度(MAP)

请参考信息检索以及问答系统[2]

参考文献

^ E.M. Voorhees. Proceedings of the 8th Text Retrieval Conference. TREC-8 Question Answering Track Report: 77–82. 1999. ^ D. R. Radev, H. Qi, H. Wu, W. Fan. Evaluating web-based question answering systems. Proceedings of LREC. 2002.

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注