Mean reciprocal rank

Il Mean Reciprocal Rank (MRR), rank reciproco medio, è un indice statistico per valutare un processo che produce una lista di possibili risposte ad una interrogazione (query), ordinate per probabilità di correttezza.

Definizione

Il reciproco del rank di una risposta ad una query è l'inverso della posizione (rank) della prima risposta corretta nella lista ordinata delle risposte. Il MRR è la media dei rank reciproci dei risultati per un insieme di query Q[1]:

La formula

M R R = 1 ∣ Q ∣ ∑ i = 1 Q R e l e v a n c e L a b e l V a l u e r a n k i {\displaystyle MRR={\frac {1}{\mid {Q}\mid }}\sum _{i=1}^{Q}{\frac {RelevanceLabelValue}{rank_{i}}}}

Esempio

Per esempio supponiamo di avere le tre seguenti query per un sistema che cerca di tradurre parole inglesi nel loro plurale. In ogni caso il sistema riporta tre possibili risultati ordinati secondo la probabilità di essere corretti:

Query Risultati Risposta corretta Rank Reciprocal rank
cat catten, cati, cats cats 3 1/3
torus torii, tori, toruses tori 2 1/2
virus viruses, virii, viri viruses 1 1

Ora è possibile procedere al calcolo dell'MRR: (1/3 + 1/2 + 1)/3 = 11/18, cioè

MRR = 0.61

Questa definizione di base non specifica cosa fare se:

  • nessuno fra i risultati è corretto, in questo caso si usa reciprocal rank 0;
  • ci sono più risposte corrette nella lista, si consideri di usare la mean average precision (MAP).

Note

  1. ^ E.M. Voorhees, TREC-8 Question Answering Track Report, Proceedings of the 8th Text Retrieval Conference, 1999, pp. 77–82.

Voci correlate

  • Information retrieval
  • Question answering[1]
  1. ^ D. R. Radev, H. Qi, H. Wu, W. Fan, Evaluating web-based question answering systems, Proceedings of LREC, 2002.