Considérations sur l’évaluation de la robustesse en recherche d’information

Cette communication évalue et compare l’efficacité de modèles vectoriels, probabilistes ou de langue afin de dépister des articles de presse rédigés en langue française. En se basant sur un corpus créé durant trois campagnes d’évaluation CLEF et comprenant 151 requêtes, nous avons pu découvrir les raisons expliquant la faible performance des divers modèles face à des requêtes difficiles. L’évaluation de la robustesse de ces approches s’avère tout de même peu aisée car la moyenne arithmétique (MAP) ou la moyenne géométrique (GMAP) ne présentent pas toutes les caractéristiques souhaitables. Afin de compléter ces deux mesures, nous proposons de recourir au score du premier document dépisté (FRS). Nous avons comparé les résultats de ces trois mesures de performance en particulier avec l’expansion aveugle des requêtes., This paper describes and evaluates vector-space, probabilistic and language IR models used to retrieve news articles from a corpus written in the French language. Based on three CLEF test-collections and 151 topics, we analyze the retrieval effectiveness of these approaches and analyze the poor retrieval results of hard topics. An appropriate robust evaluation is not easy because both the mean average precision (MAP) or the geometric mean (GMAP) present some drawbacks. In order to obtain a better picture, we suggest using the First Relevant Score (or FRS, based on the rank of the first relevant item). We evaluate and compare these three measures in particular when using blind query expansion technique.