L'estimateur le plus connu et qui a longtemps été le plus utilisé en Statistique est l'estimateur du maximum de vraisemblance, lequel coïncide, dans le modèle linéaire gaussien, avec celui des moindres carrés. Il est extrêmement populaire depuis sa théorisation par Sir Ronald Fisher dans les années 1920 mais il y a déjà longtemps que l'on s'est rendu compte qu'il souffrait de diverses faiblesses et défauts.
Suite à ces constatations, Lucien Le Cam, dans les années 1970, a recherché et obtenu un estimateur plus « universel ». C'est dans la lignée de ses travaux que je me suis, depuis environ 40 ans, attelé périodiquement à la recherche d'un estimateur le plus universel possible et dont les propriétés accompagneraient les recherches de l'époque : robustesse dans les années 70 et 80, adaptation dans les années 90 et 2000. Mon but est de raconter de manière simple quelques idées fondamentales qui ont permis ces résultats.