Я в шоке

Наткнулся на статью сильно подвергающую сомнению результаты в face recognition. Статья тут http://www.phy.mtu.edu/~lshamir/publications/face_datasets.pdf . А вот абстракт:

Here we show that in many of the commonly used face datasets, face images can be recognized accurately at a rate significantly higher than random even when no face, hair or clothes features appear in the image. The experiments were done by cutting a small background area from each face image, so that each face dataset provided a new image dataset which included only seemingly blank images. Then, an image classification method was used in order to check the classification accuracy. Experimental results show that the classification accuracy ranged between 13.5% (color FERET) to 99% (YaleB). These results indicate that the performance of face recognition methods measured using face image datasets may be biased.

Интересней всего то, сколько вот таких вот ловушек впринципе. Ведь что в зрении, что в любом другом приложении ML обычно напирают на алгоритмы, а на данные смотрят мало и редко. Например, мой предшественник в лабе занимался категоризацией изображений - вокруг любой парковки стоят деревья, которые найти проще чем машины, поэтому детектор работал на деревьях. Чистый оверфиттинг.
P.S. нашёл на этом блоге http://vimsu99.blogspot.com/2008/08/face-data-sets.html