Задача возникла в контексте SEO, требовалось предотвратить индексацию тестовых сайтов поисковыми системами. На практике видно, что инструкции файла robots.txt выполняются поисковыми машинами не так, как ожидается. Т.е. при некоторых условиях страницы тестового сайта все равно попадают в поисковую выдачу.
Поэтому требуется более серьезный барьер, а именно блокировка контента. С этой целью можно использовать HTTP auth функцию веб сервера.
Читать далее »