Я знавал времена, когда «знатоки» усиленно рекомендовали размещать на сайте специальный раздел — карта сайта. Смысл был в том, чтобы разместить в этом разделе ссылки на все публикации сайта. Это должно ускорять индексацию сайта поисковыми системами.
Некоторые «гуру» говорили, что эта страница еще и пользователям может быть полезна — якобы легче будет на сайте ориентироваться.
Допустим, на вашем сайте не так много публикаций — 50-100 штук. Уже это количество выстраивается в «портянку» на несколько «экранов». А что говорить о сайтах с тысячами публикаций? Мне, к примеру, ясно, что данный раздел для пользователя — штука совершенно бесполезная. Такая html карта сайта, возможно, будет полезной для робота. Но, если роботы ограничивают длину документа при сканировании, такая карта рано или поздно упрется в «потолок».
Тем не менее, Яндекс в своих рекомендациях по ускорению индексирования пишет:
Т.е. параллельно с xml картой, они рекомендуют размещать и специальные страницы на сайте. С Яндекс, конечно, не поспоришь :).
Прежде всего нужно разобраться для чего и когда нужна карта сайта. Возможно, не каждый сайт в ней нуждается.
Для чего нужна карта сайта.
- сообщает роботу какие страницы нужно индексировать,
- как часто это следует делать;
- сообщать о новых страницах.
Не нужно обольщаться, что можно диктовать роботу как часто и что сканировать на вашем сайте. Робот учтет ваши рекомендации при распределении пропорций квоты сканирования между страниц вашего сайта. Но размер квоты не изменится. Иными словами — ПС чаше сканировать ваш проект не станут.
Карта сайта ускорит индексацию в случае, если новые страницы появляются глубоко внутри дерева ваших публикаций, когда ссылки на новые страницы появляются на страницах 3-го и глубже уровней.
Если ваш сайт довольно статичен, а ссылки на последние новости выводятся на главной странице, то большого смысла в карте я не вижу.
CMS и карта сайта.
Для всех более менее популярных CMS созданы модули, позволяющие настроить генерацию XML sitemap автоматически. Потому, создание карты — процесс не сложный. Достаточно установить нужный модуль и аккуратно его настроить.