Перейти к содержанию
Форум поддержки пользователей VamShop

Robots.txt


Рекомендуемые сообщения

Нашёл строчку в в Robots.txt:  Disallow: /news.php - я так

понимаю это запрет на индексацию новостей, но они всёравно индексируються. Кто-то может это обяснить ?

Ссылка на сообщение
Поделиться на другие сайты

Может мало времени прошло после обновления robots.txt ?!

Не сразу же из индекса исчезают файлы, запрещённые в robots.txt

Ссылка на сообщение
Поделиться на другие сайты

Так дело в том что сайт только добавлен в гугл и файл robots.txt не менялся ни разу , а гугл новости сразу же схавал, - хотя на них стоит запрет.

Ссылка на сообщение
Поделиться на другие сайты

Видимо робот прошелся по новостям, которые в боковом боксе "Новости" - там урлы вида news.php?news_id=xx.

А Disallow: /news.php блокирует только страницу со списком новостей.

Может нужно Disallow: /news.php* или еще как-то - я точно не уверен.

Ссылка на сообщение
Поделиться на другие сайты
×
×
  • Создать...