robots.txt

[korvin1000 0]

После обновления до 1.59, яндекс пишет, что у меня запрещено к индексированию 14882 страниц. Не могу понять почему

Документ запрещен в файле robots.txt

Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву

Прошу помочь в чем дело? прилагаю страницу

robots.txt

[YuraS 4]

правильный роботс.тхт. запрещает индексацию страниц, которые не нужны в поисковой выдаче.

не берите в голову.

главное, что страницы с полезной информацией индексируются - товары, статьи, новости и т.п.

[korvin1000 0]

Вот именно, что большая часть страницы с товарами. Можно посмотреть

[shaklov 63]

На рисунке запрещены к индексации ссылки на "положить товар в корзину". Всё правильно - так и должно быть. Иначе лишняя нагрузка на хостинг - каждый заход каждого поискового робота будет нагружать хостинг запросами равными кол-ву товаров умноженному на два. Вас хостер выставит за дверь: 15тысяч товаров и 30 тысяч запросов от визита одного поисковика.

Так что сейчас всё правильно, товары индексируются нормально.

[korvin1000 0]

Но почему из загруженных 19528 исключено 14890, а в поиске всего 2127? Вот график после обновления. Кроме, того исключаются не только страницы добавления товара но и категории, например,

 

 

[shaklov 63]

Еще ссылки на отсортированный по цене и наименованию товар исключаются, а это еще в 4 раза меньше. Сколько у Вас всего товаров и категорий?

[korvin1000 0]

Приблизительно 2000-2300 товаров, кстати, где можно посмотреть количество товаров?

У меня категории настроены по не порядку , а по цене - они тоже исключаются? Это плохо!

Так же исключены статьи

[shaklov 63]

Количество товаров в админке показывается "Каталог">"Категории/товары" внизу страницы:

Категории:

Товаров на странице:

Всего товаров:

[korvin1000 0]

"Каталог">"Категории/товары" не показывает количество товаров, видно только внутри категории.

Как сделать, что бы ссылки на отсортированный по цене товар не исключался.

Есть ли возможность оптимизировать robots.txt.

Страницы категорий больше всего содержат поисковых слов.

Толку от магазина, если яндекс не видит товары, соответственно ничего не продаешь.

Может какие-то советы?

[YuraS 4]

я выше советовал - не трогать ничего. :)

яндекс видит именно товары.

можете вообще удалить robots.txt. будет куча страниц в индексе. но толку от них не будет никакого.

[korvin1000 0]

ничего не трогаю, но после обновления список запрещенных к индексированию вырос, в том числе и некоторые товары, но самое главное страницы категорий

[Kalver 0]

Здравствуйте, ребята очевидно говорят о том, что яндекс проиндексирует сами страницы с товаром, а вот переходы с этих страниц на темы --- КОРЗИНА, ---- Задай вопрос по товару( в последнем изображении как раз видно, что он исключил из индексации не сами категории, а с этой категории ссылку на ask a question-что с английского значит "задай вопрос", также он може исключать из страницы---- Напиши мнение по товару, именно сами ссылки , а не категории, и не сами страницы с товаром, ИМЕННО  СТРАНИЦЫ С ТОВАРОМ проиндексированны, а вот ссылки в никуда(корзина, задай вопрос, отправь майл) яндексу нет нужды индексировать, так как каждый заход по ссылке в никуда, это увеличение нагрузки на сервер, и если Вы хотите чтобы хостер попросил у Вас повышение оплаты за место на сервере, так как Ваш сайт делает нагрузку как 10 других сайтов, то исправляйте конечно robot-а .тхт , прописывайте в принудиловку каждую ссылку в никуда  ;D..

Юрий Вам сказал абсолютно верно и правильно, не трогайте лучше ничего, просто почитайте про индексацию, как она вообще устроена.

[korvin1000 0]

Это понятно, а как насчет первых трех позиций, есть еще страницы

[Kalver 0]

Это понятно, а как насчет первых трех позиций, есть еще страницы

Если внимательно присмотреться, то увидите ссылку в окончании которой сказано buy now это с английского - купить сейчас, это Вам ничего не говорит? ( это ссылка для покупки, зачем её индексировать?) Поймите, Яндекс не дурак, он лучше Вас знает, что делает.

[korvin1000 0]

В 05.11.2010 at 00:19, korvin1000 сказал:

После обновления до 1.59, яндекс пишет, что у меня запрещено к индексированию 14882 страниц. Не могу понять почему

Документ запрещен в файле robots.txt

Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву

Прошу помочь в чем дело?

 

[support 447]

Так может есть смысл показать свой файл robots.txt ?!

Как можно наугад что-то советовать.

Ращ яндекс пишет, что запрещено к индексации, значит такие у Вас правила прописаны в robots.txt

[shaklov 63]

Да там небось страницы "задать вопрос о товаре" и "версия для печати" - стандартный вопрос.
Люди думают, что чем больше страниц в индексе, тем ближе счастье. А какие это страницы, их не интересует.

[support 447]

Возможно.

Согласен, как раз всё наоборот, чем меньше страниц, тем лучше.

Оставлять в поисовике надо только страницы важные с точки зрения контента.

т.е., по сути, надо оставлять только карточки товаара + страницы категорий.

По большому счёту, это самые важные страницы с точки зрения контента.