Это глюк яндекс вебмастер или яндекс совсем не учитывает Robots.txt

[mskargos 0]

Это глюк яндекс вебмастер или яндекс совсем не учитывает Robots.txt?

 

module_ask_a_product_question/ 19 12,20 

module_one_click_buy/ 19 12,20 

product/ 23 14,719 

Скажите как так может быть?

Сам Robots.txt

User-agent: *
Disallow: /page/account.html
Disallow: /page/account_edit.html
Disallow: /page/my_orders.html
Disallow: /page/address_book.html
Disallow: /page/cart-contents.html
Disallow: /page/checkout.html
Disallow: /page/confirmation.html
Disallow: /page/success.html
Disallow: /page/read-reviews.html?content_id=*
Disallow: /page/create-review.html?content_id=*
Disallow: /languages/pick_language/*
Disallow: /admin/
Disallow: /page/coupon-details.html
Disallow: /users/admin_login
Disallow: /page/home-page.html
Disallow: /page/search-result.html
Disallow: /page/ask_a_product_question.html
Disallow: /page/one_click_buy.html
Disallow: /module_one_click_buy/*
Disallow: /module_ask_a_product_question/*
Disallow: /page/register.html
Disallow: /page/password_recovery.html
Disallow: /page/register-success.html
Disallow: /customer/register.html
Disallow: /customer/password_recovery.html
Disallow: */addcmp/*
Disallow: */compared/*
Disallow: */order/*
Disallow: */manufacturer/*
Disallow: */page/1/*
Disallow: */page/all/*
Host: https://msk-argoshop.ru

Структура сайта 

Раздел Загружено страниц Доля загруженных (%) Страниц в индексе       https://msk-argoshop.ru 156  100,0 65      argo/ 67  42,9 29      module_ask_a_product_question/ 19  12,2 0      module_one_click_buy/ 19  12,2 0      product/ 23  14,7 19            и вот ещё проблема    Последняя загрузка   Дата загрузки: 23.08.2015 Содержит 0 страниц Это глюк яндекс или что то не так?

[support 447]

Вам нужно смотреть раздел - Страницы в поиске, т.е. те страницы, что в поиске яндекса.

А Вы просто смотрите структуру сайта, т.е. всё, что видит робот яндекса.

С Вашим robots.txt всё нормально, по идее - https://msk-argoshop.ru/robots.txt

Изменено 28 сентября, 2015 пользователем VaM

[KiraA 0]

У меня Вебмастер показывает Возможную проблему: "Добавьте директиву Host в файл robots.txt". Далее отображается, что 0 ошибок. Что это значит, скажите, пожалуйста.

[support 447]

8 часов назад, KiraA сказал:

У меня Вебмастер показывает Возможную проблему: "Добавьте директиву Host в файл robots.txt". Далее отображается, что 0 ошибок. Что это значит, скажите, пожалуйста.

Добавьте в /app/webroot/robots.txt

В самом верху строку:

Host: http://ваш-адрес.ру

 

[KiraA 0]

Я добавила. Но теперь Яндекс Вебмастер пишет следующее: 

"В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.

Проверьте файл robots.txt и устраните противоречия."

[support 447]

9 часов назад, KiraA сказал:

Я добавила. Но теперь Яндекс Вебмастер пишет следующее: 

"В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.

Проверьте файл robots.txt и устраните противоречия."

Если у Вас сайт с SSL, тои в /app/webroot/robots.txt нужно указывать https://, а не http://, вот так:

Host: https://stagira.ru

Видимо, в этом причина.