Индексация сайта Яндексом

[Гость Евгений]

так а как бот мог найти и проиндексировать все папки? какое то время что ли не было файла index.php?

[adem 0]

Все было изначально, как он там и что нарыл понятия не имею, знаю только, что какие-то квитанции, счета так же не должны индексироваться по умолчанию и покупатель как скрипта, так и магазина должен быть спокоен на этот счет. Наверное надо дописать robots.txt или еще там что дает эту непонятную информацию в сеть.

[support 447]

Не понятно как робот вообще попал в папку cache, по умолчанию он никак ведь не может её найти, эту папку.

[adem 0]

Я вроде все улики предъявил :) Тем более, что, как я понял, не одинок в этом вопросе.

[support 447]

Так а что по ссылкам поймёшь?

По этим ссылкам ничего не ясно.

Запретите cache папку в robots.txt да и можно папку cache почистить, удалить оттуда файлы.

[adem 0]

При повторной индексации, по идее, страницы кэша сами должны выпасть из индекса. Кстати, а кэширование в магазине я вроде изначально отключил в админке.

[support 447]

Тут вопрос в том, как мог робот найти эти файлы в cache папке.

Вобщем, наверное нужно подождать просто.

[ABerezin 0]

Элементарно - при каком-то заходе робота на сайт возникла ошибка с cache. Появилось сообщение об ошибке, в котором был указан адрес, который и подхватил робот.

Конечно нужно закрыть все лишние директории через .htaccess.

В яндексе можно посмотреть откуда он получил ссылку на страницу.

[Алексей Павлов 0]

А у меня вообще такая проблема

                    Тип ошибки                                     Количество

HTTP-статус: Ресурс временно перемещён (302)?     1996

Что это может быть?

[support 447]

NewAger

Скорей всего в яндес добавили сайт с www.адрес.ру, а ссылки в магазине адрес.ру, т.е. нужно добавлять в яндекс так как ссылки на Вашем сайте.

[adem 0]

Такая проблема действительно может быть. Вам надо прописать директиву Host:  адрес.ру , иначе могут быть проблемы с дальнейшей индексацией, так и у меня было, если в течении дней 10-ти не решится проблемка, то еще и Платону черкануть.

[Алексей Павлов 0]

Вообще я везде прописывал именно адрес.ру а не www.адрес.ру и ссылки на ошибочные страницы в yandex тоже выглядят как адрес.ру

[support 447]

Точно?!

Потому как тема обсуждалась уже и причина была именно в этом.

[Алексей Павлов 0]

Точно.

Может где-то еще надо прописать без www?

[support 447]

Сложно ведь наугад сказать.

Приведите пример ссылки, которая не нравится яндексу, гляну.

[Алексей Павлов 0]

Например вот

http://exothings.ru/article_info.php/action/buy_now/BUYproducts_id/1/articles_id/1/article/Plyumeriya---Plumeria

и вот

http://exothings.ru/product_info.php/action/buy_now/BUYproducts_id/76/info/p107_Stapelia-Revoluta--Stapeliya-Revolyuta-.html

[support 447]

Попробуйте поставить false в Админке - Настройки - Основные - Сессии - Принудительно использовать cookies.

Да и в robots.txt нужно добавить:

Disallow: /article_info.php/action/
Disallow: /product_info.php/action/
[/code]

[adem 0]

Вообще я везде прописывал именно адрес.ру а не www.адрес.ру и ссылки на ошибочные страницы в yandex тоже выглядят как адрес.ру

Робот у Яши живет своей жизню.. он может по своим каким-то, известным только ему, соображениям взять как основной адрес с www. тем более, что ссылку на ваш сайт мог оставить кто угодно с www.

[Алексей Павлов 0]

Все сделал.

Большое спасибо!

По результатам отпишусь.

[instrument96 0]

А у меня тоже такие ошибки.

пока не решил проблему с www и без-просто ругался

потом взял карту сайта,быстренько все проиндексировал,а сейчас идут такие же ошибки,хотя сам яндекс называет их предупреждениями

на первой 1000 волновался,сейчас перестал

в общем их уже 7900 шт.

хотя в магазине 1500 страниц,если грубо оценить по количеству товара

[Алексей Павлов 0]

После очередной индексации количество ошибок выросло до 2170.

Попробую вернуться к стандартной теме переделав только css, может в этом проблема?

[support 447]

Да вряд ли дело в css.

Нужно наверное в robots.txt добавлять все страницы, которые не нужный в яндексе.

[Алексей Павлов 0]

Я как раз таки не про css говорю, когда переделывал дизайн, перелопатил много файлов, может в этом проблема... Как вернусь к стандартным файлам - по результатам отпишусь.

[support 447]

Я не думаю, что дело в css.

Да и вообще, как я понимаю, яндекс же просто предупреждает, т.е. это не ошибки, а предупреждения.

[Алексей Павлов 0]

После очередной индексации произошло следующее

HTTP-статус: Ресурс не найден (404)? 3

Не удалось соединиться с веб-сервером? 16

HTTP-статус: Ресурс временно перемещён (302)? 466

Формат документа не поддерживается? 6

Документ запрещен в файле robots.txt? 6722

Причем ошибки в robots.txt похожи

/advanced_search.php...fd95931d9a4f0fbea901f84c80b2872

Подскажите, что нужно сделать?