избыточная индексация- супер опасное явление для SEO

[geval 3]

в общем смотрите- поисковики индексируют на магазине кучу мусора.. то есть тыркаются в корзину.. тыркаются в сравнение товара и так далее..в итоге много лишних страниц..

есть предложение- внести в robots.txt запреты на индексирование..

как это сделать?

вот пример-

77.88.29.247 - - [08/Aug/2008:02:52:03 +0300] "GET /index.php/action/buy_now/BUYproducts_id/3249/cat/c52_Novaya-liniya-SHANISS.html/on_page/10/sort/name/direction/desc/page/4 HTTP/1.1" 200 69976 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:52:21 +0300] "GET /index.php/action/buy_now/BUYproducts_id/3269/cat/c52_Novaya-liniya-SHANISS.html/on_page/20/sort/price/direction/asc/page/3 HTTP/1.1" 200 70298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:52:39 +0300] "GET /darsanval.html?sort=name&direction=desc&on_page=100 HTTP/1.1" 200 53440 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:55:59 +0300] "GET /niilop.html?sort=name&direction=desc&page=1 HTTP/1.1" 200 120796 "-" "Yandex/1.01.001 (compatible; Win16; I)"

это уже несколько другое...

в общем хлам просто мегатоннами.. надо что-то делать.. это крайне плохо сказывается на SEO!

[support 447]

А через robots.txt разве можно ограничить имено эти страницы, с такими параметрами?!

[geval 3]

так вот я и спрашиваю..это же по ходу дела как папка../index.php/action/buy_now/ или даже  /index.php/action/

оно или не оно..

[support 447]

Я вот даже не знаю точно, а не пробовал такие строки добавить в robots.txt !?

[geval 3]

я то могу попробовать.спрошу даже пожалуй на серченжайне- просто не хочется потом весь сайт потерять)) если вдруг запретит к индексации index.php

[support 447]

Так я ж ведь не спец. в этих делах, поэтому не могу сказать однозначно.

[geval 3]

а ясно. спрошу тогда на форумах..просто по моим наблюдениям тут зарыта огромная собака.. советую тоже разобраться.. дело весьма важное

[support 447]

Так индексируется вообще очень много страниц, ведь разные параметры могут быть в странице.

Я согласен, что не очень хорошо, нужно только нужные страницы в поисковик отдавать, но вот можно ли так сделать лишь через robots.txt, если честно не очень уверен.

[ABerezin 0]

Да плохо это, Саша, плохо. И лишние и дублирующиеся. Через meta и 301 надо управлять индексацией.

P.S. Полезно для прочтения - http://googlewebmastercentral.blogspot.com/2008/06/duplicate-content-due-to-scrapers.html

[geval 3]

http://forum.searchengines.ru/showthread.php?t=58355 вот тут есть некоторая информация..

то есть получается если запретить /index.php/action/ то все что далее- будет автоматом запрещено! и это радует. я прав?

[support 447]

Спасибо за ссылки.

geval

Вроде бы да, должно помочь, судя по теме на форуме.

А ты ещё не пробовал этот вариант?!

Давай я тогда добавлю в robots.txt эту строку.

Нужно тогда ещё убирать из индексации страницы с отсортированными товарами, т.е. когда выбирается сортироки по цене, по названию, это ж тоже дубли получаются.

[geval 3]

я просто возьму поставлю в какие-нибудь магазины..посмотрю что будет.. пока еще не пробовал- еще раз посмотрю про это и добавлю. там ведь не только эти страницы- наверняка еще есть целая куча хлама..

[support 447]

Да, нужно будет поглядеть, какие строки в robots.txt добавить.

В следующей версии эту строку точно добавлю и ещё посмотрю, какие страницы не нужны.

Вот завёл сообщение в bug tracker'e - http://vamshop.ru/bugs/view.php?id=157

Спасибо за сообщение.

[geval 3]

http://cайт.ru/index.php/cat/c52_Novaya-liniya-SHANISS.html/on_page/10/sort/price/direction/asc/page/2

вот еще пример проиндексированной страницы... опять же- все это сидит в webmaster.yandex.ru ( в мои сайты)= только что проверял

http://sun-mag.ru/biolit_kosm.html?sort=price&direction=desc&on_page=10&page=2 там же рядом вот такая ерунда..

может все таки стоит в самом магазине сделать так- чтобы ненужные пустые страницы- не несущие смысловой нагрузки- вообще не индексировались изначально? либо сделать выбор... потому что на такие страницы походу дела невозможно robots.txt написать..

[geval 3]

ах да..вот еще задачка для написания .htaccess чтобы при заходе на ?sort=price&direction=desc&on_page=10&page=2 появлялось on_page/10/sort/price/direction/asc/page/2  иначе двоение ужас.. в поисковых системах..

[support 447]

Как вычистить такие страницы я даже и не знаю если честно, особенно когда задан SEO URL, до таких страниц ведь через .htaccess не добраться.

Нужно разве что отредактировать шаблон списка товаров и убрать блок с ссылками сортировки.

[geval 3]

а если в этих ссылках поставить NOINDEX? где этот шаблон и эта ссылка? если поставить noindex или nofollow может они удалятся..ссылки эти

[support 447]

А как именно такой странице поставить noindex ?!

Я не знаю если честно.

noindex же в meta тэгах ставится?!

Если в мета-тэгах, то это нужно в /includes/header.php как-то прописывать.

[geval 3]

ставится в тэгах..конкретной части сайта вообще то....которую не надо индексировать

[support 447]

Ну а как определить то эту конкртеную часть, в этом же и проблема.

Нужно как-то условие правильно составить и в /includes/header.php писать что-то вроде:

if условие = тому-то то
тэг nofollow
/if
[/code]

[geval 3]

да походу дела буду  к специалистам с веблансера обращаться..я просто заметил в старых версиях дружба с поисковиками лучше- чем в новых- походу изза этой темы двоящихся страниц..

[support 447]

Да, появилась ведь сортировка, seo url, поэтому и появилось больше индексируемых страниц в поисковике.

[geval 3]

просто реально сортировка то не нужна для индексации..даже вредит я думаю..

[geval 3]

http://forum.searchengines.ru/showthread.php?t=260269 вот тему завел- надеюсь там помогут.. если помогут вы это там и узнаете

[geval 3]

Кстати..а как удалить вообще из шаблона сортировку? то есть все эти ссылки..у меня товары для здоровья..навряд ли кто-то будет по цене да по названию сортировать скажем те же бады..