Jump to content

избыточная индексация- супер опасное явление для SEO


Recommended Posts

в общем смотрите- поисковики индексируют на магазине кучу мусора.. то есть тыркаются в корзину.. тыркаются в сравнение товара и так далее..в итоге много лишних страниц..

есть предложение- внести в robots.txt запреты на индексирование..

как это сделать?

вот пример-

77.88.29.247 - - [08/Aug/2008:02:52:03 +0300] "GET /index.php/action/buy_now/BUYproducts_id/3249/cat/c52_Novaya-liniya-SHANISS.html/on_page/10/sort/name/direction/desc/page/4 HTTP/1.1" 200 69976 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:52:21 +0300] "GET /index.php/action/buy_now/BUYproducts_id/3269/cat/c52_Novaya-liniya-SHANISS.html/on_page/20/sort/price/direction/asc/page/3 HTTP/1.1" 200 70298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:52:39 +0300] "GET /darsanval.html?sort=name&direction=desc&on_page=100 HTTP/1.1" 200 53440 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:55:59 +0300] "GET /niilop.html?sort=name&direction=desc&page=1 HTTP/1.1" 200 120796 "-" "Yandex/1.01.001 (compatible; Win16; I)"

это уже несколько другое...

в общем хлам просто мегатоннами.. надо что-то делать.. это крайне плохо сказывается на SEO!

Link to post
Share on other sites
  • Replies 111
  • Created
  • Last Reply

Top Posters In This Topic

  • support

    46

  • solopov

    16

  • geval

    15

  • Виталий Мишин

    7

support

А через robots.txt разве можно ограничить имено эти страницы, с такими параметрами?!

Link to post
Share on other sites

так вот я и спрашиваю..это же по ходу дела как папка../index.php/action/buy_now/ или даже  /index.php/action/

оно или не оно..

Link to post
Share on other sites

Я вот даже не знаю точно, а не пробовал такие строки добавить в robots.txt !?

Link to post
Share on other sites

я то могу попробовать.спрошу даже пожалуй на серченжайне- просто не хочется потом весь сайт потерять)) если вдруг запретит к индексации index.php

Link to post
Share on other sites

Так я ж ведь не спец. в этих делах, поэтому не могу сказать однозначно.

Link to post
Share on other sites

а ясно. спрошу тогда на форумах..просто по моим наблюдениям тут зарыта огромная собака.. советую тоже разобраться.. дело весьма важное

Link to post
Share on other sites

Так индексируется вообще очень много страниц, ведь разные параметры могут быть в странице.

Я согласен, что не очень хорошо, нужно только нужные страницы в поисковик отдавать, но вот можно ли так сделать лишь через robots.txt, если честно не очень уверен.

Link to post
Share on other sites

Да плохо это, Саша, плохо. И лишние и дублирующиеся. Через meta и 301 надо управлять индексацией.

P.S. Полезно для прочтения - http://googlewebmastercentral.blogspot.com/2008/06/duplicate-content-due-to-scrapers.html

Link to post
Share on other sites

http://forum.searchengines.ru/showthread.php?t=58355 вот тут есть некоторая информация..

то есть получается если запретить /index.php/action/ то все что далее- будет автоматом запрещено! и это радует. я прав?

Link to post
Share on other sites

Спасибо за ссылки.

geval

Вроде бы да, должно помочь, судя по теме на форуме.

А ты ещё не пробовал этот вариант?!

Давай я тогда добавлю в robots.txt эту строку.

Нужно тогда ещё убирать из индексации страницы с отсортированными товарами, т.е. когда выбирается сортироки по цене, по названию, это ж тоже дубли получаются.

Link to post
Share on other sites

я просто возьму поставлю в какие-нибудь магазины..посмотрю что будет.. пока еще не пробовал- еще раз посмотрю про это и добавлю. там ведь не только эти страницы- наверняка еще есть целая куча хлама..

Link to post
Share on other sites

Да, нужно будет поглядеть, какие строки в robots.txt добавить.

В следующей версии эту строку точно добавлю и ещё посмотрю, какие страницы не нужны.

Вот завёл сообщение в bug tracker'e - http://vamshop.ru/bugs/view.php?id=157

Спасибо за сообщение.

Link to post
Share on other sites
  • 2 weeks later...

http://cайт.ru/index.php/cat/c52_Novaya-liniya-SHANISS.html/on_page/10/sort/price/direction/asc/page/2

вот еще пример проиндексированной страницы... опять же- все это сидит в webmaster.yandex.ru ( в мои сайты)= только что проверял

http://sun-mag.ru/biolit_kosm.html?sort=price&direction=desc&on_page=10&page=2 там же рядом вот такая ерунда..

может все таки стоит в самом магазине сделать так- чтобы ненужные пустые страницы- не несущие смысловой нагрузки- вообще не индексировались изначально? либо сделать выбор... потому что на такие страницы походу дела невозможно robots.txt написать..

Link to post
Share on other sites

ах да..вот еще задачка для написания .htaccess чтобы при заходе на ?sort=price&direction=desc&on_page=10&page=2 появлялось on_page/10/sort/price/direction/asc/page/2  иначе двоение ужас.. в поисковых системах..

Link to post
Share on other sites

Как вычистить такие страницы я даже и не знаю если честно, особенно когда задан SEO URL, до таких страниц ведь через .htaccess не добраться.

Нужно разве что отредактировать шаблон списка товаров и убрать блок с ссылками сортировки.

Link to post
Share on other sites

а если в этих ссылках поставить NOINDEX? где этот шаблон и эта ссылка? если поставить noindex или nofollow может они удалятся..ссылки эти

Link to post
Share on other sites

А как именно такой странице поставить noindex ?!

Я не знаю если честно.

noindex же в meta тэгах ставится?!

Если в мета-тэгах, то это нужно в /includes/header.php как-то прописывать.

Link to post
Share on other sites

ставится в тэгах..конкретной части сайта вообще то....которую не надо индексировать

Link to post
Share on other sites

Ну а как определить то эту конкртеную часть, в этом же и проблема.

Нужно как-то условие правильно составить и в /includes/header.php писать что-то вроде:


if условие = тому-то то
тэг nofollow
/if
[/code]

Link to post
Share on other sites

да походу дела буду  к специалистам с веблансера обращаться..я просто заметил в старых версиях дружба с поисковиками лучше- чем в новых- походу изза этой темы двоящихся страниц..

Link to post
Share on other sites

Да, появилась ведь сортировка, seo url, поэтому и появилось больше индексируемых страниц в поисковике.

Link to post
Share on other sites

просто реально сортировка то не нужна для индексации..даже вредит я думаю..

Link to post
Share on other sites

Кстати..а как удалить вообще из шаблона сортировку? то есть все эти ссылки..у меня товары для здоровья..навряд ли кто-то будет по цене да по названию сортировать скажем те же бады..

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


×
×
  • Create New...