Jump to content

избыточная индексация- супер опасное явление для SEO


Recommended Posts

Если не нужна, её нужно убирать конечно.

Но всё-таки не всем ведь не нужна, кому-то наоборот как раз очень даже полезна.

Удали из шаблона списка товаров /templates/шаблон/module/product_listing:


<p>
{#text_sort#}
<a href="{$LINK_sort_name_asc}">{#text_sort_name_asc#}</a> |
<a href="{$LINK_sort_name_desc}">{#text_sort_name_desc#}</a> |
<a href="{$LINK_sort_price_asc}">{#text_sort_price_asc#}</a> |
<a href="{$LINK_sort_price_desc}">{#text_sort_price_desc#}</a>
</p>
<p>
{#text_products_per_page#} <a href="{$LINK_PAGE}10">10</a>, <a href="{$LINK_PAGE}20">20</a>, <a href="{$LINK_PAGE}50">50</a>, <a href="{$LINK_PAGE}100">100</a>
</p>
[/code]

Link to post
Share on other sites
  • Replies 111
  • Created
  • Last Reply

Top Posters In This Topic

  • support

    46

  • solopov

    16

  • geval

    15

  • Виталий Мишин

    7

в общем сделали мне htacess, может кому надо будет..чтобы удалить уже проиндексированные страницы сортировки..

RewriteEngine On

RewriteBase /

RewriteCond %{QUERY_STRING} ^.*sort=.*$

RewriteRule ^.*html.*$ http://sun-mag.ru/ [L]

вот так начинается файл.. две беды правда-

скажем заходим на страницу http://sun-mag.ru/shaniss.html?sort=price&direction=desc&on_page=10&page=4

делается редирект на главную страницу...и при этом ссылка остается такого вида уже...обрезанная

http://sun-mag.ru/?sort=price&direction=desc&on_page=10&page=4

если же делать вместо главной страницы другую-то ошибка выдается.. я так понял причина тут такая- что в хтакцессе прописано-что файл manager.php дальше по условию обрезает страницу..и на выходе получается такое..

если же ставить в конце htaccess  строки

RewriteCond %{QUERY_STRING} ^.*sort=.*$

RewriteRule ^.*html.*$ http://sun-mag.ru/ [L]

то редирект вообще не работает..

как решить эту проблему ? ( что только на главную можно редирект задать, и то что обрезает так..)

Link to post
Share on other sites

Я совсем в mod_rewrite ничего не понимаю, даже и не могу подсказать, если честно.

Link to post
Share on other sites
  • 1 month later...

а что будет если в роботс прописать ?

Disallow: /index.php/action/

Disallow: /products_new.php/action/

Disallow: /products_info.php/action/

Link to post
Share on other sites
  • 2 months later...
Виталий Мишин

Ну а как определить то эту конкртеную часть, в этом же и проблема.

Нужно как-то условие правильно составить и в /includes/header.php писать что-то вроде:


if условие = тому-то то
тэг nofollow
/if
[/code]

А если попробовать  создавать ссылку "сортировки" в таком виде:

[color=navy]<a href="http://сама_ссылка.ru" rel="nofollow">текст ссылки</a>[/color] .

Не знаю насколько это сложно и возможно ли вообще реализовать, но, судя по различным источникам, [b]rel="nofollow"[/b] "останавливает" Гугл.

Link to post
Share on other sites

А ты пробовал добавлять nofollow в шаблон списка товаров /templates/шаблон/module/product_listing, вот в этом куске:


<p>
{#text_sort#}
<a href="{$LINK_sort_name_asc}">{#text_sort_name_asc#}</a> |
<a href="{$LINK_sort_name_desc}">{#text_sort_name_desc#}</a> |
<a href="{$LINK_sort_price_asc}">{#text_sort_price_asc#}</a> |
<a href="{$LINK_sort_price_desc}">{#text_sort_price_desc#}</a>
</p>
<p>
{#text_products_per_page#} <a href="{$LINK_PAGE}10">10</a>, <a href="{$LINK_PAGE}20">20</a>, <a href="{$LINK_PAGE}50">50</a>, <a href="{$LINK_PAGE}100">100</a>
</p>
[/code]

Вот это и есть код ссылок сортировка после href атрибуты можно и rel="nofollow" добавить, если ты говоришь, что поможет.

Я просто не совсем в курсе, как правильно делать.

Link to post
Share on other sites
Виталий Мишин

Да вот сделал


<a href="{$LINK_sort_price_asc}" rel="nofollow">{#text_sort_price_asc#}</a> |
<a href="{$LINK_sort_price_desc}" rel="nofollow">{#text_sort_price_desc#}</a>[/code]

Ненужных страниц это не уберёт, зато надеюсь новых "ненужных" не сделает.

Источник информации, например, здесь:

http://noindex-nofollow.info/nofollow.htm

Link to post
Share on other sites

Понятно, ссылка что-то не открывается, пишет Internal Server Error

Link to post
Share on other sites

geval, дубли копий для ПС, это конечно не айс, но, в последнее время замечено, что Я борется с дублями, и это не так трагично для сео.

Касаемо запрета перехода бота по линкам сортировки, для последующей индексации, с этого и надо было начинать, простая правка шаблона и все. Написали запрет для локальной ссылки, бот и не узнает никогда что есть динамический результат перехода, кроме как в случае если на результат применения такого фильтра не проставлена ссылка извне.

ps. не очень понимаю, за что вас так заминусовали на серче :o.

Link to post
Share on other sites
Виталий Мишин

Starichkov

Написали запрет для локальной ссылки....

noindex - только для Яши, Гугл это игнорирует.

Сейчас проверяю rel="nofollow"...

Знаете что-то ещё? Поделитесь, пожалуйста.

Link to post
Share on other sites

Запрет для локальной ссылки проблем не решает. Всегда существует вероятность, что на "лишнюю" страницу найдётся незапрещенная ссылка. Например естественная. Поэтому в плюс к запрету индексации "лишних" страниц через noindex/rel="nofollow" нужно запрещать саму индексацию этих "лишних" страниц.

Link to post
Share on other sites
Виталий Мишин

Всегда существует вероятность, что на "лишнюю" страницу найдётся незапрещенная ссылка...

Наверное, но вероятность очень маленькая. И , перечитав ещё раз тему, я не нашёл как можно закрыть страницы типа

              /МАГАЗИН.com/ТОВАР.html?currency=USD&...

                                                 ...?sort=price&...

                                                 ...?direction=asc&...

                                                 ...?language=ru&...

Многократно перемножающие друг друга, т.е. "закрыть" нужно сортировки.

На такие страницы не должно быть "естественной ссылки".

Link to post
Share on other sites
Виталий Мишин

Попытаюсь закрыть при помощи rel="nofollow".

На примере languages.php правильно ли я добавил в

$languages_string .= ' <a href="' . vam_href_link(basename($PHP_SELF), 'language=' . $key.'&'.vam_get_all_get_params(array('language', 'currency')), $request_type) . '">' . $value['name'] . '</a> ';
rel="nofollow".
$languages_string .= ' <a href="' . vam_href_link(basename($PHP_SELF), 'language=' . $key.'&'.vam_get_all_get_params(array('language', 'currency')), $request_type) . ' rel="nofollow"">' . $value['name'] . '</a> ';

Точки, запятые?...

Всё работает, а в адресной строке .../index.php?language=ru%20rel=   

Спасибо.

Link to post
Share on other sites

Лучше наверное так:


$languages_string .= ' <a href="' . vam_href_link(basename($PHP_SELF), 'language=' . $key.'&'.vam_get_all_get_params(array('language', 'currency')), $request_type) . '" rel="nofollow">' . $value['name'] . '</a> ';
[/code]

Link to post
Share on other sites

Наверное, но вероятность очень маленькая.

Ошибаетесь. Причём вероятность возрастает с увеличением популярности сайта.

И , перечитав ещё раз тему, я не нашёл как можно закрыть страницы типа

               /МАГАЗИН.com/ТОВАР.html?currency=USD&...

                                                 ...?sort=price&...

                                                 ...?direction=asc&...

                                                 ...?language=ru&...

Многократно перемножающие друг друга, т.е. "закрыть" нужно сортировки.

Закрывать нужно через мета-теги.

На такие страницы не должно быть "естественной ссылки".

Видимо ваш большой опыт позволяет делать такие умозаключения.

Я же говорю - есть масса практических примеров. Впрочем я не настаиваю  ;D

Link to post
Share on other sites
Виталий Мишин

Никаких "умозаключений". Я (с моим опытом) лишь хотел бы получить помощь в решении проблемы  :).

Извините.

Link to post
Share on other sites
  • 2 months later...

Лично я считаю что по разному отсортированные страницы - для яндекса страницы разные, а для гугля и подавно. Но в обсуждении все таки поучаствую.

Заставить поисковики не индексировать ссылки просто:

Добавляем в файл  .htaccess , после строки

RewriteBase /

строку

RewriteRule ^sort/(.*)$ /$1 [L] 

затем в конец robots.txt

Disallow: /sort/

То есть фактически для движка урл вида http://www.site.ru/sort/bolonskie_udochki.html?sort=name&direction=desc&filter_id=6&on_page=100 будет абсолютно тем же самым что и  http://www.site.ru/bolonskie_udochki.html?sort=name&direction=desc&filter_id=6&on_page=100 , а вот поисковикам индексация страниц в каталоге  /sort/ запрещена. Осталось только добавить /sort/ во все сортировочные ссылки в файлах default.php и product_listing.php .

Убрать уже проиндексированные  страницы сложнее, так как старые адреса, к сожалению, будут продолжать работать.

Варианта 2. Самое надежное - выдавать ошибку 404 по всем адресам в которых содержатся параметры sort, direction, on_page или filter_id.

Второй вариант - сделать так чтоб для ботов эти параметры были нерабочими. Например мы можем в файле application_top.php переписать эти параметры из $_GET клиенту в куки, и соответственно при обработке брать их уже не из $_GET, а из куков. Понятно что боты( поисковые ) никаких куков не принимают, и для них никаких сортировок или фильтраций существовать не будет, а одинаковые страницы они рано или поздно склеят. В таком подходе есть один существенный плюс: человек может единожды настроить как сортируются товары, и сколько их отображается на странице, и всегда будет видеть именно такую сортировку. В тех же магазинах, где важна пред установка собственной сортировки для каждой категории, можно просто задать время жизни куки в 1 секунду.

Что то подобное можно проделать используя не куки а сессии.

Впрочем, это только размышления - авось кто что умнее придумает.  ::)

Link to post
Share on other sites
  • 3 months later...

Может быть просто при включенном SEO в robots.txt прописать:

Disallow: /*?

Поскольку, локально при создании карты прогой GSiteClawler получаются страницы типа:

http://www.bla-bla.ru/petrushka.html?action=........

http://www.bla-bla.ru/petrushka.html?q=........

http://www.bla-bla.ru/petrushka.html?sort=........

Link to post
Share on other sites
support

Нет, нельзя, Вы ж запретите индексацию всех страниц такой строкой, если я правильно понимаю.

Link to post
Share on other sites

Ну я этого и хочу, зачем мне показывать роботу дубликаты страниц (сортировку допустим)? Если у каждой категории и у каждого товара есть оригинальное SEO имя с расширением html

Хотя конструкция не совсем верна.

Тогда все таки, как убить эти страницы оставив при этом для роботов оригинальную страницу http://www.bla-bla.ru/petrushka.html

Link to post
Share on other sites
support

Вот тут я даже и не знаю, но есть сомнения, что если Вы такую строку добавите, то и карта сайта не поможет.

Не знаю точно, как будет робот вести себя если в robots.txt всё запрещено, но есть карта сайта.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


×
×
  • Create New...