избыточная индексация- супер опасное явление для SEO

[support 447]

Если не нужна, её нужно убирать конечно.

Но всё-таки не всем ведь не нужна, кому-то наоборот как раз очень даже полезна.

Удали из шаблона списка товаров /templates/шаблон/module/product_listing:

<p>
{#text_sort#} 
<a href="{$LINK_sort_name_asc}">{#text_sort_name_asc#}</a> | 
<a href="{$LINK_sort_name_desc}">{#text_sort_name_desc#}</a> | 
<a href="{$LINK_sort_price_asc}">{#text_sort_price_asc#}</a> | 
<a href="{$LINK_sort_price_desc}">{#text_sort_price_desc#}</a>
</p>
<p>
{#text_products_per_page#} <a href="{$LINK_PAGE}10">10</a>, <a href="{$LINK_PAGE}20">20</a>, <a href="{$LINK_PAGE}50">50</a>, <a href="{$LINK_PAGE}100">100</a>
</p>
[/code]

[geval 3]

в общем сделали мне htacess, может кому надо будет..чтобы удалить уже проиндексированные страницы сортировки..

RewriteEngine On

RewriteBase /

RewriteCond %{QUERY_STRING} ^.*sort=.*$

RewriteRule ^.*html.*$ http://sun-mag.ru/ [L]

вот так начинается файл.. две беды правда-

скажем заходим на страницу http://sun-mag.ru/shaniss.html?sort=price&direction=desc&on_page=10&page=4

делается редирект на главную страницу...и при этом ссылка остается такого вида уже...обрезанная

http://sun-mag.ru/?sort=price&direction=desc&on_page=10&page=4

если же делать вместо главной страницы другую-то ошибка выдается.. я так понял причина тут такая- что в хтакцессе прописано-что файл manager.php дальше по условию обрезает страницу..и на выходе получается такое..

если же ставить в конце htaccess  строки

RewriteCond %{QUERY_STRING} ^.*sort=.*$

RewriteRule ^.*html.*$ http://sun-mag.ru/ [L]

то редирект вообще не работает..

как решить эту проблему ? ( что только на главную можно редирект задать, и то что обрезает так..)

[support 447]

Я совсем в mod_rewrite ничего не понимаю, даже и не могу подсказать, если честно.

[Alex Zimov 0]

а что будет если в роботс прописать ?

Disallow: /index.php/action/

Disallow: /products_new.php/action/

Disallow: /products_info.php/action/

[support 447]

Нормально всё будет, по идее.

[Виталий Мишин 0]

Ну а как определить то эту конкртеную часть, в этом же и проблема.

Нужно как-то условие правильно составить и в /includes/header.php писать что-то вроде:

if условие = тому-то то
тэг nofollow
/if
[/code]
А если попробовать  создавать ссылку "сортировки" в таком виде:
[color=navy]<a href="http://сама_ссылка.ru" rel="nofollow">текст ссылки</a>[/color] .
Не знаю насколько это сложно и возможно ли вообще реализовать, но, судя по различным источникам, [b]rel="nofollow"[/b] "останавливает" Гугл.

[support 447]

А ты пробовал добавлять nofollow в шаблон списка товаров /templates/шаблон/module/product_listing, вот в этом куске:

<p>
{#text_sort#} 
<a href="{$LINK_sort_name_asc}">{#text_sort_name_asc#}</a> | 
<a href="{$LINK_sort_name_desc}">{#text_sort_name_desc#}</a> | 
<a href="{$LINK_sort_price_asc}">{#text_sort_price_asc#}</a> | 
<a href="{$LINK_sort_price_desc}">{#text_sort_price_desc#}</a>
</p>
<p>
{#text_products_per_page#} <a href="{$LINK_PAGE}10">10</a>, <a href="{$LINK_PAGE}20">20</a>, <a href="{$LINK_PAGE}50">50</a>, <a href="{$LINK_PAGE}100">100</a>
</p>
[/code]
Вот это и есть код ссылок сортировка после href атрибуты можно и rel="nofollow" добавить, если ты говоришь, что поможет.
Я просто не совсем в курсе, как правильно делать.

[Виталий Мишин 0]

Да вот сделал

<a href="{$LINK_sort_price_asc}" rel="nofollow">{#text_sort_price_asc#}</a> | 
<a href="{$LINK_sort_price_desc}" rel="nofollow">{#text_sort_price_desc#}</a>[/code]
Ненужных страниц это не уберёт, зато надеюсь новых "ненужных" не сделает.
Источник информации, например, здесь:
http://noindex-nofollow.info/nofollow.htm

[support 447]

Понятно, ссылка что-то не открывается, пишет Internal Server Error

[Виталий Мишин 0]

Исправил, извините.

[support 447]

Теперь работает, спасибо.

[Starichkov 0]

geval, дубли копий для ПС, это конечно не айс, но, в последнее время замечено, что Я борется с дублями, и это не так трагично для сео.

Касаемо запрета перехода бота по линкам сортировки, для последующей индексации, с этого и надо было начинать, простая правка шаблона и все. Написали запрет для локальной ссылки, бот и не узнает никогда что есть динамический результат перехода, кроме как в случае если на результат применения такого фильтра не проставлена ссылка извне.

ps. не очень понимаю, за что вас так заминусовали на серче :o.

[Виталий Мишин 0]

Starichkov

Написали запрет для локальной ссылки....

noindex - только для Яши, Гугл это игнорирует.

Сейчас проверяю rel="nofollow"...

Знаете что-то ещё? Поделитесь, пожалуйста.

[ABerezin 0]

Запрет для локальной ссылки проблем не решает. Всегда существует вероятность, что на "лишнюю" страницу найдётся незапрещенная ссылка. Например естественная. Поэтому в плюс к запрету индексации "лишних" страниц через noindex/rel="nofollow" нужно запрещать саму индексацию этих "лишних" страниц.

[Виталий Мишин 0]

Всегда существует вероятность, что на "лишнюю" страницу найдётся незапрещенная ссылка...

Наверное, но вероятность очень маленькая. И , перечитав ещё раз тему, я не нашёл как можно закрыть страницы типа

              /МАГАЗИН.com/ТОВАР.html?currency=USD&...

                                                 ...?sort=price&...

                                                 ...?direction=asc&...

                                                 ...?language=ru&...

Многократно перемножающие друг друга, т.е. "закрыть" нужно сортировки.

На такие страницы не должно быть "естественной ссылки".

[Виталий Мишин 0]

Попытаюсь закрыть при помощи rel="nofollow".

На примере languages.php правильно ли я добавил в

$languages_string .= ' <a href="' . vam_href_link(basename($PHP_SELF), 'language=' . $key.'&'.vam_get_all_get_params(array('language', 'currency')), $request_type) . '">' . $value['name'] . '</a> ';

rel="nofollow".

$languages_string .= ' <a href="' . vam_href_link(basename($PHP_SELF), 'language=' . $key.'&'.vam_get_all_get_params(array('language', 'currency')), $request_type) . ' rel="nofollow"">' . $value['name'] . '</a> ';

Точки, запятые?...

Всё работает, а в адресной строке .../index.php?language=ru%20rel=   

Спасибо.

[support 447]

Лучше наверное так:

$languages_string .= ' <a href="' . vam_href_link(basename($PHP_SELF), 'language=' . $key.'&'.vam_get_all_get_params(array('language', 'currency')), $request_type) . '" rel="nofollow">' . $value['name'] . '</a> ';
[/code]

[ABerezin 0]

Наверное, но вероятность очень маленькая.

Ошибаетесь. Причём вероятность возрастает с увеличением популярности сайта.

И , перечитав ещё раз тему, я не нашёл как можно закрыть страницы типа

               /МАГАЗИН.com/ТОВАР.html?currency=USD&...

                                                 ...?sort=price&...

                                                 ...?direction=asc&...

                                                 ...?language=ru&...

Многократно перемножающие друг друга, т.е. "закрыть" нужно сортировки.

Закрывать нужно через мета-теги.

На такие страницы не должно быть "естественной ссылки".

Видимо ваш большой опыт позволяет делать такие умозаключения.

Я же говорю - есть масса практических примеров. Впрочем я не настаиваю  ;D

[Виталий Мишин 0]

Никаких "умозаключений". Я (с моим опытом) лишь хотел бы получить помощь в решении проблемы  :).

Извините.

[DHara 0]

Лично я считаю что по разному отсортированные страницы - для яндекса страницы разные, а для гугля и подавно. Но в обсуждении все таки поучаствую.

Заставить поисковики не индексировать ссылки просто:

Добавляем в файл  .htaccess , после строки

RewriteBase /

строку

RewriteRule ^sort/(.*)$ /$1 [L] 

затем в конец robots.txt

Disallow: /sort/

То есть фактически для движка урл вида http://www.site.ru/sort/bolonskie_udochki.html?sort=name&direction=desc&filter_id=6&on_page=100 будет абсолютно тем же самым что и  http://www.site.ru/bolonskie_udochki.html?sort=name&direction=desc&filter_id=6&on_page=100 , а вот поисковикам индексация страниц в каталоге  /sort/ запрещена. Осталось только добавить /sort/ во все сортировочные ссылки в файлах default.php и product_listing.php .

Убрать уже проиндексированные  страницы сложнее, так как старые адреса, к сожалению, будут продолжать работать.

Варианта 2. Самое надежное - выдавать ошибку 404 по всем адресам в которых содержатся параметры sort, direction, on_page или filter_id.

Второй вариант - сделать так чтоб для ботов эти параметры были нерабочими. Например мы можем в файле application_top.php переписать эти параметры из $_GET клиенту в куки, и соответственно при обработке брать их уже не из $_GET, а из куков. Понятно что боты( поисковые ) никаких куков не принимают, и для них никаких сортировок или фильтраций существовать не будет, а одинаковые страницы они рано или поздно склеят. В таком подходе есть один существенный плюс: человек может единожды настроить как сортируются товары, и сколько их отображается на странице, и всегда будет видеть именно такую сортировку. В тех же магазинах, где важна пред установка собственной сортировки для каждой категории, можно просто задать время жизни куки в 1 секунду.

Что то подобное можно проделать используя не куки а сессии.

Впрочем, это только размышления - авось кто что умнее придумает.  ::)

[support 447]

Спасибо за готовый пример.

[solopov 0]

Может быть просто при включенном SEO в robots.txt прописать:

Disallow: /*?

Поскольку, локально при создании карты прогой GSiteClawler получаются страницы типа:

http://www.bla-bla.ru/petrushka.html?action=........

http://www.bla-bla.ru/petrushka.html?q=........

http://www.bla-bla.ru/petrushka.html?sort=........

[support 447]

Нет, нельзя, Вы ж запретите индексацию всех страниц такой строкой, если я правильно понимаю.

[solopov 0]

Ну я этого и хочу, зачем мне показывать роботу дубликаты страниц (сортировку допустим)? Если у каждой категории и у каждого товара есть оригинальное SEO имя с расширением html

Хотя конструкция не совсем верна.

Тогда все таки, как убить эти страницы оставив при этом для роботов оригинальную страницу http://www.bla-bla.ru/petrushka.html

[support 447]

Вот тут я даже и не знаю, но есть сомнения, что если Вы такую строку добавите, то и карта сайта не поможет.

Не знаю точно, как будет робот вести себя если в robots.txt всё запрещено, но есть карта сайта.