избыточная индексация- супер опасное явление для SEO

[solopov 0]

Специалиста в студию!

Возможна такая конструкция?

Allow: /*.html

Disallow: /*?

[support 447]

Я бы так не делал конечно.

Наверное нужно на SEO сайтах почитать про особености robots.txt и яндекс с гуглом.

[solopov 0]

Примерно так:

Disallow: /*action=*

Disallow: /*q=*

Disallow: /*on_page=*

По ходу пьесы возник ещё вопрос:

Как сделать 301 переадресацию со старых страниц на новые в одном домене, учитывая то что в адресах страых страниц присутствует знак вопроса ("?")

Пример (в .htaccess):

Redirect 301 /shop/products_new.php?page=24 http://www.bla-bla.ru/

- не работает

Подскажите, может кто сталкивался?

[support 447]

Вот пример как делается редирет с домена с www. на без www.

http://vamshop.ru/faq.php/faq_id/42/question/Kak-sdelat-redirekt-pri-zahode-s-www-adresom-na-osnovnoi-domen-bez-www-

Посмотрите.

А так же почиайте документацию в .htaccess, я так и не кажу готовый ответ, сам не делал никогда.

[solopov 0]

Да весь инет перерыл. Вопросы такие есть а вот ответов нет. Хотя один встречал с помощью скрипта, но он не подходит.

[support 447]

Ну наверное только каждый адрес старый в отдельности прописывать и ссылку на новый, вручную т.е.

Либо какой-то скрипт писать, что б перенапрявлял, т.е. парой строк сделать не получится, скорее всего.

[snip 0]

всё о robot.txt яндекса http://help.yandex.ru/webmaster/?id=996567

[support 447]

Спасибо за ссылку

[snip 0]

всегда пожалуйста))

[karapuz 0]

Доброго времени суток!

Саша, подскажи, что же делать?

Хочу убрать из индекса ссылки типа "/sort/name/direction/desc", закрыть от индексации,

в Роботс прописал

Disallow: /sort/

потом добавил

Disallow: /sort/price/direction/desc

Disallow: /sort/price/direction/asc

Disallow: /sort/name/direction/desc

Disallow: /sort/name/direction/asc

и до кучи это

Disallow: /on_page/10

Disallow: /on_page/20

Disallow: /on_page/50

Disallow: /on_page/100

а в результате проверки роботс на страничке яндекс вебмастер, ссылки типа /sort/name/direction/desc разрешены к индексации.

Чета не соображаю уже что еще  и где прописать?

Спасибо.

[solopov 0]

Примерно так я делал. Помогло.

User-agent: *

Disallow: /address_book_process.php

Disallow: /ajax_shopping_cart.php

Disallow: /account.php

Disallow: /account_edit.php

Disallow: /account_edit_process.php

Disallow: /account_history.php

Disallow: /account_history_info.php

Disallow: /address_book.php

Disallow: /advanced_search_result.php?

Disallow: /affiliate_affiliate.php

Disallow: /articles_new.php

Disallow: /articles.php

Disallow: /ask_a_question.php

Disallow: /checkout_alternative.php

Disallow: /checkout_process.php

Disallow: /advanced_search.php

Disallow: /advanced_search_result.php

Disallow: /cache/

Disallow: /admin/

Disallow: /checkout_address.php

Disallow: /checkout_confirmation.php

Disallow: /checkout_payment.php

Disallow: /checkout_success.php

Disallow: /checkout_shipping.php

Disallow: /contact_us.php

Disallow: /create_account.php

Disallow: /create_account_guest.php 

Disallow: /create_account_process.php

Disallow: /create_account_success.php

Disallow: /faq.php

Disallow: /featured.php

Disallow: /highslide/

Disallow: /index.php/manufacturers_id/

Disallow: /info_shopping_cart.php

Disallow: /shopping_cart.php

Disallow: /login.php

Disallow: /logoff.php

Disallow: /news.php

Disallow: /newsletter.php

Disallow: /products_new.php

Disallow: /password_double_opt.php

Disallow: /popup_image.php

Disallow: /popup_search_help.php

Disallow: /privacy.php

Disallow: /product_notifications.php

Disallow: /product_reviews.php

Disallow: /product_reviews_info.php

Disallow: /product_compare.php

Disallow: /reviews.php

Disallow: /shipping.php

Disallow: /shop_content.php

Disallow: /export/

Disallow: /download/

Disallow: /includes/

Disallow: /pub/

Disallow: /media/

Disallow: /index.php/action/

Disallow: /article_info.php/action/

Disallow: /product_info.php/action/

Disallow: /special.php

Disallow: /specials.php

Disallow: /*action=*

Disallow: /*q=*

Disallow: /*on_page=*

Disallow: /*cPath

Disallow: /*manufacturers_id

Disallow: /manu/

Disallow: /index.php/manu

Disallow: /index.html?products_id

Disallow: /cookie_usage.php

Disallow: /index.php/products_id

Плюс закрывал <noindex><a rel="nofollow" href="....">бла-бла</a></noindex>

Но для каждого сайта отдельно надо смотреть.

Для текущего выдавал только страницы html

Проверяйте корректность robots.txt с помощью инструментов для web мастеров

[karapuz 0]

Спасибо, буду пробовать дальше.

А что касается ноиндекс и нофолоув, если я на каждую страницу буду ставить руками, а их около 7 тысяч, долго ставить придется.

[karapuz 0]

Все оказалось проще, оставил так и заработало:

Disallow: /*sort/

Disallow: /*on_page/

Ночью голова уже не работала.

Спасибо всем.

[support 447]

Если не против, я эти строчки добавлю тогда в robots.txt по умолчанию + строки от solopov

[karapuz 0]

Если не против, я эти строчки добавлю тогда в robots.txt по умолчанию + строки от solopov

Я не против.

но

Disallow: /*sort/

Disallow: /*on_page/

Закрывают от индексации только сортировку товара по имени, цене и количеству на странице.

А по строкам Solopov, надо смотреть,

например в его версии закрыты от индексации статьи

Disallow: /articles.php

и вопросы и ответы

Disallow: /faq.php

Мне их закрывать не нужно было.

Так что не все нужно закрывать.

[support 447]

Да, я убрал faq.php и aticles.php

[solopov 0]

Все оказалось проще, оставил так и заработало:

Disallow: /*sort/

Disallow: /*on_page/

Ночью голова уже не работала.

Спасибо всем.

Спасибо, буду пробовать дальше.

А что касается ноиндекс и нофолоув, если я на каждую страницу буду ставить руками, а их около 7 тысяч, долго ставить придется.

Закрываем от индексации (noindex в т.ч.) в модулях и в шаблоне дизайна. О каких тысячах страниц идет речь?

[solopov 0]

Закрываем от индексации (noindex в т.ч.) в модулях и в шаблоне дизайна. О каких тысячах страниц идет речь?

Да, я убрал faq.php и aticles.php

aticles.php - это статьи, у них есть SEO, вот и выдавайте их html - ом.

Вот по FAQ надо движок дорабатывать..

[support 447]

А вообще да, наверное так и правильнее, сразу индексировать саму статью и сам вопрос.

[karapuz 0]

Закрываем от индексации (noindex в т.ч.) в модулях и в шаблоне дизайна. О каких тысячах страниц идет речь?

Я думаю, что все же в robots.txt закрывать не нужные страницы для новичков проще, можно сразу увидеть результат, а если в шаблон лезть, можно и лишнее закрыть.

В любом случае спасибо за помощь.

To Vam:

добавил еще эти строки

Disallow: /index.php?action=buy_now

Disallow: /checkout_shipping.php

Disallow: /specials.php/action/buy_now

Не нужны эти страницы в индексе.

[support 447]

Добавил.

Правда checkout_shipping уже был.

[karapuz 0]

Добавил.

Правда checkout_shipping уже был.

У меня не было.

Вот еще добавил

Disallow: /print_product_info.php/

[solopov 0]

Может не в тему немного. Тут столкнулся с траблой одной в сети.

Обычно, как один из методов при работе со страницей использую http://www.promolab.ru/free/parser.php

Как оказалось, большинство подобных ресурсов просто не понимает UTF-8

Может кто подскажет где есть подобный сервис. На халяву разумеется. ;)

[support 447]

Лично я не в курсе.

[snip 0]

solopov посмотри..может тут что подходящее есть

http://www.miralab.ru/tools/service