У меня есть сайт на лего(версию не знаю но вроде б 25)
Общий принцип как я понял:
1.блокируем повторяющиеся страницы, наподобие вот этих:
Disallow: /index.php?productID
Disallow: /index.php?categoryID
Конкретно у меня в лего доступ к категории(продукту) проходит по 3ем ссылкам:
index.php?productID=455
index.php?product_hurl=brevno/
product/brevno/
В htaccess есть строки:
RewriteRule catalog/(.*)$ index.php?catalog_hurl=$1
RewriteRule product/(.*)$ index.php?product_hurl=$1
то есть если я поставлю Disallow: /index.php?product_hurl в robots.txt у меня исчезнут страницы из поиска
2.Блокируем некоторые директории
Disallow: /templates_c/
3.Блокируем ненужные ссылки вроде добавления в корзину и клон этой ссылки
Disallow: /add2cart
Disallow: /index.php?shopping_cart
Disallow: /admin.php
Нужно ли(как) блокировать ссылки подобного плана?
index.php?$1_hurl=$2&sort=$3&order=$4
то есть различные сортировки(к примеру по имени от а до я(asc) или от я до а(desc))
И еще у некоторых сайтов на лего видел что в роботс есть блокировка таких ссылок:
Disallow: /*sort
в htaccess у меня
RewriteRule (.*)/(.*)/&sort=(.*)&order=(.*)$ index.php?$1_hurl=$2&sort=$3&order=$4
А как мне заблокировать все страницы такого плана?
http://site.ru/add2cart/brevno/так Disallow: /*add2cart
либо так Disallow: /add2cart