Robots.txt для Opencart
Каждому сайту рекомендуется иметь в корневой папке файл robots.txt, который будет управлять поисковыми роботами и указывать что можно индексировать, а что нельзя. Подробно о robots.txt можно ознакомится в блоге компании Netpeak, а ниже вы можете увидеть готовый robots.txt моего интернет-магазина на opencart.
Примечание:
Строки с символом # вначале - это комментарии, которые не влияют на работу и существуют как напоминания.
Содержимое robots.txt для Opencart
<![CDATA[
# для всех поисковых роботов
User-agent: *
# запрещаем индексирование папок
Disallow: /admin
Disallow: /download
Disallow: /export
# запрещаем индексирование динамических страниц
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?currency=
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?product_id
Disallow: /*?mfp=
# запрещаем индексирование страниц
Disallow: /specials
Disallow: /login
Disallow: /contacts
Sitemap: ссылка на карту сайта в формате xml
# для Яндекса индивидуально делаем копию
User-agent: Yandex
# запрещаем индексирование папок
Disallow: /admin
Disallow: /download
Disallow: /export
# запрещаем индексирование динамических страниц
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?currency=
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?product_id
Disallow: /*?mfp=
# запрещаем индексирование страниц
Disallow: /specials
Disallow: /login
Disallow: /contacts
Sitemap: ссылка на карту сайта в формате xml
Host: вашсайт.ком
]]>
