User-agent: Yandex
User-agent: Aport
User-agent: Googlebot
User-agent: StackRambler
Crawl-delay: 4.5 	# задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /_admin/
Disallow: /_docs/
Disallow: /_htm/
Disallow: /_php/
Disallow: /_str/
Disallow: /_str_cena/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /_styles/
Disallow: /board/
Disallow: /graf/
Disallow: /mail/



User-Agent: *
Disallow: /_admin/
Disallow: /_docs/
Disallow: /_htm/
Disallow: /_php/
Disallow: /_str/
Disallow: /_str_cena/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /_styles/
Disallow: /board/
Disallow: /graf/
Disallow: /mail/