Sitemap: http://isle-poem.ru/sitemap.xml

# Запрет индексации адресов страниц, файлов и папок следующими роботами
User-agent: *

# Запрет индексации адресов страниц, где есть символы: ? ; & = : ,
Disallow: /*&
Disallow: /*=
Disallow: /*?
Disallow: /*%
Disallow: /*;
Disallow: /*:
Disallow: /*,

# Запрет индексации адресов страниц с расширением: .php, .tpl
#Disallow: /*.html$
Disallow: /*.php$
Disallow: /*.tpl$
Disallow: /*.zip$
Disallow: /*.htaccess$
Disallow: /*.access_log$

# Запрет индексации адресов каталогов и вложенных папок
Disallow: /markets/
Disallow: /webmoney/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /uploads/
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /static/
Disallow: /templates/
Disallow: /language/
Disallow: /admin/
Disallow: /engine/
Disallow: /user/
Disallow: /links/
Disallow: /lastnews/page/
Disallow: /2008/*
Disallow: /2009/*
Disallow: /2010/*
Disallow: /2011/*
Disallow: /2008/??/
Disallow: /2009/??/
Disallow: /2010/??/
Disallow: /2008/??/??/
Disallow: /2009/??/??/
Disallow: /2010/??/??/

# Разрешить индексацию страниц для AdSense
User-agent: Mediapartners-Google* 
Disallow:

# Yandex
User-agent: Yandex
Allow: /