Для лучшей индексации, следует создать карту сайта(SITEMAP).Данная карта будет давать
советы поисковикамм во время индексации вашей старницы.
С чего следуеть начать?
Первое:
Создаем в блокноте фаил с именем robots.txt и сохраняем на одном уровне с файлом index
в дереве сайта.
Содержания файла robots.txt:
User-agent: *
Disallow: /css
Host: www.google.com
Sitemap: http://www.google.com/sitemap.xml
User-agent: * - для всех поисковиков. Это означает что все поисковики должны читать
этот файл.Но этот параметр не совсм верен.Лучше задать для каждого
отдельно тогда robots будет прочитан точно.Примерно так:
User-agent: google
Disallow: /css
Host: www.google.com
Sitemap: http://www.google.com/sitemap.xml
User-agent:yandex
Disallow: /css
Host: www.google.com
Sitemap: http://www.google.com/sitemap.xml
.........................................
Disallow: - файлы которые мы хотим не давать к индексации
например :
/ - не индексировать не один файл
/css - не индексировать папку сss
/style.css - не индексировать файл
Host: - адрес вашего сайта.
Sitemape: - путь к карте сайта.
Когда поисковая система находит sitemape.xtl она видет:
<xml version="1.0" encoding="UTF-8">
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>
http://www.google.com/love.html</loc>
<lastmod>
>
2003-01-01</lastmod>
<changefreq>
monthly</changefreq>
<priority>
0.8</priority>
</url>
<url>
<loc<http://www.google.com/love.php</loc>
<lastmod>
2003-01-01</lastmod>
<changefreq>
monthly
</changefreq>
<priority>
0.9</priority>
</url>
</urlset>
<?xml version="1.0" encoding="UTF-8">
- кодировку файла не менять.
<urlset>
- область имен (стандарт протокола) в теге
.
<url>
</>url - в этом теги помещаеться информация для каждой страницы.
<loc>
</loc> - адрес старницы
<lastmod>
</lastmod>
- последнее изменения страницы
<changefreq></changefreq>
- частота измененя стараницы
* always* hourly* daily * weekly* monthl* yearly* never
<priority></priority> - приоритет страницы от 0.1 до 1 важность