8.2.1 Общий технический анализ

Согласно инструкциям файла robots.txt от поисковых роботов не было закрыто ни одной страницы сайта. Информация в файле robots.txt позволяет скрыть от поискового робота данные, способные отрицательно сказаться на выдаче страниц сайта в поисковых системах. Также она дает возможность указать поисковому роботу на служебные файлы, которые необходимо проиндексировать (например, sitemap.xml). В свою очередь карта сайта будет показывать поисковой машине новые страницы, которые появились на сайте, что позволит привлечь больше посетителей.