Сегодня обнаружил новую функцию в панеле вебмастера google – посмотреть как Googlebot.Всегда было важно делать сайт понятным для поисковых систем. Потому что люди и поисковые роботы могут видеть один и тот же сайт по разному.
Нажимаем на ссылку Успешно. И видим следущее

Т.е. можно увидеть какой заголовок возвращает страница (HTTP/1.1 200 OK), какая кодировка и др. параметры, а также исходный код. Или же если страница не доступна или например страница запрещена для индексации в файле robots.txt выведет сообщение – Запрещено в файле robots.txt

Запрещено в файле robots.txt
Существуют различные тектовые браузеры, например Lynx. Ними можно проверить как будет видеть Ваш сайт поисковый робот. Еще можно посмотреть с помощью плагина к FireFox Web Developer, который позволяет отключать все стили CSS и скрипты JavaScript. Ну или просто посмотреть исходный код страницы.
Сведения о вредоносном ПО (Вирусы)
Кроме этого появилась возможность отслеживать появившийся на своем сайте вредоносного кода. Т.е. гугл сам отслеживает и фиксирует, что на Вашем сайте появился вирус.

Один комментарий for Как смотрит Googlebot
eqoist | 9 Октябрь 2011 в 22:24
Оставьте свой комментарий!




вот на счет этого линухса я никак не разберусь, разве если просто открыть исходный код, не получается тоже самое что и робот видит?