Форум Академгородка, Новосибирск > Как часто должен индексироваться сайт:

Помощь - Поиск - Пользователи - Календарь

Полная версия этой страницы: Как часто должен индексироваться сайт:

Форум Академгородка, Новосибирск > Компьютеры и сети > Программирование > WEB-программирование

brukaro

25.04.2009, 17:33

Всем здравствуйте!

Имеется такой факт: за один день сайт индексировался системами яндекс и гугл, которые выслали на сайт 2500 однотипных запросов объемом более 400 Мб. Это нормально?

Zebooka

25.04.2009, 17:51

Не очень.
Создайте себе Robots.txt и задайте конфиг

Femme.Fatale

30.09.2009, 10:29

brukaro, а как вы это определили?

Лабораторный

30.09.2009, 12:27

Цитата(brukaro @ 25.04.2009, 18:33)

Это нормально?

Задайте скорость сканирования для поисковых ботов в robots.txt. Для Гугла, вроде, можно задать также в панели вебмастера.

Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.