admin » 26 май 2016, 12:33
Alex писал(а):robots.txt лежит в корне сайта. Там инструкции для роботов - гугля, яндекса и пр. В какие папки роботам можно заходить, а какие папки пропустить и не индексировать. Роботы поисковых систем начинают просмотр сайта со считывания файла robots.txt. Вот и всё.
Antón Pirulero » 27 май 2016, 00:03
admin писал(а):Роботы давно на это забивают.
Alex » 27 май 2016, 01:07
xpired » 04 дек 2024, 17:54
xpired » 27 дек 2024, 06:57
xpired » 31 янв 2025, 19:23
xpired » 03 мар 2025, 23:59
xpired » 20 мар 2025, 15:36
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3
