Профессиональное обучение
блоггингу от А до Я

Самый правильный файл robots.txt для wordpress!

Правильный robots.txt для вордпресс

Здравствуйте друзья! WordPress robots.txt — файл ограничения доступа к содержимому на вашем блоге, сайте и т.д. Более подробно об этом вы можете прочитать здесь — ссылка

Этот файл необходимо создать в корне вашего сайта  и прописать в нем некоторые строки. Так как я работаю на движке wordpress я буду писать именно о файле robots.txt для wordpress.

Итак. Если у вас еще нет этого файла на вашем блоге, то создайте его и поместите его в корень вашего блога на сервере.

Когда поисковый робот заходит на ваш блог, он сразу же ищет этот файл, потому что именно он указывает что индексировать на блоге можно, а что нельзя.

Так же он указывает на наличие sitemap.xml на сервере, если у вас нет и sitemap.xml, то это говорит о том, что вы еще новичок в блоговедении и вам следует почитать вот этот пост.

На блоге wordpress имеется куча папок которые не нужно индексировать поисковикам, поэтому можно сделать так, чтобы поисковик не тратил на них время а индексировал, только самое необходимое. Вы можете подумать, — «Ну и что, не мое же время».

А это очень важный момент, так как робот может устать индексировать всякую хрень и пропустить некоторые важные страницы вашего блога, так что советую придать файлу robots.txt особое внимание.

Как сделать файл robots.txt? Очень просто. Создайте у себя на рабочем столе текстовый файл robots.txt откройте его и пропишите следующее:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/

Вместо site.ru — укажите адрес вашего блога. Готово!

Не бойтесь, здесь все составлено четко, ваши посты в безопасности =))) Сами разработчики wordpress рекомендуют такой файл wordpress robots.txt. Ну вот и вы теперь знаете как составить правильный wordpress robots.txt! Успехов!!!

P.S. Как вам статья? Советую получать свежие статьи на e-mail, чтобы не пропустить информацию о новых бесплатных видеокурсах и конкурсах блога!

C уважением, Александр Борисов


Школа блоггеров А.Борисова

Школа блоггеров А.Борисова

Школа блоггеров А.Борисова
Этот блог читают уже более 6000 человек
- читай и ТЫ!
комментария 122
  1. Александр Борисов

    Не возможно сказать. Сложно ответить когда нет доступа к вашему сайту =)

    в 10:27 | Ответить
    • Дмитрий

      Здравствуйте, подскажите плз. а где взять этот файл, создать текстовый файл и назвать его robots.txt? Если не так, то можно подробней?

      в 15:55 | Ответить
      • Алексей

        Да, всё так и есть.

        в 12:59 | Ответить
    • Петр

      Поясните пожалуйста, как это на Вашем сайте файл robots.txt отличается от того, который Вы называете самым верным??? Вы что, обманываете людей??? Или Ваши знания не достоверны в видеокурсе?? Как поясните такое несовпадение??? Будьте добры, не оставляйте без ответа это сообщение, люди хотят знать правду

      в 21:10 | Ответить
  2. Ольга

    Александр, подскажите, а если у меня файл  robots.txt  уже настроен, он немного отличается от этого, следует ли мне его менять на этот? И нужно ли, как поисковый робот, будет заходить на мой сайт, если изменять этот файл? Каковы последствия?

    в 15:06 | Ответить
  3. Ольга

    И еще, Александр, Вы не знаете как уменьшить количество внутренних ссылок, чтоб их было меньше 100. Как убрать, так сказать дубликаты, дублирующие ссылки? Может статья у Вас есть? Поис на Вашем блоге, к сожалению, не нашла...(((

    в 15:58 | Ответить
  4. Елена

    Здравствуйте, Александр! Не  в  первый раз читаю  об этом файле,но, к моему сожалению, понять не могу."о создайте его и поместите его в корень вашего блога на сервере."  именно эта фраза ставит меня в тупик...

    Вижу, что посылают, но не знаю ( не понимаю) куда.   Где этот кореь находится на сервере ?

    Извините, даже стыдно спрашивать...такая  я непонятливая

    в 02:00 | Ответить
  5. Svetlanaot1do3

    Елена, не знаю, актуально ли для вас еще или уже разобрались. Посмотрела у вас на сайте robots.txt, но он у вас странного вида сейчас. Не понятно — вы так планировали или так получилось:)

    В общем, решила вам ответить. Мы ведь с вами выпускницы одной школы:)

    Вы уже почти уже достигли цели. Вы попали в правильное место — в «Файловый менеджере» —  папка /public_html.  Там выбираете файл- загрузить . И выбираете нужный файл. Все просто.

    в 01:01 | Ответить
  6. Иван

    Александр, у меня такой вопрос: robots.txt настроен точь в точь как у вас, но по данным программы «site-auditor 2.20+» мне говорят что правила robots.txt препятствуют индексации всего сайта... Может подскажете что не так???

    в 06:54 | Ответить
  7. mnemotex

    Александр как мне robots.txt установить в корень сайта

    в 10:52 | Ответить
  8. Нина

    Попробовала сделать так как Вы тут пишите:

    на рабочем столе сделала в блокноте этот файл, возник сразу вопрос в 33 строчке, у меня например блог с www, начинается, а как тогда в файле прописывать, с этой приставкой или без? Я поставила без нее. Загрузила в ту папку как Вы сказали. На этом все? И если блог с www. а на сервере робот без этой приставки, это ни на что не повлияет?

    в 07:24 | Ответить
  9. Альберт

    Нина здравствуйте. На сервере тоже должно быть  с WWW в файле robots.txt  если не хотите, что бы было зеркало сайта. =)

    в 20:53 | Ответить
  10. Валерий

    Александр, почему файл Robots.txt вашего сайта отличается от того, который вы советуете? Так какой лучше?

    в 07:57 | Ответить
  11. Евгений

    Трудно переоценить значение файла robots.txt для сайта.

    Рекомендуемый файл сильно отличается от файла на Вашем сайте.

    Пока объяснений нет, приходится только гадать — почему?

    в 21:12 | Ответить
  12. Sanchez

    скажите пожалуйста зачем закрывать теги Disallow: /tag ? они плохо влияют на продвижение? я всё хотел у вас спросить почему вы не ставите облоко тегов и меток ? оно оказывает плохое влияние?

    Спасибо

    в 21:43 | Ответить
    • Михед

      Если не закрывать теги, могут возникать дубли контента. Поисковые роботы отрицательно относятся к дублям.

      в 23:47 | Ответить
  13. Валерий

    После последнего апдейта Яндекса из индекса выпали все картинки моего сайта. Стал разбираться, написал в поддержку Яндекса. Мне указали на такую строчку в моем Robots.txt

    Disallow: /wp-content 

    Получается, я сам запретил ПС индексировать всю папку с контентом и картинки в частности.

    Эту строку я бездумно скопировал с нового Роботс у Александра.

    Вывод: используйте рекомендованный на этой странице Robots.txt. А если экспериментируете, то делайте это с умом. 😛

    
    

    в 09:07 | Ответить
  14. Markelo

    Посмотрел robots.txt у Вас на сайте. Немного отличается от приведенного в статье. Я понимаю, что на месте ничего не стоит. Происходят изменения, когда значительные ,а когда и нет.

    Меня больше всего интересует tag Закрывать или не закрывать?

    в 10:13 | Ответить
  15. kunet

    Хотелось бы получить ответ от автора поста , какой же роботс использовать?

    в 06:15 | Ответить
  16. Александр Борисов

    Ребята, поменял роботс в статье! Вот это изначально нормальный! Ну результат на лицо. У меня проблем нет раз посещаемость 3000 в сутки! 

    Используйте! Удачи! 

    в 21:37 | Ответить
  17. Александр Борисов

    Нина здесь ни какой рекламы не закрывается. Опять вы что-то выдумываете?  :-D

    Второй код в файле задает правила конкретно для робота Ядекса, а не для партнерки. 

    в 08:10 | Ответить
  18. михаил

    наконец нашел! всем  спасибо!

    в 16:50 | Ответить
  19. Александр

    Сделал как вы сказали. При проверке в яндекс пишет

    User-agent: *Обнаружена неизвестная директива

    Disallow: /wp-login.php Перед правилом нет директивы User-agent

    что и как ??? 

     

    в 18:02 | Ответить
    • Роман

      Александр, скачайте свой robots.txt на компьютер, откройте не в обычном блокноте, а в Notepad++ в верхнем меню «Кодировки» выберите пункт «Кодировать в UTF-8 (без BOM)», сохраните и залейте обратно в корень сайта. Проверьте в яндекс анализе robots.txt, всё должно быть хорошо. По крайней мере мне помогло.

      в 04:02 | Ответить
  20. Денис

    Александр, я конечно не спец в роботс, но предполагаю, что между User-agent: и * нет пробела, судя по всему проблема в этом.

    в 22:41 | Ответить
  21. Андрей

    Спасибо за статью, создал robots.txt по вашей статье

    в 08:54 | Ответить
  22. Нина

    Подскажите кто нибудь, как запретить в роботе индексировать статьи из рублики новости???

    в 05:36 | Ответить
  23. Илья

    Нина, это просто — соответствующая инструкция прописывается в robots.txt, где прописывается путь к рубрике —

    Disallow: /novosti/
    
    и был еще какой-то плагин, для запрета индексирования страниц или статей или рубрик 
    через мета-тег robots

    в 12:00 | Ответить
  24. Дмитрий

    Всегда интересовался, а зачем запрещать к индексации комментарии? Disallow: /comment

    в 18:30 | Ответить
  25. Fok

    Не для каждого блога полезно вносить в роботс это :

    Disallow: /*?*
    Disallow: /*?

    в 00:45 | Ответить
    • Сергей Куприянов

      Вообще-то, это одна и та же директива...

      Звёздочка, завершающая описание директивы может не указываться (по правилам составления директив)

      в 16:46 | Ответить
  26. Кирилл

    А обязательно ли закрывать категории? Многие пишут, что нужно закрыть все не нужные страницы (метки, архивы, постраничную навигацию), но категории оставить.

    в 00:19 | Ответить
  27. Елена Егорова

    Александр, подскажите, пожалуйста, как закрыть пост от индексации. Если я внесу адрес поста в файл Роботс это поможет? Дело в том, что я написала статью для конкурса на другой сайт, она там будет размещена полностью. Но я хочу эту статью и у себя на сайте опубликовать. Не стоит этого делать или все же можно ее спрятать от поисковиков, чтобы они не подумали, что это плагиат?

    в 23:15 | Ответить
  28. Дмитрий

    Не будем ничего выдумывать, возьмем ваш вариант. Спасибо, что вы есть!

    в 16:42 | Ответить
  29. Николай

    Александр, ну наконец-то...статья про robots.txt.

    Пока не знал об этом файле, естественно ничего в нем и не менял, потому что его просто-напросто не было. :) Но потом узнал...начал гуглить...как правильно составлять...насоставлял, что в один прекрасный день захожу в вебмастер яндекс и вижу что в индексации всего лишь 5 страниц! Меня всего перехватило [:-|] Уже месяц-полтора в индексации были 5-15 страниц, причем кол-во постоянно менялось. Сегодня, как какое то чудо, когда прочитал статью Вашу, заходу в вебмастер Яндекс — тадааам — 34 страницы =)Но дело в том, что я ничего не менял с того момента, как составил robots.

    Просто тогда я был уверен что правильно всё сделал, и надежду давало сообщение:

    «Сайт advisehow.ru не участвует в поиске, так как ранее наш робот получил полный запрет на его индексирование в Вашем файле robots.txt. В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз, после этого сообщение обновится.»

    Вот я ждал, ждал...но это всё равно еще не все страницы...буду надеяться на полное индексирование.

    в 06:39 | Ответить
  30. Светлана

    Добрый день!

    у меня есть рукодельный блог!

    подскажите пожалуйста по поводу файла robots.txt. У меня он верно настроен или нет??? я немного в этом не понимаю.

    в 12:44 | Ответить
  31. Алина

    Спасибо большое за статью. Еще вчера Яндекс писал, что мой сайт закрыт от индексации мета-тегом noindex. Вечером поменяла файл robots.txt на Ваш и о чудо. Сегодня Яндекс уже проиндексировал часть статей. Я новичок, может это и нормально, но я не ожидала, что так быстро.

    в 08:01 | Ответить
  32. Наталья

    Александр, можно ли поменять робот txt, когда сайту уже почти 6 месяцев?

    Не навредит ли ему это?

    Ответе пожалуйста, очень важен ваш ответ.

    в 04:35 | Ответить
    • Сергей Куприянов

      Файл robots.txt можно редактировать, это не зависит от возраста сайта...

      После редактирования нужно терпеливо ждать переиндексации...

      ======== :-|

      Лучший исход для сайта, когда в самом начале админ составил и залил свой актуальный файл robots.txt, но о составлении правильных директив новички не знают и практический опыт приобретается со временем. Поисковые системы проведут переиндексацию, они переиндексацию ведут регулярно, но на это нужно время и терпение админа...

      в 17:20 | Ответить
  33. Сергей Куприянов

    Такой шаблон файла robots.txt не может быть рекомендован разработчиками движка WordPress (как автор утверждает).

    Директивы, например, 2-3 и 20-21 — это просто абсурд, этими директивами закрываются от индексации страницы входа в админку (зачем такие страницы закрывать от индексации?)

    От индексации админ закрывает дубли доступа авторских страниц и «секретные» станицы... ;-)

    Я опубликовал свои советы по составлению актуального файла robots.txt, статья в свежих записях, предлагаю обсудить...

    в 16:59 | Ответить
  34. Дмитрий

    Все сделал правильно. Скопировал ваш, заменил ссылки, яндекс вебмастер упорно пишет при проверке внизу-

    1: User-agent: *

    Обнаружена неизвестная директива

    2: Disallow: /wp-login.php

    Перед правилом нет директивы User-agent

    Что это такое, не пойму

    в 10:20 | Ответить
  35. Оксана

    Не понятно только одно, зачем дважды прописывать User-agent: * (для всех роботов) и User-agent: Yandex (отдельно для Яндекса), по-моему для него отдельного приглашения никогда не требовалось

    в 17:50 | Ответить
    • Сергей Куприянов

      Если обе группы директив «для всех» и «для Яндекса» имеют одинаковый состав директив, то можно оставить только группу директив «для всех» (User-agent: * )

      ============ ;-)

      пункт №3 инструкции Яндекса по составлению директив для файла robots.txt

      в 16:40 | Ответить
  36. Николай Николаевич

    Так и не получил ответ по поводузакрытия\открытия тегов и категорий:- ( Не понятно, закрывать их или открывать? Я просто понимаю так. Записи все начинаю появлятся на главной странице, значит в первую очередь анонсы индексируются с главной, затем робот доходит к тегам и категориям, а там те же анонсы что и на главной! Выходят дубли? А если учесть что дублей не два, а три будет — так это вообще неприемлемо? :- ( Первый дубль с главной, второй с тегов (меток) и третий с категорий. Как быть?

    в 23:06 | Ответить
  37. Николай Николаевич

    Кстати у Вас я тоже смотрю дублей хватает, в индексе Яшки 590 страниц, а в гугле 18600. Или это нормально? 🙂

    в 23:07 | Ответить
  38. Серый

    Коментарии зачем прятать от поисковиков — это же автонаполняемый контент ! :)

    в 20:01 | Ответить
  39. Vastrale

    Эта Строчка для многих будет лишней.

    Disallow: /webstat/

    Как в моем случае.

    в 03:29 | Ответить
    • Алексей

      Хотелось бы узнать , почему лишней?

      в 23:54 | Ответить
  40. Евгений

    Александр, советую Вам в свой роботс.тхт вписать еще такое:

    Disallow: /xmlrpc.php

    Disallow: /template.html

    Disallow: /cgi-bin

    в 21:00 | Ответить
  41. Евгений

    Советую кстати всем еще вот это дописывать:

    User-agent: ia_archiver

    Disallow: /

    Таким образом вы закроете свой сайт от ВебАрхива, и тогда его никто не стырит у Вас. Есть проги, которые частично качают сайт с вебархива.

    в 17:32 | Ответить
  42. Вячеслав Балашов

    Подкорректировал свой robots.txt — посмотрим, что буде в ближайшее время :)

    в 23:05 | Ответить
  43. Дмитрий Чернявский

    Ознакомился со статьей, посмотрел robots.txt, впринцепи у меня такой же практически, внес кое-какие корективы, спасибо. :)

    в 19:56 | Ответить
  44. Денис

    Спасибо за статью!

    в 20:49 | Ответить
  45. Вячеслав Балашов

    Индексация улучшилась и посещаемость тоже :)

    Нужно открывать /tag для индексирования

    в 18:34 | Ответить
    • Евгений

      А как именно улучшилась? Боязно как-то открывать теги для индексации.

      в 10:32 | Ответить
      • Вячеслав Балашов

        Как ни странно, улучшилась в Гугле, а Яндекс не особо резво отреагировал.

        Например, у Анфисы Бреус. тоже стоит /tag в индексе.

        Тут только подойдет вариант добровольного эксперимента со своим robots.txt (чтобы никого потом не обвинять ;-) )

        в 10:52 | Ответить
  46. Юлия

    Здравствуйте,

    помогите разобраться c файлом робота, пож.

    Сделала файл на 26 строк для Яндекса и на 26 для всех остальных. Яндекс при проверке путем загрузки самого файла ошибок не находит и показывает все 26 строк, урлы при этом тоже корректно разрешаются-запрещаются к индексации. При загрузке с сайта видит только 3 строки и только 2 запрета:

    User-agent: *

    Disallow: /wp-admin/

    Disallow: /wp-includes/

    Та же картина, если файл переделать под запрет индексации вообще или убрать вовсе. Яндекс непреклонен 🙁

    В настройках приватности WP — Разрешить поисковым системам индексировать содержимое этого сайта (галка стоит).

    Я читала о похожей проблеме, что ВП сам генерит робота.

    Можете подсказать, почему так происходит? Версия — 3.4.2.

    Как сделать, чтобы яндекс видел мой файл? Заранее спасибо вам за помощь :)

    в 02:42 | Ответить
  47. Irina

    У меня яндекс хорошо индексировал все страницы. Потом хлоп! Прихлопнул и пишет, что документ запрещен в файле robots.txt. Прописала так ка вы рекомендуете. Посмотрю, что он мне теперь напишет.

    Спасибо.

    в 23:07 | Ответить
  48. Галина

    Почитала комментарии, аж страшно стало. Не дай боже, что-то слетит, я ж никогда в жизни в этой тарабарщине не разберусь. Ладно, когда зарабатываешь уже на блоге, там хоть есть чем заплатить тем, кто починить может. А если лимит вложений на этот месяц уже исчерпан и денег нет, то для меня это будет просто звездец.

    в 22:55 | Ответить
  49. Масксим

    Спасибо

    в 13:59 | Ответить
  50. Евгений

    Спасибо за подробную инструкцию! То, что искал!

    в 16:05 | Ответить
  51. Эльдар

    Здравствуйте, у меня проблема в индексацией, а именно с категориями. я в robots.txt прописал строку Disallow: /category/*/* но вот проблема гугл и яндекс индексируют категории. в чем может быть проблема?

    в 14:23 | Ответить
  52. Эльдар

    Оперативный ответ [:))] [:))]

    в 22:09 | Ответить
  53. Александр Шнякин

    Да, без робота никуда. Вроде плагин SEO Ultimate может с ним работать прям из админки блога. Так даже проще.

    в 18:13 | Ответить
  54. Эльдар

    Александр, так вы мне и не ответили на вопрос [:-|]

    Цитирую «Здравствуйте, у меня проблема в индексацией, а именно с категориями. я в robots.txt прописал строку Disallow: /category/*/* но вот проблема гугл и яндекс индексируют категории. в чем может быть проблема?» То есть категории индексируются!!!

    в 21:39 | Ответить
  55. Татьяна Саксон

    Интересно, отличается ли чем-то мой роботс. Пойду проверю...

    в 14:57 | Ответить
  56. Карина

    Вот набрела на вашу статью вовремя. У меня сайт проработал месяц, но я не могла избавиться от внешних ссылок с шаблона, при редакции сразу выскакивала синтаксическая ошибка. Теперь я поменяла тему, но при анализе сайта показывает отсутствие файла robot.txt. Но у меня работает карта сайта и проиндексированы 18 страниц. Как быть. Если я удалю и установлю снова мой сайт не пострадает? Помогите пожалуйста! Я только учусь и здорово, что есть знающие люди. Может прислать содержимое файла?

    в 14:29 | Ответить
  57. Евгений

    Сделал все так, как Вы сказали. Только вот не знаю, а теги можно оставлять индексировать?

    в 02:50 | Ответить
  58. Максим

    Подскажите, пожалуйста, как правильно в robots запретить индексацию страницы, созданной в админке WordPress через пункт «Страницы» ?

    в 09:12 | Ответить
  59. Димитрий

    Спасибо за подробную инструкцию! То, что искал у вас нашел то что надо!

    в 22:57 | Ответить
  60. Виталий

    Привет этот робот стоит у меня с самого начала и яндекс не индексирует страницы моего сайта кроме 2 , что мне для этого сделать , подскажите пожалуйсто!!!!!!! Напишите мне на маил или как вам будет удобнее!!!

    в 15:29 | Ответить
  61. Олег

    По-мойму у вас ошибка в файле robots.txt

    В школе start-up Евгений Ходченко говорил — ЧТО не должно быть пробела вот здесь, ниже смотреть!

    Disallow: /comments

    User-agent: Yandex

    в 23:03 | Ответить
  62. Артём

    Полезная статья, особенно новичкам

    в 17:52 | Ответить
  63. Влад

    Здравствуйте, Александр! С удовольствием читаю Ваш блог, очень много полезного и качественного материала. Спасибо! Но у меня к Вам вопрос, насчет индексации, и это связано со следующим: я вижу (наверное) у вас на сайте закрыт от индексации сайдбар. Как это сделано? Как закрыть от поисковиков ненужный контент в сайдбаре? Заранее спасибо!

    в 09:36 | Ответить
  64. Наталия

    Проверила свой robots и оказалось, что не было указано названия сайта! Поэтому валидатор указывает много дублей?

    в 18:53 | Ответить
  65. Василий

    вот блин, а я и забыл о роботсе, надо не только создать его, но и рассказать своим читателям о нем.! [good]

    в 17:56 | Ответить
  66. Марат

    Александр, статья Ваша написано давно, и здесь все уже в начале прописали свои тхт, и не понятно ничего,чей тхт правильный, и пойдет ли он на мой блог

    в 17:09 | Ответить
  67. Марат

    Уже голова идет кругом, кто то пишет так кто-то вообще по другому, и самое главное все авторитеты, Была не была поставлю как у Вас Александр и пойду дальше, а то почти сутки потерял. я надеюсь он у Вас правильный. :)

    в 18:08 | Ответить
  68. бабуля Марата

    Я тоже сколько не пыталась понять , но не смогла

    в 17:09 | Ответить
  69. брат Марата

    Ничего сложного нет , все написано понятным языком, скачиваете робота и кидаете в корневую папку, все!

    в 17:12 | Ответить
  70. roman

    блог конечно красивый — и оформлено все здорово у Вас , но копировать сам код — неудобно совсем , вставляется без переходов на новую строку.

    в 13:56 | Ответить
    • Александр Быкадоров

      Все там нормально копируется, уж извините — не сочиняйте ))

      в 01:22 | Ответить
  71. Евгений

    Если на сайте присутствуют неопубликованные статьи, они могут проиндексироваться ПС? Такой robots.txt как у вас не скрывает такие статьи? Если нет, то тогда как скрыть такие статьи, или даже лучше определённую рубрику, поскольку таких статей может быть несколько и их можно поместить скажем в рубрику «черновик».

    в 17:23 | Ответить
  72. Игорь

    Этот робот не правильный

    Что бы закрыть категорию от индексирования нужно прописать Disallow: /категория

    Так же робот настроен на все поисковики, по мне так лучше сделать отдельными кусками

    в 13:02 | Ответить
  73. Я не Марат

    У меня тоже не получилось настроить себе на сайт этот роботс.тхт

    в 19:01 | Ответить
  74. Артём

    Александр даёт столько полезной информации, и всё это абсолютно беплатно =)

    Спасибо Саше, что он есть [good]

    в 18:06 | Ответить
  75. Марат-2

    А у меня всё получилось с первого раза!

    в 19:22 | Ответить
  76. Марат Боярский

    Тысячу чертей! Снимаю шляпу перед автором, господа! Мне очень помогла эта статья!

    в 20:02 | Ответить
  77. Эдуард

    Все делаю как написано ТИЦ уже на 10 поднялся, PR 1, а вот с индексацией в Яндекс проблема

    в 15:13 | Ответить
  78. Ольга

    Еле дочитала до конца. Мелькающая реклама справа — не лучшее для глаз читателей блога.

    в 17:03 | Ответить
  79. Сергей Черняев

    Спасибо! Очень полезная информация, а главное вовремя. Давно искал исчерпывающую информацию о robot.txt в одном месте и конкретно. А также верю что информация достоверная, так как смотрю на показатели ресурса. Просто я тут понастроил robot.txt, что закрыл кучу страниц от индексации. Спасибо Борис, что помогли разгрести эту кашу ))))

    в 15:25 | Ответить
  80. Сергей

    У всех разные мнения.Идеального решения не бывает.

    в 23:50 | Ответить
  81. Андрей

    Спасибо, за статью очень полезная информация. А главное всё понятно и доступно!

    в 18:53 | Ответить
  82. Александр Василенко

    А у меня почему то картинки не индексируются. Что может быть не так? Робот сделал себе такой же.

    в 23:22 | Ответить
    • Nestor

      Пропишите Allow: /wp-content/uploads/

      в 13:20 | Ответить
  83. Александр

    Настройка robots.txt — неотъемлемая часть оптимизации сайта!

    в 18:02 | Ответить
  84. Евгений

    Да robots очень важная штука для сайта, надо внимательно отнестись к его настройке!

    в 09:35 | Ответить
  85. Евгений

    работает)))

    в 15:43 | Ответить
  86. Vasiliy

    Здравствуйте Александр! Спасибо за ваш очень полезный блог! Вот провожу ревизию Robots.txt и не только. Скажите пожалуйста тот файл Robots.txt который у вас указан он не устарел? Ничего ли не нужно сейчас добавлять? Я просто случайно удалил свой старый Robots.txt, а теперь заново делаю. Но у меня этот файл побольше был, там теги, комментарии закрыты были, страница "Все статьи" тоже. Яндекс индексировал у меня все страницы и записи, без проблем. Вот сейчас взял ваш вариант, но он покороче.

    Скажите пожалуйста не нужно закрывать отдельно комментарии, теги, категории и т.д.?

    Почему спрашиваю, статья датируется 2010 годом.

    Спасибо!

    в 17:11 | Ответить
  87. Сергей

    Поставил ваш правильный РОБОТС и после апа повылазило все лишнее, в особенности Page как это исправить?

    в 11:13 | Ответить
  88. Блогозапись

    Александр я хочу спросить у тебя, а этот robots.txt точно правильный, просто ты в одном из постов про дубли написал было там тоже про robots. Ничего не имею просто, хочу узнать которую надо использовать?

    в 20:50 | Ответить
  89. Рафис

    Спасибо за короткое и ясное пояснение.

    в 18:04 | Ответить
  90. Алексей

    Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?

    в 13:06 | Ответить
  91. Константин

    Саня, а почему у тебя стоит совсем другой robots.txt, ты его даешь в статье про дубли реплитуком. Эта статья устарела, или этот robots самый правильный?

    в 14:00 | Ответить
    • Жандос Мукатаев

      Здравствуйте!

      Это старая статья, поэтому вы можете не получить ответа на свой вопрос. Напишите в службу поддержки!

      в 14:14 | Ответить
  92. Александр

    Александр добрый день! Могли бы вы посмотреть на моем сайте aleksandrkorotkiy.com файл robots.txt почему то Яндекс все странички с моим контентом который я писал добавил в Исключенные страницы с ошибкой HTTP-статус: Доступ к ресурсу запрещён (403).

    Что это может значить и как это исправить ??

    Я бы вам был очень признателен за ответ.

    Спасибо!

    в 19:08 | Ответить
  93. Александр

    А в директиве Host адрес сайта надо прописывать с www. ??

    в 20:05 | Ответить
  94. Александр

    незнаю, я стараюсь нетрогать робот, тем более он у меня на дле лежит, вроде автоматом неплохо все идет

    в 21:25 | Ответить
  95. Ришат

    В поздних статьях Вы советуете открывать все для поисковых роботов, а здесь все наоборот. Как понять такую не стыковку? :)

    в 15:29 | Ответить
  96. Рашид

    Я так понимаю надо robots.txt делать по новой статье.

    в 09:59 | Ответить
  97. Илья

    А почему у вас на сайте он другой? Вы намеренно не самый правильный вариант используете? :-D

    в 20:15 | Ответить
  98. Ольга Happy

    Подскажите, пожалуйста, до сегодняшнего дня все было нормально, в роботсе давно не лазила, нчиего не исправляла. Сегодня зашла в гугл-вебмастер и там меня встретила сообщение от 6 сентября : что нет доступа к wp-content/uploads/2015/08/

    что это может значить? нет доступа к картинкам? в роботсе доступ открыт...

    в 16:10 | Ответить
  99. Руслан

    РЕБЯТАААА ГЛЯНЬТЕ НА ДАТУ ПОСТА!!!!!

    2010 год... На самом деле в роботсе добавилось больше строк...

    в 02:03 | Ответить
  100. Анатолий

    Здорово! Теперь и у меня будет правильный рообот.тхт на сайте!!! [good]

    в 12:55 | Ответить
  101. Анатолий

    Здорово! Теперь и у меня будет правильный рообот.тхт на сайте!!! [good] ;-) :)

    в 13:17 | Ответить
  102. online Vasiliy

    Ну наконец то я нашёл то что нужно для правильного составления роботс для wp.Здорово что есть люди которые могут помочь.

    в 17:32 | Ответить
Оставить комментарий: (ПРОЧТИ ЭТО!!!)
:) :-D ;-) :-| [star] [good] [present] [flower] [:-))] [:))] [:--_)] [:-|]