Здравствуйте друзья! WordPress robots.txt — файл ограничения доступа к содержимому на вашем блоге, сайте и т.д. Более подробно об этом вы можете прочитать здесь — ссылка
Этот файл необходимо создать в корне вашего сайта и прописать в нем некоторые строки. Так как я работаю на движке wordpress я буду писать именно о файле robots.txt для wordpress.
Итак. Если у вас еще нет этого файла на вашем блоге, то создайте его и поместите его в корень вашего блога на сервере.
Когда поисковый робот заходит на ваш блог, он сразу же ищет этот файл, потому что именно он указывает что индексировать на блоге можно, а что нельзя.
Так же он указывает на наличие sitemap.xml на сервере, если у вас нет и sitemap.xml, то это говорит о том, что вы еще новичок в блоговедении и вам следует почитать вот этот пост.
На блоге wordpress имеется куча папок которые не нужно индексировать поисковикам, поэтому можно сделать так, чтобы поисковик не тратил на них время а индексировал, только самое необходимое. Вы можете подумать, — «Ну и что, не мое же время».
А это очень важный момент, так как робот может устать индексировать всякую хрень и пропустить некоторые важные страницы вашего блога, так что советую придать файлу robots.txt особое внимание.
Как сделать файл robots.txt? Очень просто. Создайте у себя на рабочем столе текстовый файл robots.txt откройте его и пропишите следующее:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
Вместо site.ru — укажите адрес вашего блога. Готово!
Не бойтесь, здесь все составлено четко, ваши посты в безопасности =))) Сами разработчики wordpress рекомендуют такой файл wordpress robots.txt. Ну вот и вы теперь знаете как составить правильный wordpress robots.txt! Успехов!!!
P.S. Как вам статья? Советую получать свежие статьи на e-mail, чтобы не пропустить информацию о новых бесплатных видеокурсах и конкурсах блога!
C уважением, Александр Борисов
Не возможно сказать. Сложно ответить когда нет доступа к вашему сайту =)
Здравствуйте, подскажите плз. а где взять этот файл, создать текстовый файл и назвать его robots.txt? Если не так, то можно подробней?
Да, всё так и есть.
Поясните пожалуйста, как это на Вашем сайте файл robots.txt отличается от того, который Вы называете самым верным??? Вы что, обманываете людей??? Или Ваши знания не достоверны в видеокурсе?? Как поясните такое несовпадение??? Будьте добры, не оставляйте без ответа это сообщение, люди хотят знать правду
Александр, подскажите, а если у меня файл robots.txt уже настроен, он немного отличается от этого, следует ли мне его менять на этот? И нужно ли, как поисковый робот, будет заходить на мой сайт, если изменять этот файл? Каковы последствия?
И еще, Александр, Вы не знаете как уменьшить количество внутренних ссылок, чтоб их было меньше 100. Как убрать, так сказать дубликаты, дублирующие ссылки? Может статья у Вас есть? Поис на Вашем блоге, к сожалению, не нашла...(((
Здравствуйте, Александр! Не в первый раз читаю об этом файле,но, к моему сожалению, понять не могу."о создайте его и поместите его в корень вашего блога на сервере." именно эта фраза ставит меня в тупик...
Вижу, что посылают, но не знаю ( не понимаю) куда. Где этот кореь находится на сервере ?
Извините, даже стыдно спрашивать...такая я непонятливая
Елена, не знаю, актуально ли для вас еще или уже разобрались. Посмотрела у вас на сайте robots.txt, но он у вас странного вида сейчас. Не понятно — вы так планировали или так получилось:)
В общем, решила вам ответить. Мы ведь с вами выпускницы одной школы:)
Вы уже почти уже достигли цели. Вы попали в правильное место — в «Файловый менеджере» — папка /public_html. Там выбираете файл- загрузить . И выбираете нужный файл. Все просто.
Александр, у меня такой вопрос: robots.txt настроен точь в точь как у вас, но по данным программы «site-auditor 2.20+» мне говорят что правила robots.txt препятствуют индексации всего сайта... Может подскажете что не так???
Александр как мне robots.txt установить в корень сайта
Попробовала сделать так как Вы тут пишите:
на рабочем столе сделала в блокноте этот файл, возник сразу вопрос в 33 строчке, у меня например блог с www, начинается, а как тогда в файле прописывать, с этой приставкой или без? Я поставила без нее. Загрузила в ту папку как Вы сказали. На этом все? И если блог с www. а на сервере робот без этой приставки, это ни на что не повлияет?
Нина здравствуйте. На сервере тоже должно быть с WWW в файле robots.txt если не хотите, что бы было зеркало сайта. =)
Александр, почему файл Robots.txt вашего сайта отличается от того, который вы советуете? Так какой лучше?
Трудно переоценить значение файла robots.txt для сайта.
Рекомендуемый файл сильно отличается от файла на Вашем сайте.
Пока объяснений нет, приходится только гадать — почему?
скажите пожалуйста зачем закрывать теги Disallow: /tag ? они плохо влияют на продвижение? я всё хотел у вас спросить почему вы не ставите облоко тегов и меток ? оно оказывает плохое влияние?
Спасибо
Если не закрывать теги, могут возникать дубли контента. Поисковые роботы отрицательно относятся к дублям.
После последнего апдейта Яндекса из индекса выпали все картинки моего сайта. Стал разбираться, написал в поддержку Яндекса. Мне указали на такую строчку в моем Robots.txt
Получается, я сам запретил ПС индексировать всю папку с контентом и картинки в частности.
Эту строку я бездумно скопировал с нового Роботс у Александра.
Вывод: используйте рекомендованный на этой странице Robots.txt. А если экспериментируете, то делайте это с умом. 😛
Посмотрел robots.txt у Вас на сайте. Немного отличается от приведенного в статье. Я понимаю, что на месте ничего не стоит. Происходят изменения, когда значительные ,а когда и нет.
Меня больше всего интересует tag Закрывать или не закрывать?
Хотелось бы получить ответ от автора поста , какой же роботс использовать?
Ребята, поменял роботс в статье! Вот это изначально нормальный! Ну результат на лицо. У меня проблем нет раз посещаемость 3000 в сутки!
Используйте! Удачи!
Нина здесь ни какой рекламы не закрывается. Опять вы что-то выдумываете? 😀
Второй код в файле задает правила конкретно для робота Ядекса, а не для партнерки.
наконец нашел! всем спасибо!
Сделал как вы сказали. При проверке в яндекс пишет
User-agent: *Обнаружена неизвестная директива
Disallow: /wp-login.php Перед правилом нет директивы User-agent
что и как ???
Александр, скачайте свой robots.txt на компьютер, откройте не в обычном блокноте, а в Notepad++ в верхнем меню «Кодировки» выберите пункт «Кодировать в UTF-8 (без BOM)», сохраните и залейте обратно в корень сайта. Проверьте в яндекс анализе robots.txt, всё должно быть хорошо. По крайней мере мне помогло.
Александр, я конечно не спец в роботс, но предполагаю, что между User-agent: и * нет пробела, судя по всему проблема в этом.
Спасибо за статью, создал robots.txt по вашей статье
Подскажите кто нибудь, как запретить в роботе индексировать статьи из рублики новости???
Нина, это просто — соответствующая инструкция прописывается в robots.txt, где прописывается путь к рубрике —
Всегда интересовался, а зачем запрещать к индексации комментарии? Disallow: /comment
Не для каждого блога полезно вносить в роботс это :
Вообще-то, это одна и та же директива...
Звёздочка, завершающая описание директивы может не указываться (по правилам составления директив)
А обязательно ли закрывать категории? Многие пишут, что нужно закрыть все не нужные страницы (метки, архивы, постраничную навигацию), но категории оставить.
Александр, подскажите, пожалуйста, как закрыть пост от индексации. Если я внесу адрес поста в файл Роботс это поможет? Дело в том, что я написала статью для конкурса на другой сайт, она там будет размещена полностью. Но я хочу эту статью и у себя на сайте опубликовать. Не стоит этого делать или все же можно ее спрятать от поисковиков, чтобы они не подумали, что это плагиат?
Не будем ничего выдумывать, возьмем ваш вариант. Спасибо, что вы есть!
Александр, ну наконец-то...статья про robots.txt.
Пока не знал об этом файле, естественно ничего в нем и не менял, потому что его просто-напросто не было. 🙂 Но потом узнал...начал гуглить...как правильно составлять...насоставлял, что в один прекрасный день захожу в вебмастер яндекс и вижу что в индексации всего лишь 5 страниц! Меня всего перехватило [:-|] Уже месяц-полтора в индексации были 5-15 страниц, причем кол-во постоянно менялось. Сегодня, как какое то чудо, когда прочитал статью Вашу, заходу в вебмастер Яндекс — тадааам — 34 страницы =)Но дело в том, что я ничего не менял с того момента, как составил robots.
Просто тогда я был уверен что правильно всё сделал, и надежду давало сообщение:
«Сайт advisehow.ru не участвует в поиске, так как ранее наш робот получил полный запрет на его индексирование в Вашем файле robots.txt. В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз, после этого сообщение обновится.»
Вот я ждал, ждал...но это всё равно еще не все страницы...буду надеяться на полное индексирование.
Добрый день!
у меня есть рукодельный блог!
подскажите пожалуйста по поводу файла robots.txt. У меня он верно настроен или нет??? я немного в этом не понимаю.
Спасибо большое за статью. Еще вчера Яндекс писал, что мой сайт закрыт от индексации мета-тегом noindex. Вечером поменяла файл robots.txt на Ваш и о чудо. Сегодня Яндекс уже проиндексировал часть статей. Я новичок, может это и нормально, но я не ожидала, что так быстро.
Александр, можно ли поменять робот txt, когда сайту уже почти 6 месяцев?
Не навредит ли ему это?
Ответе пожалуйста, очень важен ваш ответ.
Файл robots.txt можно редактировать, это не зависит от возраста сайта...
После редактирования нужно терпеливо ждать переиндексации...
======== 😐
Лучший исход для сайта, когда в самом начале админ составил и залил свой актуальный файл robots.txt, но о составлении правильных директив новички не знают и практический опыт приобретается со временем. Поисковые системы проведут переиндексацию, они переиндексацию ведут регулярно, но на это нужно время и терпение админа...
Такой шаблон файла robots.txt не может быть рекомендован разработчиками движка WordPress (как автор утверждает).
Директивы, например, 2-3 и 20-21 — это просто абсурд, этими директивами закрываются от индексации страницы входа в админку (зачем такие страницы закрывать от индексации?)
От индексации админ закрывает дубли доступа авторских страниц и «секретные» станицы... 😉
Я опубликовал свои советы по составлению актуального файла robots.txt, статья в свежих записях, предлагаю обсудить...
Все сделал правильно. Скопировал ваш, заменил ссылки, яндекс вебмастер упорно пишет при проверке внизу-
1: User-agent: *
Обнаружена неизвестная директива
2: Disallow: /wp-login.php
Перед правилом нет директивы User-agent
Что это такое, не пойму
Не понятно только одно, зачем дважды прописывать User-agent: * (для всех роботов) и User-agent: Yandex (отдельно для Яндекса), по-моему для него отдельного приглашения никогда не требовалось
Если обе группы директив «для всех» и «для Яндекса» имеют одинаковый состав директив, то можно оставить только группу директив «для всех» (User-agent: * )
============ 😉
пункт №3 инструкции Яндекса по составлению директив для файла robots.txt
Так и не получил ответ по поводузакрытияоткрытия тегов и категорий:- ( Не понятно, закрывать их или открывать? Я просто понимаю так. Записи все начинаю появлятся на главной странице, значит в первую очередь анонсы индексируются с главной, затем робот доходит к тегам и категориям, а там те же анонсы что и на главной! Выходят дубли? А если учесть что дублей не два, а три будет — так это вообще неприемлемо? :- ( Первый дубль с главной, второй с тегов (меток) и третий с категорий. Как быть?
Кстати у Вас я тоже смотрю дублей хватает, в индексе Яшки 590 страниц, а в гугле 18600. Или это нормально? 🙂
Коментарии зачем прятать от поисковиков — это же автонаполняемый контент ! 🙂
Эта Строчка для многих будет лишней.
Disallow: /webstat/
Как в моем случае.
Хотелось бы узнать , почему лишней?
Александр, советую Вам в свой роботс.тхт вписать еще такое:
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Советую кстати всем еще вот это дописывать:
User-agent: ia_archiver
Disallow: /
Таким образом вы закроете свой сайт от ВебАрхива, и тогда его никто не стырит у Вас. Есть проги, которые частично качают сайт с вебархива.
Подкорректировал свой robots.txt — посмотрим, что буде в ближайшее время 🙂
Ознакомился со статьей, посмотрел robots.txt, впринцепи у меня такой же практически, внес кое-какие корективы, спасибо. 🙂
Спасибо за статью!
Индексация улучшилась и посещаемость тоже 🙂
Нужно открывать /tag для индексирования
А как именно улучшилась? Боязно как-то открывать теги для индексации.
Как ни странно, улучшилась в Гугле, а Яндекс не особо резво отреагировал.
Например, у Анфисы Бреус. тоже стоит /tag в индексе.
Тут только подойдет вариант добровольного эксперимента со своим robots.txt (чтобы никого потом не обвинять 😉 )
Здравствуйте,
помогите разобраться c файлом робота, пож.
Сделала файл на 26 строк для Яндекса и на 26 для всех остальных. Яндекс при проверке путем загрузки самого файла ошибок не находит и показывает все 26 строк, урлы при этом тоже корректно разрешаются-запрещаются к индексации. При загрузке с сайта видит только 3 строки и только 2 запрета:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Та же картина, если файл переделать под запрет индексации вообще или убрать вовсе. Яндекс непреклонен 🙁
В настройках приватности WP — Разрешить поисковым системам индексировать содержимое этого сайта (галка стоит).
Я читала о похожей проблеме, что ВП сам генерит робота.
Можете подсказать, почему так происходит? Версия — 3.4.2.
Как сделать, чтобы яндекс видел мой файл? Заранее спасибо вам за помощь 🙂
У меня яндекс хорошо индексировал все страницы. Потом хлоп! Прихлопнул и пишет, что документ запрещен в файле robots.txt. Прописала так ка вы рекомендуете. Посмотрю, что он мне теперь напишет.
Спасибо.
Почитала комментарии, аж страшно стало. Не дай боже, что-то слетит, я ж никогда в жизни в этой тарабарщине не разберусь. Ладно, когда зарабатываешь уже на блоге, там хоть есть чем заплатить тем, кто починить может. А если лимит вложений на этот месяц уже исчерпан и денег нет, то для меня это будет просто звездец.
Спасибо
Спасибо за подробную инструкцию! То, что искал!
Здравствуйте, у меня проблема в индексацией, а именно с категориями. я в robots.txt прописал строку Disallow: /category/*/* но вот проблема гугл и яндекс индексируют категории. в чем может быть проблема?
Оперативный ответ [:))] [:))]
Да, без робота никуда. Вроде плагин SEO Ultimate может с ним работать прям из админки блога. Так даже проще.
Александр, так вы мне и не ответили на вопрос [:-|]
Цитирую «Здравствуйте, у меня проблема в индексацией, а именно с категориями. я в robots.txt прописал строку Disallow: /category/*/* но вот проблема гугл и яндекс индексируют категории. в чем может быть проблема?» То есть категории индексируются!!!
Интересно, отличается ли чем-то мой роботс. Пойду проверю...
Вот набрела на вашу статью вовремя. У меня сайт проработал месяц, но я не могла избавиться от внешних ссылок с шаблона, при редакции сразу выскакивала синтаксическая ошибка. Теперь я поменяла тему, но при анализе сайта показывает отсутствие файла robot.txt. Но у меня работает карта сайта и проиндексированы 18 страниц. Как быть. Если я удалю и установлю снова мой сайт не пострадает? Помогите пожалуйста! Я только учусь и здорово, что есть знающие люди. Может прислать содержимое файла?
Сделал все так, как Вы сказали. Только вот не знаю, а теги можно оставлять индексировать?
Подскажите, пожалуйста, как правильно в robots запретить индексацию страницы, созданной в админке WordPress через пункт «Страницы» ?
Спасибо за подробную инструкцию! То, что искал у вас нашел то что надо!
Привет этот робот стоит у меня с самого начала и яндекс не индексирует страницы моего сайта кроме 2 , что мне для этого сделать , подскажите пожалуйсто!!!!!!! Напишите мне на маил или как вам будет удобнее!!!
По-мойму у вас ошибка в файле robots.txt
В школе start-up Евгений Ходченко говорил — ЧТО не должно быть пробела вот здесь, ниже смотреть!
Disallow: /comments
User-agent: Yandex
Полезная статья, особенно новичкам
Здравствуйте, Александр! С удовольствием читаю Ваш блог, очень много полезного и качественного материала. Спасибо! Но у меня к Вам вопрос, насчет индексации, и это связано со следующим: я вижу (наверное) у вас на сайте закрыт от индексации сайдбар. Как это сделано? Как закрыть от поисковиков ненужный контент в сайдбаре? Заранее спасибо!
Проверила свой robots и оказалось, что не было указано названия сайта! Поэтому валидатор указывает много дублей?
вот блин, а я и забыл о роботсе, надо не только создать его, но и рассказать своим читателям о нем.! [good]
Александр, статья Ваша написано давно, и здесь все уже в начале прописали свои тхт, и не понятно ничего,чей тхт правильный, и пойдет ли он на мой блог
Уже голова идет кругом, кто то пишет так кто-то вообще по другому, и самое главное все авторитеты, Была не была поставлю как у Вас Александр и пойду дальше, а то почти сутки потерял. я надеюсь он у Вас правильный. 🙂
Я тоже сколько не пыталась понять , но не смогла
Ничего сложного нет , все написано понятным языком, скачиваете робота и кидаете в корневую папку, все!
блог конечно красивый — и оформлено все здорово у Вас , но копировать сам код — неудобно совсем , вставляется без переходов на новую строку.
Все там нормально копируется, уж извините — не сочиняйте ))
Если на сайте присутствуют неопубликованные статьи, они могут проиндексироваться ПС? Такой robots.txt как у вас не скрывает такие статьи? Если нет, то тогда как скрыть такие статьи, или даже лучше определённую рубрику, поскольку таких статей может быть несколько и их можно поместить скажем в рубрику «черновик».
Этот робот не правильный
Что бы закрыть категорию от индексирования нужно прописать Disallow: /категория
Так же робот настроен на все поисковики, по мне так лучше сделать отдельными кусками
У меня тоже не получилось настроить себе на сайт этот роботс.тхт
Александр даёт столько полезной информации, и всё это абсолютно беплатно =)
Спасибо Саше, что он есть [good]
А у меня всё получилось с первого раза!
Тысячу чертей! Снимаю шляпу перед автором, господа! Мне очень помогла эта статья!
Все делаю как написано ТИЦ уже на 10 поднялся, PR 1, а вот с индексацией в Яндекс проблема
Еле дочитала до конца. Мелькающая реклама справа — не лучшее для глаз читателей блога.
Спасибо! Очень полезная информация, а главное вовремя. Давно искал исчерпывающую информацию о robot.txt в одном месте и конкретно. А также верю что информация достоверная, так как смотрю на показатели ресурса. Просто я тут понастроил robot.txt, что закрыл кучу страниц от индексации. Спасибо Борис, что помогли разгрести эту кашу ))))
У всех разные мнения.Идеального решения не бывает.
Спасибо, за статью очень полезная информация. А главное всё понятно и доступно!
А у меня почему то картинки не индексируются. Что может быть не так? Робот сделал себе такой же.
Пропишите Allow: /wp-content/uploads/
Настройка robots.txt — неотъемлемая часть оптимизации сайта!
Да robots очень важная штука для сайта, надо внимательно отнестись к его настройке!
работает)))
Здравствуйте Александр! Спасибо за ваш очень полезный блог! Вот провожу ревизию Robots.txt и не только. Скажите пожалуйста тот файл Robots.txt который у вас указан он не устарел? Ничего ли не нужно сейчас добавлять? Я просто случайно удалил свой старый Robots.txt, а теперь заново делаю. Но у меня этот файл побольше был, там теги, комментарии закрыты были, страница "Все статьи" тоже. Яндекс индексировал у меня все страницы и записи, без проблем. Вот сейчас взял ваш вариант, но он покороче.
Скажите пожалуйста не нужно закрывать отдельно комментарии, теги, категории и т.д.?
Почему спрашиваю, статья датируется 2010 годом.
Спасибо!
Поставил ваш правильный РОБОТС и после апа повылазило все лишнее, в особенности Page как это исправить?
Александр я хочу спросить у тебя, а этот robots.txt точно правильный, просто ты в одном из постов про дубли написал было там тоже про robots. Ничего не имею просто, хочу узнать которую надо использовать?
Спасибо за короткое и ясное пояснение.
Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?
Саня, а почему у тебя стоит совсем другой robots.txt, ты его даешь в статье про дубли реплитуком. Эта статья устарела, или этот robots самый правильный?
Здравствуйте!
Это старая статья, поэтому вы можете не получить ответа на свой вопрос. Напишите в службу поддержки!
Александр добрый день! Могли бы вы посмотреть на моем сайте aleksandrkorotkiy.com файл robots.txt почему то Яндекс все странички с моим контентом который я писал добавил в Исключенные страницы с ошибкой HTTP-статус: Доступ к ресурсу запрещён (403).
Что это может значить и как это исправить ??
Я бы вам был очень признателен за ответ.
Спасибо!
А в директиве Host адрес сайта надо прописывать с www. ??
незнаю, я стараюсь нетрогать робот, тем более он у меня на дле лежит, вроде автоматом неплохо все идет
В поздних статьях Вы советуете открывать все для поисковых роботов, а здесь все наоборот. Как понять такую не стыковку? 🙂
Я так понимаю надо robots.txt делать по новой статье.
А почему у вас на сайте он другой? Вы намеренно не самый правильный вариант используете? 😀
Подскажите, пожалуйста, до сегодняшнего дня все было нормально, в роботсе давно не лазила, нчиего не исправляла. Сегодня зашла в гугл-вебмастер и там меня встретила сообщение от 6 сентября : что нет доступа к wp-content/uploads/2015/08/
что это может значить? нет доступа к картинкам? в роботсе доступ открыт...
РЕБЯТАААА ГЛЯНЬТЕ НА ДАТУ ПОСТА!!!!!
2010 год... На самом деле в роботсе добавилось больше строк...
Здорово! Теперь и у меня будет правильный рообот.тхт на сайте!!! [good]
Здорово! Теперь и у меня будет правильный рообот.тхт на сайте!!! [good] 😉 🙂
Ну наконец то я нашёл то что нужно для правильного составления роботс для wp.Здорово что есть люди которые могут помочь.
Александр приветствую. У вас же на хостинге есть бесплатный Ssl протокол, сделайте свой сайт с зеленым замочком.
10 лет назад создал статью и говоришь что самый правильный robots.txt?) Уже за 10 лет всё поменялось наверно) Может свежую статью напишите?)