Профессиональное обучение
блоггингу от А до Я

Как найти дубли страниц на wordpress блоге и почему все наши robots.txt НЕ ПРАВИЛЬНЫЕ!!!

Как найти дубли страниц

Ребята всем привет! С вами снова Александр Борисов. Ну как вам моя прошлая статья? Мощь? Ну тогда получите еще одну! Не менее мощную. Кучу дублей replytocom вы нашли, это хорошо!

Вот сегодня найдете еще кучу других дублей, которые так же убивают, отравляют ваш блог и плодятся эти дубли все быстрее и быстрее с каждым днем...

Вообще! То что я сейчас расскажу в этой статье это фишки взятые из курса Как стать блоггером тысячником 3.0 и по идее я не хотел писать эту статью, выставляя ее на всеобщее обозрение. Как говориться, не хотел палить тему. НО! Посидев, подумав, я пришел к выводу, что это просто необходимо сделать.

Почему? А потому что после статьи про дубли replytocom я увидел, что многие начали тупо копировать мой файл robots.txt и думать, что теперь у них все будет в шоколаде. Смотреть на это просто так я не могу, так что приходится вот этой статьей спасать тех засранцев, которые скопировали мой роботс даже ни о чем не думая.

Ну да ладно, в курсе 3.0 есть и так много интересных и полезных фишек. Все естественно на блоге этом спалены никогда не будут.

Итак ок! Поехали. Вспоминаем идею моей прошлой статьи про дубли replytocom. Идея заключается в том, что не надо закрывать в robots.txt доступ к чему либо на блоге. Мы наоборот все открываем, мол, — «Привет робот заходи, все смотри», он приходит и видит метатег:

<meta name='robots' content='noindex,follow' />

Таким образом он уже не будет брать страницу в сопли. А если в роботсе будет закрыто, то возьмет все равно на всякий пожарный. =) По количеству комментариев к прошлой статье я понял, что многие ни чего не поняли. было куча вопросов и про robots и про плагин и про редирект и т.д.

Короче ребята, вот тут все ответы на ваши вопросы. Посмотрите это видео перед тем, как читать статью дальше.

Гут! Теперь вспоминаем как мы находили дубли replytocom в выдаче google! Вот так:

site:site.ru replytocom

Как найти дубли страниц на wordpress?

Ок, теперь давайте будем искать другие дубли страниц. А именно дубли:

feed
tag
page
comment-page
attachment
attachment_id
category
trackback

Искать их так же как и replytocom. Снова давайте я поиздеваюсь над уже не просто легендарным, а легендарнейшим Александром Быкадоровым. Захожу в google и вбиваю вот так:

Дубли страниц feed wordpress

Жму - «Показать скрытые результаты» и вижу вот что:

Дублированный контент feed

490 дублей страниц. Feed — это отростки на конце url статей. В любой вашей статье нажмите ctr + u и в исходном коде увидите ссылку с feed на конце. Короче от них надо тоже избавляться. Вопрос — как? Что нам все рекомендуют делать в интернете? Правильно, добавлять что-то подобное в robots.txt:

Disallow: */*/feed/*/
Disallow: */feed

Но если мы посмотрим на блоги, то у всех есть feed в выдаче google. Ну так получается не работает запрет в Роботсе верно? Как тогда от них избавляться? Очень просто — открытием feed в robots.txt + редирект. Об этом дальше.

Хорошо! Это мы проверили только дубли страниц feed, а давайте еще другие проверим. В общем набирайте вот так в google:

site:site.ru feed
site:site.ru tag
site:site.ru attachment
site:site.ru attachment_id
site:site.ru page
site:site.ru category
site:site.ru comment-page
site:site.ru trackback

Все как обычно! Сначала вбиваем, потом идем в конце и нажимаем «показать скрытые результаты». Вот что я вижу у Александра:

Дубли page

Дубли category

Дубли attachment

Дубли attachment_id

Ну дублей tag, comment-page и trackback у Саши я не нашел. Ну как вы свои блоги проверили? У вас сейчас случайно не такое же лицо, которое я показал в прошлой статье в конце (см. фото)? Если такое, то печально. Ну ни чего, сейчас все поправим.

Как избавиться от дублей страниц?

Итак! Что надо сделать? Первым делом берем вот этот файл robots.txt и ставим его себе:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/

Только не забудьте site.ru заменить на ваш блог. Так, ок. Роботс поставили. То есть открыли все, что было закрыто. А у многих закрыто было многое и category и tag и feed и page и comment и т.д. и т.п. Теперь нам надо на страницах дублей где есть возможность поставить метатег noindex тот самый:

<meta name='robots' content='noindex,follow' />

А где этой возможности нет, там ставим редирект со страницы дубля на основную страницу. Сейчас чтобы вы не сошли с ума о того, что я тут буду рассказывать, лучше сделайте следующее:

Шаг №1: Добавьте вот эти строки в свой файл .htaccess:

1
2
3
4
5
6
7
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]

Файл этот лежит у вас в корне блога где и папки wp-admin, wp-content и т.д. Вот качните его на пк, откройте блокнотиком и добавьте. Вот так все должно примерно быть:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress

Шаг №2: Вот этот код добавьте в файл function.php сразу в начале после <?php:

1
2
3
4
5
6
7
8
/*** ДОБАВЛЯЕМ meta robots noindex,nofollow ДЛЯ СТРАНИЦ ***/
	function my_meta_noindex () {
		if (
			is_paged() // Все и любые страницы пагинации
		) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";}
	}
 
add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofollow в head

Шаг №3: Заходим в плагин All in One Seo Pack и ставим вот так:

tag

Шаг №4: Заходим в админку — Настройки — Обсуждения и убираем галочку с  "Разбивать комментарии верхнего уровня на страницы":

Индексация комментариев

Окей. Это все. Теперь надо ждать переиндексации, чтобы все дубли опять же вылетели из выдачи.

Что мы сделали? Повторю, в robots.txt мы все открыли, о есть теперь робот будет заходить беспрепятственно. Далее на таких страницах как page, tag и category он будет видеть тот самый запрещающий метатег noindex и соответственно не будет брать страницу в выдачу.

На страницы page мы добавили метатег руками вот тем кодом, который вы вставили в файл function.php из шага №2, а страницы tag и category закрылись метатегом благодаря тому, что в плагине All in One Seo Pack мы поставили галочки там где надо, как я показал в шаге №3.

На страницах feed, attachment, attachment_id, comment-page и trackback этот метатег мы не ставили, мы поставили 301 редирект добавлением нескольких строк в .htaccess, что я вам дал в шаге №1.

В админке в настройках обсуждения мы сняли галочку, чтобы у нас комментарии не разбивались на страницы и не создавали новые url.

В общем теперь робот приходя на эти страницы (feed, attachment, attachment_id, trackback), будет автоматически перебрасываться на основные страницы и как правило, дублированные не забирать в выдачу. Редирект — сила! Ну вот собственно и все.

Если вы будете использовать эту схему, то дублей у вас не будет. Схема рабочая и проверена. Кстати пользуясь случаем хочу немного похвастаться. Вот что у меня было по проиндексированным страницам в вебмастере google в апреле:

Было в индексе

А вот что сейчас:

Стало в индексе

А вот что по трафику с Google:

Трафик с google

Как видите дублей все меньше становится и трафик все выше и выше. Короче все работает! Честно говоря так обидно, что аж 2 года сидел с этими дублями, не знал про них вообще, как от них избавиться и как следствие сидел на 140-150 посетителях в сутки с google. =))

Кстати трафик с Яндекса тоже заметен уже.

Естественно не все сразу. Жду год. Поставил себе такой срок. Уверен, что за год все дубли уйдут. Вот за 2 месяца ушло более 7200. А как обстоят дела у вас? =) Мне тут уже люди пишут кстати, поставили мою схему и посещалка вверх пошла.

Ребята, схема понятна? Если что вот еще видео специально записал, посмотрите, может быть тут я объяснил по понятнее:

На этом тему дублированного контента на блоге я заканчиваю. Что еще не сказал. Мы с вами рассмотрели нахождение только, так скажем, официальных =))) дублей. Есть еще кроме дублей — шлак и прочий мусор. Его тоже нужно уметь находить и удалять. Вот например некоторые мусорные страницы блога Александра Быкадорова:

Мусорные страницы

И таких вот кривых соплей может быть очень и очень много! У кого-то их тысячи. Как находить этот мусор и много еще чего интересного, я рассказывал в курсе Как стать блоггером тысячником 3.0. Сегодня последний день цена 2370 и 2570, завтра будет 3170 и 3470.

Помните — хороший сайт — это сайт, на который пришел робот, загрузил главную страницу index, все стальные страницы вашего блога типа «Об авторе», «Контакты»..., и все ваши статьи! Все, больше ни чего в выдачу забирать он не должен. Если забирает, но это печально и плохо.

В заключение статьи хотелось бы поблагодарить Сашу Алаева, мега супер-пупер крутого SEOшника, за помощь в создании и robots.txt и .htaccess. Эти рекомендации и не только эти, очень помогли мне в написании этих двух статей про дубли,  а так же в создании курса КСБТ 3.0.

Ну все! Напишите в комментариях кто сколько у себя дублей нашел! =) Может быть у вас еще есть какие-то дубли в выдаче? Можно попробовать разобраться в их устранении!

P.S. Давайте поржем еще раз в завершении. Вот лицо человека, который через несколько лет ведения блога узнал, что у него куча дублей и мусора в выдаче:

Всем пока и удачных выходных!

С уважением, Александр Борисов


Как заработать продавая баннеры

5 000 000 за 2 года в интернете...

150 000 рублей в месяц с БЛОГа
Этот блог читают уже более 6000 человек
- читай и ТЫ!
комментарий 691
  1. олег

    Отличный курс Александр, просто бомба! Опять вы нам блоггерам :) :) работы полкинули

    в 05:39 | Ответить
  2. technovoin

    Поиграемся, посмотрим так ли вредят вышеуказанные дубли блогу и будет ли прирост трафика постум их устранения... Сказано красиво: убрали ребята дубли и трафик повалил. Верится в это не сильно :) Увы, дубли — это лишь один параметр ранжирования среди сотен других...

    в 05:48 | Ответить
    • Александр Борисов

      Дубли — это параметр ранжирования сайта? :) Надо где-то записать :)

      Дубли — это не параметр. Это косяк сайта или блога. И его надо устранять либо посещалки не будет нормальной.

      в 15:28 | Ответить
      • Алекс Fomik

        Саш, а почему ты оставил закрытыми папки wp-includes, /wp-feed, /wp-content/plugins, /wp-content/cache, /wp-content/themes ? Ведь ты сказал, что боты гугла игнорят все запреты в роботсе. Я нашел в выдаче гугла шлаковые страницы моего блога, которые запрещены в твоем новом роботсе. Их мало, но они есть...

        в 05:01 | Ответить
      • Алекс Fomik

        И кстати, Саш, шаг №2 можно ведь не делать. В all-in-one-seo-pack ведь можно доставить галки для запрета пагинации...

        в 05:54 | Ответить
    • Артём Черкасов

      Сопли гугла — да это параметр ранжирования, к примеру спарсеные сайты чаще всего индексируются и сразу улетают в сопли.

      А когда в сопли попадают дули основного контента ресурса, вот это реально беда, как показал Александр!

      А я раньше задумывался об этом, но не придавал большого значения, думал раз у других так, то значит ничего страшного, а оказалось иначе...

      в 00:05 | Ответить
    • Николай

      Александр, я так понял replytocom появляется только при включенной функции древовидные комментарии? И если поставить сторонний сервис комментариев, допустим Disqus, то replytocom не будет появляться? И его можно не прописывать в robots.txt?

      в 17:31 | Ответить
  3. Андрей

    Оставлю пожалуй первый комментарий

    в 06:24 | Ответить
  4. Оксана

    Отличная статья, спасибо. Проверяю дальше... [:-))] Хотелось бы заметить, что от шаблона таки многое зависит... ;-)

    в 07:05 | Ответить
  5. Елена Юдина

    Доброе утро!

    Еще одна сокрушительная статья... 🙂 Александр, подскажи, а ты тоже ставил редиректы или ошибки 404, о которых ты говорил в прошлой статье? И что будет, если этого не сделать, исправив все остальное? Дубли все равно постепенно уйдут или нет?

    в 07:21 | Ответить
    • Александр Борисов

      У меня редиректы. Сначала были 404 и то и то работает!

      в 10:52 | Ответить
  6. Ирина

    Спасибо, Александр, что даете нам такую важную информацию. Нашла кучу своих дублей. Буду избавляться теперь от них.

    Один вопрос — .htaccess нужно целиком поменять или эти 21 строчки добавить?

    в 07:32 | Ответить
    • Александр Борисов

      Смотрите на свой .htaccess, может быть только строчки.

      в 10:52 | Ответить
  7. Юлия

    Звучит интересно, попробуем... потому что ситуация похожа, трафик дошёл до определённого порога и дальше пока не идёт. Надеюсь, что рекомендации из Вашей статьи помогут сдвинуть дело с места и поднять посещаемость повыше:) Если честно, никогда не имела дело с редиректом. Нужно просто добавить данный текст в .htacсess? Боюсь сайт сломать:))

    в 07:45 | Ответить
    • Александр Борисов

      Да, все верно!

      в 10:53 | Ответить
  8. Ирина

    И второй вопрос: этот код в таком виде нужно вставить или что-то добавить (там где текст по-русски)?

    код удален автором блога

    в 08:06 | Ответить
    • Александр Борисов

      Полностью, копировать и вставить.

      в 10:53 | Ответить
  9. Рустам

    Спасибо Александр! Статья про реплитуком была очень своевременна, видимо потому как мой блог совсем еще ребенок, дублей нашлось не много — около 45, ваш робот я копировать не стал, но вставил в свой робот — ompin (который взял из Вашего робота), про который я ничего толкового не смог найти. Но вставил. ))) Хотя мне очень было интересно, увидев Ваш робот, почему все в нем открыто практически?Признаюсь, был соблазн скопировать Ваш роботс, но подумал, что возможно на Вашем блоге, чтщ-то сделано используя внутренние ресурсы, о которых я ничего еще не знаю. И где часть для яндекса? В этой статье все разложилось по полочкам. Правда вот с файлом htaccess, получилась занятная штука — я вставил ту фишку (из пршлой статьи), о которой Вы рассказали, но, почему-то не сработало. Попробовал в разные места файла вставлять, что-то не то. Может не в ту строчку вставляю? Вобщем пока не стал вставлять ничего. Сейчас как раз распаковывается Ваш новый курс, надеюсь там найду, куда вставить эти строчки и что такое ompin. )) Удачи Александр!

    в 08:30 | Ответить
    • Александр Борисов

      О, земляк :)

      в 10:53 | Ответить
  10. Олег Клышко

    После такой информации, как в последних статьях, неужели в курсе твсячник 3.0 еще есть такое, чему можно удивиться? [:-))]

    в 08:30 | Ответить
    • Александр Борисов

      Поверь те есть :)

      в 10:54 | Ответить
  11. Евгений

    Ну сейчас от комментируюсь! Саша видео полезное, так как без него, не разобрался бы с твоим "битым" кодом, который ты предлагаешь запихать в файл functions.php, и так, в чем трабл? Вот что у тебя выложено:

    код удален автором

    А трабл состоит вот в этих символах, "&lt;"перед meta name, а в видео, в коде у тебя стоят такие символы, перед этим тэгом и после <>

    Так что всем, ребята, будьте внимательны с кодом, а тебе Саша, внимательнее смотри, что выкладываешь!

    в 08:40 | Ответить
    • Александр Борисов

      Спасибо, поправил, что-то wordpress подкосил кодик.

      в 10:54 | Ответить
      • Евгений

        На здоровье всем блогам! Я когда первоначальный код вставил, у меня сразу шапка шаблона съехала и вверху вышла эта строчка с символами. Сначала не понял, что к чему, а после просмотра видео разобрался.

        в 11:30 | Ответить
  12. Елена

    Александр... сплошное расстройство... спасибо Вам большое за то, что открываете нам глаза на такие тонкости... [good] будем бороться))) :)

    в 08:42 | Ответить
  13. Ирина

    Спасибо, Саша, побегу убирать дубли. Спасибо, тебе и Саше Алаеву за помощь. Техническая сторона блогговедения, правильные настройки — это самая трудная часть нашей работы. Не все блоггеры спешат поделиться такими фишками. [good]

    в 09:07 | Ответить
  14. Владимир

    Огромное спасибо, Александр за эту статью. Но в коде файла htaccess допущена ошибка, из-за которой мой блог перестал работать. А все дело в 2 и 19 строках, где вместо символов &lt; и c&gt; нужно вставить скобки < >, чтобы получилось так:

    2 <IfModule mod_rewrite.c> и 19 </IfModule>. После этого блог снова заработал.

    в 09:13 | Ответить
    • Александр Борисов

      Спасибо, поправил!

      в 10:54 | Ответить
  15. Виталий Калинин

    Ну, Александр! Нечего сказать, просто порвал. Весёлые выходные обеспечены [good]

    в 09:13 | Ответить
  16. Владимир

    Александр, пожалуйста проверьте файл function.php, по-моему там в 5 строке нужно поменять &lt; и c&gt; на скобки <>

    в 09:52 | Ответить
    • Александр Борисов

      Спасибо, сделал!

      в 10:55 | Ответить
  17. Denis

    Сань поправь код в третьем шаге, у тебя вписалась ковычка &lt; в рнр она не сработает в таком виде, опять куча соплей в коментах польется что код не работает или вообще убил,сломал блог.

    А статья мегаполезная, про остальные сопли я даже не слышал. [:-))] Век живи век учись.

    в 09:54 | Ответить
    • Александр Борисов

      Есть контакт :)

      в 10:55 | Ответить
  18. Даниил

    Ух ты, у меня ещё 2 дня назад было replytocom 10 000, сегодня 78... быстро однако. Только пока посещаемость не изменилась, эх... ждать буду. ;-)

    в 09:56 | Ответить
    • Александр Борисов

      Даниил завтра будет снова 10 000. Смотреть надо в google вебмастере, а не в выдаче.

      в 15:30 | Ответить
  19. Валентин

    Срочно удаляем дубли, спасибо большое Александру!!!!!

    в 09:57 | Ответить
  20. Виталий

    ДА хорошая статейка.

    Я думаю сейчас конкурентность выростет ((

    в 09:59 | Ответить
  21. Даниил

    Александр, у меня вопрос, я правильно добавил код в functions.php:

    код удален автором

    P.S. Все последующие комментарии с кодом будут банится на веки

    в 10:01 | Ответить
    • Александр Борисов

      Даниил плиз не ставляйте свои коды.

      в 10:56 | Ответить
      • Даниил

        Извиняюсь, протупил, больше так делать не буду. :)

        в 11:03 | Ответить
  22. Сергей Дервиш

    Александр, сделал все как написано... Копировал и вставлял, ну, немого подредактировал robots.txt, не существенно. Вроде все работает, спасибо огроменное. Вот только page, при открытии страницы немного глючит... При отображении страницы виден код, наверное ошибка? Или так и должно быть? Не очень разбираюсь пока...))) Будет время, погляньте, может это важно... ;-)

    в 10:07 | Ответить
  23. Sasha

    Саша, большое спасибо за такие подробные советы и гигантскую проделанную работу! Я знала, что копировать бездумно файл Роботс не нужно:), просто убрала несколько лишних строчек и собиралась более детально изучить вопрос. Но блог вечно сюрпризы преподносит(...Вот многие живут с дублями, а я уже несколько месяцев, оказывается, "дарю" контент какому-то низкопробному сайту, берут и просто тупо копируют вообще всю статью с картинками. Да, типо в конце есть ссылка на источник, но, мне кажется, это слабое утешение... Индексироваться потому что нормально блог стал через раз. Так что наверняка нужно и теме плагиата больше времени уделить).

    А сейчас буду пробовать применять рекомендации из статьи на практике и потом, если что, напишу об успехах или "неуспехах"

    в 10:14 | Ответить
  24. Француженка

    Александар, а у меня гугл в дополнительной выдаче выдает следующее:

    "Что такое?656 — Русские VS Французы

    francissimo.ru/page.php?p=73050

    Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

    То есть он принимает органичения в роботсе.

    Это тоже плохо и нужно менять robots.txt или это нормально?

    _________________________________________

    Это те самые скрытые результаты при вводе site:site.ru page

    в 10:15 | Ответить
    • Александр Борисов

      Вы наверное статьи не читали :)

      в 11:00 | Ответить
      • Француженка

        Зато видео смотрела :)

        Так не хочется со всем этим разбираться, но видимо придется.

        Надеялась, что вы скажете всё ок и проблема отпадет сама собой.

        Кстати, по поводу вчерашнего видео последнюю проблему с разметкой вроде бы решила самостоятельно.

        в 11:52 | Ответить
        • Александр Борисов

          :) не хочется... А придется.

          в 12:17 | Ответить
  25. Ярослав

    Спасибо, Александр, за подробные разъяснения. С replytocom я расправился еще в прошлом году, а вот дубли в category и page общим количеством в 352 штуки нашлись. Относительно немного, но и с этой гадостью надо бороться, чем и займусь — пусть не немедленно, но в ближайшие день-два.

    в 10:25 | Ответить
  26. Руслан

    Когда я делал у себя перенастройку .htaccess я столкнулся с проблемой — у меня отвалились стили комментариев. Я задался вопросом: "Почему?" А все просто — это случилось из-за вот этого правила — RewriteRule (.+)/comments /$1 [R=301,L]. Объясняю. Правила жесткие и фильтруют вообще все, четко по имени. У меня стили комментариев находились в отдельном файле comments.css и, естественно правило их отключило. То есть я к чему — если у вас такая же ситуация, как у меня, и что-то случилось со стилями, не надо паниковать, просто посмотрите не совпадает ли название какого-то из стилевых файлов с названием закрываемого URL в .htaccess и, если это так, то просто переименуйте файл, например comments.css в comment.css и все будет хорошо. Ну и надо поменять имя файла в месте его подключения в шаблон. Обычно это header.php

    в 10:30 | Ответить
    • Александр Борисов

      [good]

      в 11:01 | Ответить
  27. Павел

    Рубрики разве тоже считаются дублями? Мне вот надо, чтобы из поиска заходили на рубрику, которую продвигаю...

    в 10:41 | Ответить
    • Александр Борисов

      Ну кто-то их закрывает, кто-то нет. Я закрыл!

      в 11:02 | Ответить
  28. Николай

    Я так понял Александр,можно плагин и не ставить который кнопку ответить скрывает, лишь бы в robots.txt все открыто было.

    в 10:46 | Ответить
    • Александр Борисов

      Можно, но желательно! Лучше чтобы replytocom адресов не было, всякое ведь может быть :)

      в 11:02 | Ответить
  29. Лариса

    Александр, эта статья — шикарный подарок для всех блогеров! Огромное спасибо!

    в 10:59 | Ответить
  30. Владимир

    Александр, в файле роботс указано Disallow: /wp-feed то-есть фид закрыт? Может его надо удалить из роботса, чтобы он был открыт?

    в 11:03 | Ответить
    • Александр Борисов

      Это другое закрыто! А feed открыты

      в 11:12 | Ответить
  31. Сергей

    А почему не надо отмечать последнюю опцию в All in One Seo Paсk? Та которая Use nofollow for paginated pages/posts? Это же и есть страницы анонсов и разбивка комментариев на страницы. Как раз её тоже надо отмечать.

    в 11:05 | Ответить
    • Александр Борисов

      Я ставил галочки, у меня почему-то noindex не ставился.

      в 11:13 | Ответить
      • Олег

        Я тоже ставил, и тоже не работает. Хотя по ходу как раз должны закрываться страницы пагинации. Может еще подкрутят, а пока использую код из function.php. Никаких проблем с этим кодом не возникло.

        в 13:56 | Ответить
  32. Sasha

    Роботс поменяла, нужные строчки в htacess вставила. А вот с другими пунктами небольшие проблемки: настройки плагина "Ол ин Сео-Пак" выглядят у меня по-другому. В настройках индексирования только три строчки (Запретить индекс рубрик, Запретить индекс архивов, Запретить индекс архивов меток). Я поставила гапочки напротив двух последних.

    И самая главная беда — мешанина в файле функций темы...там очень много всего, и непонятно куда вставить нужные строки, чтобы блог не перестал нормально работать. Может, какие-то еще варианты есть?)

    в 11:13 | Ответить
    • Александр Борисов

      К сожалению нет.

      в 12:16 | Ответить
      • Sasha

        Тогда попробую поэкспериментировать с файлом function.php, без фанатизма. Надеюсь, поможет. Потому что дублей оказалось много.

        Большое спасибо за ответ и ценную информацию)

        в 21:42 | Ответить
        • Sasha

          На всякий случай уточню: в файл function.php нужно было просто скопировать текст из рамочки?

          Просто смутила вот эта строчка: 3); // добавляем свой noindex,nofollow в head... Так и вставлять, или что-то свое приписывать нужно?

          Заранее большое спасибо, Саша, за ответ. Прошу прощения, если совсем идиотский вопрос задаю:) Ну, мало ли. Просто количество дублей увеличивается... и надо с этим бороться, а тем более, что при вставке этого текста в файл функций темы пока ничего не слетело.

          в 17:31 | Ответить
          • Александр Борисов

            Полностью все скопировать и вставить.

            в 20:47 | Ответить
          • Sasha

            Спасибо! Так и сделала. Надеюсь, что поможет.

            в 23:23 | Ответить
      • Анна

        Александр, скажите пожалуйста. как вы видите мета-тег ноиндекс-нофолоу на странице. Не могу понять как это сделать и есть ли он у меня? А так все сделала по вашей инструкции.

        в 20:34 | Ответить
  33. Алексей

    Привет всем!

    Жаль, что не могу купить твой новый курс, Александр. Походу там фишки, о которых мало кто знает.

    У меня, тоже много дублей и жалко, что тоже не знал как от них избавиться, но благо, что мой блог еще молод и вся эта хрень с него уйдет быстро.

    в 11:17 | Ответить
  34. Светлана

    Вот уж действительно такое лицо у меня [:-))] было, как у этого юноши.

    После первой Вашей статьи, Саша, про replytocom, сделала все, как было рекомендовано. За 4 дня Количество отслеживаемых URL изменилось с 4780 на 4700.

    Теперь новый шок [good] — еще дубли.

    Примерно с год назад я вплотную занималась файлом Robots. Пересмотрела роботсы всех известных мне именитых блогеров — Ваш, Шакина, ктонановенького и т.д... Из этой "гремучей смеси" слепила себе свой файл. После этого и стало расти количество проиндексированных страниц. Как хорошо, что Вы, Саша, добрались до сути. И нас просветили. Спасибо Вам!

    Еще одна тема меня волнует. Это переход на прямой договор с Яндексом. Профит-партнер молчит.А что Вы думаете по этому поводу?

    в 11:18 | Ответить
    • Александр Борисов

      Я уже почти заключил договор с Яндексом. Возможно в какой-то статье напишу про это!

      в 12:17 | Ответить
  35. Александр Борисов

    О, ТИЦ вырос опять :)

    в 11:56 | Ответить
  36. Архи Яна

    Александр, привет! Огромное спосибо, что раздаете нам кусочки сыра бесплатно! Но я прерасно понимаю, что "все фишки спалены не будут" :) Поэтому для решила преобрести Ваши видеокурсы.

    Но только не знаю в какой последовательности их смотреть. У меня блог еще совсем "зелененький". И возможно из-за моей тематики я никогда не смогу имень большую аудиторию. Но хочу, что бы блог жил и развивался, был читаем.

    И думаю, если я сейчас начну работать с первым курсом "Как стать блогером тысячником", трепыхась с раскруткой и внутренней оптимизацией, буду продолжать писать статьи...

    А они тем временем станут благополучно обрастать "леприконами" (уж извините за мой сленг) — реплитуконами?

    Так, может быть, мне начать с третьего курса, пока еще статей и комментариев мало? Как думаете?

    в 11:59 | Ответить
    • Александр Борисов

      Начать лучше с 3.0 тогда уж. В каждом моем курсе есть что-то ценное и интересное, я даже затрудняюсь ответить с какого курса начать. Начните с 3.0 изначально убрав все косяки на блоге.

      в 12:18 | Ответить
  37. Григорий

    Здравствуйте, Александр!

    Последовал вашему примеру

    Внес изменения в файл: htaccess

    и robots.txt

    и блог сдох (2 сайта сразу) — стали недоступны.

    Поверьте все делал аккуратно,

    точно по вашей инструкции.

    Пришлось делать откат файлов

    и баз данных.

    Вот такие пирожки с начинкой.

    Что скажете ?

    в 12:11 | Ответить
    • Александр Борисов

      А зачем делать откат сайта и базы данных. Не легче соединиться по ftp с хостингом и подправить файлы, которые поменяли? Скорее всего что-то не так сделали! Посмотрите еще раз коды в статье, я поменял их чутка, но уже давненько утром.

      в 12:19 | Ответить
      • Григорий

        Вот в том то и дело — это я потом уже разобрался — что делал я как раз через FTP.

        Не знаю почему — попробую переустановить FTP на раннюю версию,

        раньше этого не было.

        Потом зашел на хостинг и прямо там сделал все изменения,

        все заработало.

        Почему не сработало через FTP не знаю,

        скорость интернета приличная 100 Мгб/сек.

        Спасибо.

        в 13:55 | Ответить
        • Григорий

          Кстати, в первой статье нужно было снять галочку

          в древовидных комментариях — сейчас нет. Почему ?

          Об этом я знал.

          в 13:58 | Ответить
          • Александр Борисов

            Какую галочку? Я говорил про галочку — деревовидных комментариев, а тут разбивка. В первой статье надо было снять галочку если ставится плагин. А так не надо!

            А здесь идет галочка — разбивки на страницы — ее надо снять!

            в 15:34 | Ответить
  38. Рус

    Благодарю, Александр, от Души.

    Я то всё не мог понять откуда такой обвал трафика пришел на мои блоги, а теперь прям озарение пришло.

    Информация безценная.

    в 12:14 | Ответить
  39. Алексей

    Александр я делал блог по вашему курсу, при добавлении изменений с файл function.php блог не грузиться, при удалении кода, блог снова начинает работать? В чем прикол? Все сделал как вы сказали :)

    в 12:22 | Ответить
    • Александр Борисов

      Может быть не туда вставляете? Или уже есть на страницах page метатег noindex, тогда второй может подкосить блог.

      в 15:35 | Ответить
  40. MrVigner

    (О_о), сколько же у меня дублей при малом количестве постов... Сделал все как написали, посмотрим) А то запреты в робот.тхт гугл и вправла игногирует(

    в 12:24 | Ответить
  41. Vlad

    О, полезности из курса... [:-))]

    "Как говориться, не хотел палить тему. НО! Посидев, подумав, я пришел к выводу, что это просто необходимо сделать." — купить курс не у всех возможность есть, а если взялся помогать, то нужно помогать до конца... [good]

    Вообщем, классно, что вышло продолжение! :)

    Я один из тех, кто взял и скопировал твой robots! [:))]

    Знал что этого пока недостаточно, но все равно пока на время поставил!

    А там бы может и курс приобрел, или следил бы за твоим robots... [:))]

    Пойду исправлять все... ;-)

    в 12:40 | Ответить
    • Vlad

      А роботс все равно тот же... [:--_)]

      в 14:08 | Ответить
  42. Рус

    А для User-agent: Yandex разве не надо писать правила отдельно в robots.txt ?

    Пункт User-agent: * он может не воспринимать.

    в 12:44 | Ответить
    • Юлия

      Да, действительно. Разве не нужно прописывать отдельно для яндекса?

      в 14:49 | Ответить
      • Александр Борисов

        User-agent: * для обеих поисковых систем. У меня стоит такой роботс уже больше месяца и все в порядке.

        в 15:35 | Ответить
  43. Евгения Куварина

    Сейчас изучаю курс и ужасаюсь, как же много проблем! Но хорошо, что я теперь знаю, как с ними бороться. Благодарю за курс!

    в 12:46 | Ответить
  44. Волков Игорь

    Многие специалисты, с которыми я общался, постоянно грешат на какую-либо CMS и говорят, что если сделать на ней сайт, вы ни сможете его продвигать.

    Это все отсутствие опыта и не желание разбираться, по этому все ищут CMS, где меньше гемора с дублями. Но идеального варианта вы не найдете. У каждой CMS свои болячки, которые нужно допиливать.

    Вот и у WordPress куча мусора, который при первой индексации нужно фиксировать и удалять. Только с этого надо было начинать, а теперь, потрачены время и силы...

    в 13:08 | Ответить
    • Александр Борисов

      Все верно! Обязательно надо допиливать cms-ки. Я смотрел вебинар про то как думают сеошники о cms и то как думают разработчики этих cms, обе стороны говорят что те не шарят [:-))]

      в 15:37 | Ответить
  45. Александр x3m

    Ппц... мозг кипит от инфы! :) Буду есть слона по кусочкам! =)

    в 13:25 | Ответить
    • Александр x3m

      Сань, привет! Вроде разобрался! Есть пару вопросов...

      1. Как узнать правильно ли я настроил .htaccess?

      2. Как закрыть "page" навигацию от индексации другим способом? Есть ли альтернатива? Просто тот способ, кот. ты указал в статье — не подошел!

      Спасибо!

      в 15:59 | Ответить
      • Александр Борисов

        Походи по страницам с feed attachment и т.д. Если редиректят, то все номрик. page не знаю как закрыть, только так вот знаю.

        в 21:10 | Ответить
  46. Эльдар

    Я так понял что мета-тег нужно вставлять в шаблон страницы page.php ?

    в 13:34 | Ответить
    • Александр Борисов

      Эльдар почитайте статью.

      в 15:40 | Ответить
  47. Андрей

    Еще 2 вопроса назрело:

    1. У меня в файле .htaccess стояли в конце 2 строчки

    Вот эти

    php_value upload_max_filesize 50M

    php_value post_max_size 50M

    Нужно ли их оставлять и вообще что они означают?

    2. Как удалить метки в один клик :) или все нужно в каждой статье удалять?

    в 13:38 | Ответить
    • Александр Борисов

      Эти строчки говорят какой максимальный размер файла вы можете загрузить. 50мб.

      в 15:40 | Ответить
      • Андрей

        Александр так нужны они или нет? Если не поставлю трудностей с размерами файлов не будет?

        в 15:56 | Ответить
        • Александр Борисов

          Да можете и удалить!

          в 16:15 | Ответить
  48. Vlad

    А если некоторых дублей нет в выдаче... Или лучше поставить все на всякий пожарный? [:))]

    У меня в вебмастере Гугл кроме replytocom стоят еще вот эти два параметра: srp, sra...

    Попробовал их проверить через выдачу:

    site:amplay.ru srp

    Я так понял это ссылки связаны как-то с подпиской, но переход по ним выбивает ошибку...

    Александр, как их убрать?

    Поставил все, кроме 404 ошибки и плагина... Думаю использовать тег <спан> для закрытия кнопок. — этого будет достаточно вполне! :)

    Replytocom в выдаче стало меньше: было — 4 130. стало — 3 870... Понятно конечно что результаты там не стабильные, но все равно приятно! :)

    в 14:04 | Ответить
    • Александр Борисов

      Про все прочие дубли и мусор, как их найти и убрать я говорил в курсе 3.0 :)

      в 15:43 | Ответить
      • Vlad

        Опять ксбт 3,0,... :)

        в 17:46 | Ответить
  49. Нонна

    Здравствуйте Александр. После того как я убрала в файле робот эти строчки то у меня дублей стало в три раза больше чем до изменений и посещаемость так же поползла вниз((( С яндекса посещаемость резко съехала пару недель назад а теперь постепенно с гугла становится все меньше и меньше((( Можно ли попридержать цену до понедельника? У меня сейчас нет возможности оплатить что-либо так как в банке выходные.

    в 14:09 | Ответить
    • Александр Борисов

      Нонна я вот и говорил про это. Вы поставили мой файл роботс, а все остальное не настроили. Вот теперь в выдачу полетят все дубли.

      Но вообще я не думаю, что так быстро все произошло из-за строчек. Прошло 5 дней после того как я написал первую статью про replytocom. Скорее всего причина в другом. По поводу цены напишите потом в поддержку.

      в 15:46 | Ответить
      • Нонна

        Александр, нет, я не копировала ваш файл, так как до прочтения сегодняшней статьи еще сомневалась в том а нужно ли все открывать и убрала только те строчки про которые вы говорили (вместе с этим добавила в рекомендуемые вами файлы необходимые коды). Ну в принципе нужно все равно курс покупать что бы максимально все исправить))) а так по крупицам искать информацию очень долго и нет видения целой картины))) Еще после того как я убрала 2 строчки в гугле у меня стало еще больше дублей (с 6000 стало 27000) Вчера в рассылке просмотрела ваше видео от куда поняла что все 3 пункта у меня содержат ошибки.Скажите Александр, а может ли действительно все эти дубли, ошибки в микроразметке стать причиной резкого падения посещаемости с яндекса? В последние дни и с гугла посещаемость так же постепенно падает. В общем с 3000 на сегодняшний день мой блог посещает 500 чел.Вся надежда на ваш курс))) Просто не знаю где еще искать помощи. Как вы писали за сео анализ берут не менее 15000 рублей а таких денег не у всех блогеров есть в наличие.

        в 16:02 | Ответить
        • Александр Борисов

          Нонна уберите редирект и проверьте выводится ли у вас метатег noindex на странице дубля. Если выводится, то все хорошо! Надо искать причину в другом.

          в 16:16 | Ответить
  50. Odessit

    Александр у меня к Вам есть ну просто огромный вопрос!!! Мне кажется в зависимости от тематики, теги и категории не должны закрываться. Вбейте в гугле, "творожная запеканка в мультиварке", посмотрите, 5-е место что за страница?! Или "шарлотка в мультиварке редмонд" Зачем нам закрывать данные страницы и почему они дубли? Ну да, часть текста из статьи попадает и на эти страницы, но не более же? Если ошибаюсь, прошу направить на путь истинный. Спасибо.

    в 15:12 | Ответить
    • Александр Борисов

      Это каждый сам решает. Возможно можно и оставить, но я решил у себя закрыть. Я знаю, что кто-то и не закрывает.

      в 15:49 | Ответить
  51. Алексей

    На счёт replytocom, можно воспользоваться плагином Yoast WordPress SEO, это замена all in seo pack. Там есть такая функция! Да и сам плагин, по моему мнению, куда лучше чем all in seo pack. :)

    в 15:27 | Ответить
    • Александр Борисов

      Я еще раз повторю, не важно какой плагин если в роботсе все закрыто. Кто-нибудь статьи читает вообще?

      в 15:50 | Ответить
    • Ирина

      У меня такой плагин, галочка на replytocom стоит. Но 9 дублей в Гугле. ;-)

      в 16:15 | Ответить
      • Александр Борисов

        Плагины не помогают. Помогают открытые роботсы и noindex на странице дубля.

        в 20:29 | Ответить
  52. Архи Яна

    А скажите, почему на страницы feed, attachment, attachment_id, trackback редирект мы ставим, а на tag и category нет?

    И извините мою безграмотность: в какой файл function.php нужно вносить изменения? Это тот, который находится в той же папке, что и robots.txt?

    в 15:30 | Ответить
    • Александр Борисов

      Яна почитайте статью внимательно!

      в 15:51 | Ответить
      • Архи Яна

        Я честно прочитала статью несколько раз. Просто я совсем чайник, иногда не понимаю элементарной терминологии.

        Ну хоть на второй вопрос ответьте, пожалуйста) Где этот файл function.php находится, в который нужно изменения вносить? Их же несколько в разных папках. Боюсь угробить блог.

        Спасибо заранее.

        в 16:24 | Ответить
        • Александр Борисов

          Яна не читали статью. tag и category мы закрываем в плагине all in one seo.

          Файл этот находится в папке с темой вашего блога wp-content/themes. Или же его можно открыть прямо в админке блога — внешний вид — редактор.

          в 16:36 | Ответить
          • Архи Яна

            А вот и читала) Прочто не поняла формулировку "закрылись метатегом". Теперь дошло.

            Спасибо за ответ, я уже не в тот файл function.php код добавила. Пойду исправлять и изучать мат.часть.

            в 17:03 | Ответить
          • Vlad

            Яна, вам нужна помощь с настройкой блога по статье?

            в 02:31 | Ответить
          • Архи Яна

            Даже не знаю) Вроде все поправила, спасибо! Но правильно ли?))) Я абсолютный чайник, совсем недавно сделала блог по видеокурсу Александра.

            в 13:13 | Ответить
          • Vlad

            Могу посмотреть и помочь с настройкой!

            в 14:16 | Ответить
          • Денис

            Если ты чайник, то брось это дело и забудь о wordpress

            в 21:47 | Ответить
  53. Андрей

    Ура!!!!!!! Деньги перевели!!!! Купил курс!!! Буду разбираться!!!! Спасибо!!! :) :) :)

    в 15:34 | Ответить
  54. Бронислав

    Александр, а если у меня в файле — .htaccess в указанных Вами строках от "BEGIN Word" до "END WordPress" стоят другие значения, добавлять туда же код, или старые значения убрать?

    в 16:08 | Ответить
    • Александр Борисов

      Самое главное добавить вот эти строки:

      RewriteRule (.+)/feed /$1 [R=301,L]

      RewriteRule (.+)/comment-page /$1 [R=301,L]

      RewriteRule (.+)/trackback /$1 [R=301,L]

      RewriteRule (.+)/comments /$1 [R=301,L]

      RewriteRule (.+)/attachment /$1 [R=301,L]

      RewriteCond %{QUERY_STRING} ^attachment_id= [NC]

      RewriteRule (.*) $1? [R=301,L]

      После вот этой:

      RewriteBase /

      в 16:17 | Ответить
  55. Odessit

    В общем разобрался, page закрыл в function.php, категории и теги оставляю открытыми, так как на кулинарном это катит (будем наблюдать), из всех остальных дублей остались только feed, если не делать редирект, они со временем отвалятся или без редиректа никак?

    И если позволите ещё один вопрос, страница index.php создаёт дубль, самый простой способ какой я вижу её убрать — это редирект, что я в принципе и сделал, так же правильно? Ещё раз спасибо за полезную статью.

    в 16:28 | Ответить
    • Александр Борисов

      Для feed редирект обязателен. Второй вопрос не понятен.

      в 16:37 | Ответить
  56. Егор

    Саша, сделал все как здесь написано. Потом решил проверить код страницы с page и заметил, что meta robots — noindex,nofollow добавился,... ну думаю отлично, НО...

    немного повыше заметил точно такой же meta name="robots", но уже с content="index, follow

    Раз этот мета код находится выше, значит естественно страница будет открыта для индексации.

    Как же это могло произойти, и что можно сделать для исправления ситуации?

    в 17:19 | Ответить
    • Александр Борисов

      Это надо смотреть! По идее не должно быть, возможно какой-то плагин стоит, какой-то код в шаблоне и т.д. Но это редкость.

      в 17:33 | Ответить
      • Егор

        Оказывается дело было в шаблоне, в header.php был прописан код _<meta name="robots" content="index, follow" />_

        Удалил его и все настроил по вашей рекомендации. Все работает, будем ждать удаления всех хвостов )).

        Спасибо!

        в 14:39 | Ответить
  57. Daria

    Здравствуйте, Александр! Дубли — тема для меня очень животрепещущая. А вот скажите, почему у вас не убраны дубли связанные с shortlink? Я открыла по Ctrl+U вашу статью и вижу что она имеет еще один адрес — ваш-сайт/?p=6614, конечно с него перебрасывает на основной, но он есть. Почему вы его не уберете, ведь это она строка в functions? Почему эти дубли вы оставляете?

    в 17:31 | Ответить
    • Александр Борисов

      Я не оставил эти дубли. ?p= у меня открыто в роботсе и когда попадет робот на мой блог/?p=6614, то попадет на основную статью, так как стработает редирект. Следовательно все shortlink вылетят из выдачи. Это опять же идея двух моих статей. Все открыть и поставить редирект.

      в 17:35 | Ответить
      • Daria

        Алекcандр, пожалуйста, а где этот редирект? Я не вижу... А все-таки почему вы оставляете shortlink в файле шаблона? Хитрая хитрость какая-то?

        в 19:40 | Ответить
        • Александр Борисов

          Так вы пройдите по ссылке шортлинк и увидите )) Хотя бы на эту статью. А как шортлинк можно убрать? Это уже идут стандартные url вордпресс, а мы ЧПУ их изменяем.

          в 19:46 | Ответить
          • Daria

            ага, те есть редирект через canonical

            Эту строку ?p= в шаблоне порождает wp_head. Если вставить в файл functions.php одну эту строчку

            remove_action ( 'wp_head', 'wp_shortlink_wp_head', 10, 0 );

            то html коде одиночной записи исчезнет зловредная строка с rel=’shortlink’

            в 20:34 | Ответить
          • Александр Борисов

            Дарья супер! Поставил строчку и точно! Ушли шортлинки! Спасибо! Ребята берите фишку.

            в 23:52 | Ответить
          • Vlad

            Александр, а ты случайно не добавил это в свой пост? Ну что бы не потерялось...

            в 02:33 | Ответить
          • Александр Борисов

            Нет, в следующем добавлю.

            в 11:12 | Ответить
          • Vlad

            Дарья, спасибо!!! ;-)

            Shortlink тоже убрал! :)

            в 13:10 | Ответить
  58. Юлий

    Еще после прошлых изменений обратил внимание, что резко прибавился трафик с поисковых систем!

    Пара дублей из поиска вылетела. Что ж, после изменений, казанных в статье, вообще все должно заработать как часы ;-)

    Спасибо, Александр [good]

    в 17:38 | Ответить
  59. Илья

    Александр, а зачем у вас в Robots стоит запрет на Feed (Disallow: /wp-feed)? Или это отличается от Disallow: /feed/? Непонятно)

    в 17:41 | Ответить
    • Александр Борисов

      Да, отличается. Мне тоже не понятно, значит так надо! :)

      в 17:47 | Ответить
  60. СтасОК

    Насколько я понял сколько не учись — все равно дураком помреш. А идеального сайта не сделаеш. Ведь даже среди идеалов роботам нужно кого взаносить в топ а кого-то выкидывать.

    в 17:47 | Ответить
    • Сергей

      Это точно! Я думаю после этих статей ещё больше блогов закроются. Во всяком случае мне уже хочется бросить, практически ещё не начав, потому что фиг разберёшься во всех этих премудростях. Сначала уговаривали все — ведите блог- это просто и можно заработать, а теперь понятно, что не просто и выживут только сильнейшие, как Александр.

      в 23:58 | Ответить
  61. Галина

    Ну вот, а я то думала, чем мне в выходные заняться? А тут работы непочатый

    в 18:44 | Ответить
  62. Рустам

    Александр! После внедрения приведенных в статье манипуляций, реплитукомы пропали, вернее, остался один. Почему — не пойму. :)

    в 18:46 | Ответить
    • Александр Борисов

      Нет, я вижу больше.

      в 19:27 | Ответить
  63. Михаил

    Саш, у меня есть вопрос к тебе. А если я использую google webmaster и выберу функцию "Удалить url", то это сработает. Я могу так дубли удалять? Или они потом вернуться при следующей индексации?

    Просто у меня дублей мало, а поскольку сайт не на wordpress, я не могу сделать так, как ты рассказал. Редирект не получается настроить.

    Вот можно таким способом все убрать? Или google все вернет потом?

    в 18:47 | Ответить
    • Александр Борисов

      Не нужно ни чего удалять в вебмастере, а то сайт потом пропадет.

      в 19:04 | Ответить
  64. Артём Черкасов

    Саша, ты так весь КСБТ 3.0 спалишь =)

    в 19:03 | Ответить
    • Игорь

      Не спалит. Это такая тема, что сразу в неё не въезжаешь. Нужно несколько раз послушать, прочитать, пока в голове начнет прояснятся. :)

      в 23:13 | Ответить
      • Александр Борисов

        Я кстати в курсе по 10 раз все повторял. Как учили в Иваново, чтобы лучше запоминалось!

        в 23:53 | Ответить
      • Артём Черкасов

        Я впринципе с 1го раза во всё вникаю, даже напрягает когда по 5 раз одно и тоже, Александр объясняет :)

        в 00:15 | Ответить
        • Vlad

          Ничего еще до 700 комментов далеко! [:))]

          в 02:13 | Ответить
  65. Andrey

    А /wp-admin в robots.txt закрывать не нужно разве?

    в 19:16 | Ответить
    • Александр Борисов

      У меня открыт и все нормально!

      в 19:29 | Ответить
  66. Татьяна

    Я считаю что нельзя всё сразу закрывать, надо посмотреть откуда трафик идёт, а может с тэгов. Особенно, если сайт не молодой уже.

    Самое смешное, что уже 2 года считаю, что тэги у меня закрыты, через роботс, а они все в поиске. Это точно, век живи и век учись.

    в 19:30 | Ответить
  67. Andrey

    Разрешите тогда еще один вопрос. Ранее у меня были закрыты в robots.txt страницы вида: site.ru/?p=1543, что говорил сам Яндекс. Типа такая страница запрещена в robots.txt таким-то правилом. Теперь по Вашей статье я сделал, эти страницы открыты, Яндекс пишет, что разрешена для индексирования. Я так понял, что данная проблема никак не повлияет на сайт, так как с таким страниц стоит редирект на основную главную с ЧПУ?

    в 19:48 | Ответить
    • Александр Борисов

      Все верно! Эти страницы будут редиректиться и не будут заноситься в выдачу.

      в 19:55 | Ответить
    • Михаил

      А Вы как редирект настроили с такой страницы ?p=1543? Что Вы в htaccess прописали?

      в 21:31 | Ответить
      • Александр Борисов

        Он сам автоматически настраивается.

        в 23:53 | Ответить
  68. Татьяна

    Александр, а почему бы после закрытия все эти дубли не удалить через Яндекс и Гугл вебмастер? Они же таким образом быстрее уйдут из индекса.

    в 20:25 | Ответить
    • Александр Борисов

      В гугле написано что их удалять нельзя. Один человек уже удалил и потом сайт полностью пропал из выдачи. По яндексу не знаю.

      в 20:35 | Ответить
      • Татьяна

        Спасибо, а то бы я натворила делов.

        в 20:38 | Ответить
  69. Илья

    1) У меня, например, есть такие страницы по запросу feed в Гугле: photo-review.ru/igrushki-ussr/feed/ — но, при попытке перехода на неё пишет "страница не найдена"(но, почему-то не page 404 выскакивает, т.е. сайт вообще не загружается). Это нормально или что-то надо делать с этим?

    2) Или вот такие есть: photo-review.ru/?p=545, на них редирект стоит больше года, а они тоже в Гугле висят. Что с ними делать?? Или это не страшно?

    Буду благодарен за помощь, спасибо!

    в 21:07 | Ответить
    • Александр Борисов

      Ну да, у вас что-то не то. Это надо разбираться. Но вообще поставьте редирект и все будет нормик!

      в 23:55 | Ответить
      • Александр Борисов

        С этими photo-review.ru/?p=545 у вас все в порядке. В роботсе главное их откройте и редирект уже стоит!

        в 23:56 | Ответить
  70. Кеша Аксенов

    Спасибо :)

    в 21:11 | Ответить
  71. Николай

    Александр, курс хороший, главное, чтобы на пользу блогу;) Странно, но у меня реплетукомов нет в выдаче Гугла, а в вебмастере я их нашел. Также момент: код для закрытия страниц пагинации, который вставляется в функции темы почему то у меня вызывает ошибку(( Я закрыл эти страницы в сео-плагине, может из за этого косячит?

    в 21:18 | Ответить
    • Александр Борисов

      Все может быть. Надо смотреть, ковырять!

      в 23:57 | Ответить
  72. Максим

    Привет, Саша!

    Приятно знать, что твои проблемы с правильной индексацией решаются! И лучше поздно увидеть положительный результат, чем не увидеть его вообще. :)

    Я тоже был безумно рад, когда год назад стал избавляться от дублей. Это придало много сил и уверенности, что ты правильно понимается процесс индексации своего сайта.

    Мануал из двух частей получился отличным — отличный симбиоз двух Александров, seo-профи и креативного инфобизнесмена! :)

    в 21:23 | Ответить
    • Александр Борисов

      [good] Спасибо Макс! Уверен эти 2 статьи и новый курс дадут мощный толчок в развитии блогосферы.

      в 23:58 | Ответить
      • Максим

        Не сомневаюсь, Саша! Такие курсы нужны сейчас как воздух — со всех сторон стало повышаться качество исполнение блогов, вовсю рулит 4-я Панда, Яндекс уже достает частыми последними апдейтами. Все меняется и нужен новый глоток в блоггинге! :)

        в 22:57 | Ответить
  73. Дмитрий

    Добрый день Александр! Давно у Алаича смотрел что то подобное про dle, не стал ставить себе на сайт. Теперь полностью уверен!

    Хотел спросить, данный способ подойдет для MFA сайтов на wordpress? (похоже глупый вопрос но все же=) разницы нет блог это или другой сайт)

    И еще один вопрос — <meta name='robots' content='noindex,follow' /> можно это добавить просто в header.php ? Просто не знаю как вставить это в отдельные страницы feed page и тд.

    Заранее спасибо! И За статью большое спасибо! [good]

    в 21:28 | Ответить
    • Александр Борисов

      Подойдет.

      Нет, просто нельзя. Только в function через код. Почитайте статью и все поймете.

      в 23:59 | Ответить
      • Дмитрий

        Я не так выразился, я имею в виду добавить в header.php <meta name='robots' content='noindex,follow' /> и все остальное как написано, просто в статье написано "Теперь нам надо на страницах дублей где есть возможность поставить метатег noindex тот самый" <meta name='robots' content='noindex,follow' />

        На страницах дублей не знаю как вставить, вот и уточнил в header пишу там где все <meta name> и все?

        в 00:12 | Ответить
        • Александр Борисов

          Ни чего не понял.

          в 00:19 | Ответить
          • Дмитрий

            Куда вставлять <meta name='robots' content='noindex,follow' /> ?

            в 10:17 | Ответить
          • Александр Борисов

            Я же написал, что не его надо вставлять Дмитрий. Почитайте статью.

            в 11:17 | Ответить
          • Дмитрий

            То есть нужно поставить ваш роботс, далее сразу к

            Шаг №1: Добавьте вот эти строки в свой файл .htaccess: и далее?

            Правильно?

            в 13:29 | Ответить
          • Александр Борисов

            Да.

            в 14:20 | Ответить
  74. Надежда

    Александр, я у себя разбила комментарии на страницы ради увеличения скорости загрузки страницы, потому что когда их много, то такая тяжелая "простыня" получается... И вот теперь оказывается, что дубли :(( Нет ли другого решения с ними, кроме того, как убрать постраничную разбивку?

    в 21:47 | Ответить
    • Александр Борисов

      К сожалению ни как.

      в 23:59 | Ответить
      • Александр Борисов

        Хотя по сути можно просто открыть их индексацию в роботсе и как-то через тот же код в функтион поставить в эти страницы мета теги, но это уже к проггерам надо обращаться.

        в 00:00 | Ответить
        • Надежда

          Спасибо! Я тут обнаружила, что в коде страниц комментариев стоит rel="canonical" с указанием на основную страницу записи. Может, это спасает положение и если открыть эти страницы в роботсе они все равно не попадут в индекс, как неканонические?

          в 03:41 | Ответить
          • Александр Борисов

            Не спасет. У меня тоже каноникалы стоят.

            в 11:13 | Ответить
  75. артем

    прикол какой-то! сделал все по инструкции, вроде все получилось и работает, но в итоге получил 13 реплитукомов вместо 11, которые были до внесения изменений в robots.txt, ...htaccess и functions.php. [:-|] вопреки ожиданиям реплитукомы только добавились. посмотрим, как пойдет дальше :)

    в 22:17 | Ответить
    • Александр Борисов

      [:-))] они постоянно скачут, так что махинации тут не при чем.

      в 00:00 | Ответить
  76. Николай

    Саша, спасибо за дельные советы и в этой статье особенно!

    Попробовал всё сделать, как описано, с replytocom я уже полголда назад начал бороться, успешно, но вот других дублей хватает, буду разбираться каких именно. [good]

    Яндекс у меня индексирует 160 страниц, а вот Гугл 1020 из них 11% только в основном индексе, как показывает RDS-bar. Получается, что 89% индекируемых гуглом страниц являются дублями, если я правильно понял. Вот эти сопельки и буду ждать вылета.

    Вот replytocom у меня пол-года вылетали с 3200 до 1200 индексируемых страниц.

    Почему же Яндекс намного умней и не индексирует всякую шелуху, как Google? [:--_)]

    в 22:47 | Ответить
    • Александр Борисов

      Пожалуйста! Яндекс культурный робот, а google наглый и проворный. Все съест.

      в 00:02 | Ответить
  77. Игорь

    У меня посещаемость пока ещё не пошла вверх, а вот видимость сайта в поисковых системах улучшилась. Раньше по поисковому запросу было 1-2 посетителя. Сейчас 13, 9, 5, 3

    И количество таких фраз увеличилось.

    Позиций в google стало больше. Рейтинг в Li поднялся.

    Количество проиндексированных страниц упало за полмесяца с 1285 до 1143 (теряю хвосты :) )

    Показы в Google за месяц возросли с 1694 до 3931 Правда, клики ещё прежние, ещё нет увеличения. Но ощущение движения есть.

    в 23:08 | Ответить
  78. Таисия

    Я проверила все дубли:

    site:site.ru feed

    site:site.ru tag

    site:site.ru attachment

    site:site.ru attachment_id

    site:site.ru page

    site:site.ru category

    site:site.ru comment-page

    site:site.ru trackback

    В трех из них написано, что запросу ничего не найдено.

    Потом решила поставить в роботсе первый код, который вы дали, но он не всталяется. Что делать?

    в 23:17 | Ответить
    • Александр Борисов

      Почему не вставляется. Скачайте роботс с хостинга, откройте блокнотиком, вставьте и все.

      в 00:02 | Ответить
  79. Алексей

    [good] Спасибо за важный материал! Ничего не стал проверять, а просто слепо сделал всё, что рекомендует автор: дурного не посоветует, а проблема с гуглом та же, что и практически у всех

    в 23:29 | Ответить
  80. Андрей Назыров

    Саша, спасибо огромное за инструкцию. Вроде все сделал правильно. Сделал скриншоты анализа в seolib и выдачу дублей в поиске гугла, через некоторое время сравню. Буду ждать переиндексации. [good]

    в 23:39 | Ответить
    • SeOptimist.ru — оптимистичный SEO блог в стихах

      Не нужно ждать! Я на форуме БКС давал ссылку на пост о том, как удалить дубли из Гугла!

      Ищите в теме 'Делимся опытом'!

      в 23:50 | Ответить
      • Александр Борисов

        Это что за форум такой?

        в 00:15 | Ответить
        • Андрей Назыров

          Форум Блоггеров Круглого Стола. Пока закрытый :)

          в 12:26 | Ответить
          • Александр Борисов

            А что за форум такой. Не слышал.

            в 12:29 | Ответить
  81. Андрей Назыров

    А robots я уже давно твой скопировал. Знаю засранец :) зато признался :)

    в 23:40 | Ответить
    • Александр Борисов

      [:-))]

      в 00:03 | Ответить
  82. SeOptimist.ru — оптимистичный SEO блог в стихах

    Александр, я проверил свой оптимистичный блог по всем параметрам, указанным Вами. И мне показалось очень странным то, что Googl не видит у меня в блоге дублей! :)

    А файла robots.txt у меня нет и никогда не было! файла .htaccess тоже нет. У меня сервер не Апач, а IIS 7 на базе Windows. [good]

    Что мне делать? Почему так? Что в моём блоге особенного?

    Я даже пост об этом написал, весь в растерянности...

    Подскажите, как быть? [:-|]

    в 23:47 | Ответить
    • Александр Борисов

      У тебя есть дубли tag и page

      в 00:14 | Ответить
  83. Алексей

    Если эти 2 последние статьи дадут положительный эффект блогам (а я верю, что это произойдёт!), то эти важные наработки будут являть своего рода революцию в блогосфере. Ведь основная масса начинающих и даже матёрых блоггеров жили с этими косяками долгое время и не подозревали о заведомом фиаско. А теперь...

    Наверное, стоит и новый курс прикупить... Думаю, и он откроет на многое глаза. :)

    в 23:56 | Ответить
  84. Бронислав

    Александр, меня еще волнуют метки блога, что с ними делать, их тоже удалить — "Записи" -> "Метки" -> выделить и удалить?

    в 00:29 | Ответить
    • Александр Борисов

      Я бы удалил! У меня их нет.

      в 00:52 | Ответить
  85. Андрей

    Большое спасибо за статью Александр...очень классная... :)

    в 00:30 | Ответить
  86. Жук Юрий

    Когда новый роботс поставил, как у вас и проверил блог на сеослиб. ру, то там выдало, что 301 редирект не совпадает с роботс.тхт. Прежний установил, все в порядке.

    в 00:32 | Ответить
  87. Александр Борисов

    РЕБЯТА УБЕРИТЕ ВСЕ ВОТ ЭТУ СТРОЧКИ:

    User-agent: Mediapartners-Google

    Disallow:

    За эту рекомендацию спасибо Надежде Ореховой. Странно что мне порекомендовали эти строки поставить в роботс и я даже не проверил этот момент. Может спецом порекомендовали...

    в 00:38 | Ответить
    • Vlad

      А я то думал, что уже все... Блин опять менять! [:-|]

      в 02:10 | Ответить
    • Vlad

      Жесть!!!

      То robots, то шортлинки — вот так и читаю все комменты целый день, чтобы еще что-то не упустить... [:-|]

      в 02:38 | Ответить
    • Vlad

      Александр, а с КСБТ 3.0 тоже так: настроили все и всё, а потом — ой извините, мне тут посоветовали не то...? [:-))]

      в 12:41 | Ответить
      • Александр Борисов

        Уже разобрались выше, что можно и не убирать. У меня строка стоит уже давным давно и все отлично и доход кстати хороший.

        Просто тетя Надя сбила с толку :)

        в 12:49 | Ответить
        • Надежда Орехова

          Ну, зачем же так? У Вас свой практический опыт, у меня — свой, у Надежды — свой. И все ориентируются, прежде всего, на доход от рекламы. Если она падает — значит, что-то сделали неправильно. Кстати, на этот слеш, думаю, мало кто обратил внимание, поэтому, хорошо, что эта дискуссия завязалась. А то понаставят блогеры эти строчки, не обращая внимания на слеш, а потом будут Вас виноватить, что сделали все так, как Вы рекомендовали, а доход упал.

          Кстати, про КБСТ 3,0 : похоже, не все понимают, насколько этот курс революционный по своей сути. Не надо искать черную кошку в черной комнате, особенно, если ее там нет. А все изменения надо вносить в блог не как роботы, а пытаться разобраться, зачем и почему так, а не иначе. Если будете думать, то все будет [good]

          А Саше еще раз огромное спасибо за этот курс! Мозги промыл очень тщательно! [:-))]

          в 13:02 | Ответить
          • Александр Борисов

            И вам спасибо Надежда! Две Надежды против Саши и в итоге нашли 100% решение.

            в 13:16 | Ответить
          • Vlad

            Про КСБТ 3.0. — это в шутку... Думаю, что Борисов плохого не посоветует! Ведь кому он потом свои курсы продавать будет? [:-))]

            Разобраться с этим:

            User-agent: Mediapartners-Google

            Disallow:

            Это как? Я думаю, только на основе своего опыта тут можно делать какие-то выводы... У кого-то работает, у кого-то мешает только...

            в 13:32 | Ответить
          • Татьяна

            Надежда, я смотрю на блоге у вас стоит реклама от Бегуна.

            В своё время хотела поставить, но нашла много плохих отзывов о них. Что мухлюют и не хотят нормально платить.

            А как у вас с ними складывается?

            в 13:59 | Ответить
          • Надежда Орехова

            Ох, уж этот Бегун!!!! Точно, мухлюют, все время повышая порог вывода. Еле-еле набрала необходимые 1200 (а сначала было 300!!), рекламу не убирала по одной причине — жаба задавила, дарить им 1000 руб. Так вот, эти 200 руб набирала почти год. Теперь отправила на вывод, и жду уже неделю. Когда деньги, наконец, упадут на мой кошелек, очищу свои блоги от этой заразы и навсегда забуду про Бегуна, как страшный сон. Мой совет — даже не совет, а крик души:

            НЕ СТАВЬТЕ БЕГУНА НА СВОИ БЛОГИ! КЛИКИ ДЕШЕВЫЕ, АДМИНЫ НЕДОБРОСОВЕСТНЫЕ, А РЕКЛАМНЫЕ КОДЫ СИЛЬНО ГРУЗЯТ БЛОГ!!!

            в 14:49 | Ответить
          • Надежда Орехова

            Татьяна, всю свою "lovestory" с Бегуном я очень подробно описала в новой статье. Если интересно, нажмите на аватарку в этом коменте, и прочтите — писала очень честно и объективно. Интересно, я последняя, кто еще сомневался, или еще остались наивные? :-|

            в 00:30 | Ответить
          • Татьяна Чиронова

            Спасибо Надежда, сомнений не осталось, но схожу прочитаю ;-) .

            в 16:09 | Ответить
        • Vlad

          Блин я уже убрал! Причем настройки веду не только на своем блоге, а еще на 4 — вот я замотался за эти дни! [:-))]

          в 13:19 | Ответить
    • Татьяна Высоцкая

      А эта должна быть? User-agent: Googlebot-Image

      в 16:24 | Ответить
      • Александр Борисов

        В роботсе да!

        в 01:40 | Ответить
  88. Наталья

    Осенью я убирала дубли replytocom. После этого в Гугле появилось много ошибок. Почти каждый день они мне писали прямо на почту. Но я знала, что страницы должны индексироваться, должно пройти какое-то время. Терпела и ждала. Ошибок было больше. В конце концов их количество зашкалило за 6000 или 7000 шт. Сайт старый, статей было около 700. После этого я не выдержала и вернула все, как было раньше. Постепенно ошибки кончились. Сейчас их нет. Но с того времени гугл меня активно не любит. Статей у меня на сайте 850, а в поиске гугла было 800,только сегодня увеличилось до 900. С поиска гугл приходит около 35 человек. Общее количество трафика уменьшилось раза в 4.

    Не хочу ничего плохого сказать. Делала все по инструкции., все получилось. Может быть, надо было еще ждать.

    Кстати, сейчас проверила сайт на дубли. Реплитуком — 1 результат, все остальные — тоже по одному результату.

    в 09:33 | Ответить
  89. Гехт Александр

    Привет, Александр! Прочитал статью и решил сделать как написано. В итоге получилось следующее, на страницах в коде вылез &lt;meta name="robots" content="noindex,nofollow" /&gt; и на блоге теперь все могут видеть в левом верхнем углу код <meta name="robots" content="noindex,nofollow" />

    Как это исправить?

    в 09:58 | Ответить
    • Александр Борисов

      Наверное не там вставил :)

      в 11:15 | Ответить
      • Гехт Александр

        Я сделал как ты написал :)

        в 09:59 | Ответить
  90. Юрик

    Александр, Вы посоветовали в конце видео удалить все, что связано с "tag", и вообще его не использовать в публикации статьи!

    Вопрос: как альтернатива удалению, достаточно ли будет удалить "tags" в single.php?! То есть, он получается останется только на странице редактирования.

    в 10:05 | Ответить
    • Александр Борисов

      Главное чтобы ссылок на теги не было в статьях.

      в 11:16 | Ответить
  91. Галина

    Саша, спасибо большое за такой ценный материал!

    Рассказываю, как просили. Дублей replytocom у меня не было, думаю, потому что в роботсе было прописано Allow replytocom. Но другие дубли понемногу есть, не все, правда.

    Инструкции во второй статье просто супер! Понятны даже такому чайнику, как я. :)

    Сделала все поправки, кроме изменения в functions.php. Сейчас наберусь смелости и пойду его тоже подправлю. (просто недавно грохнула новый сайт именно тем, что залезла в functions, вот боюсь теперь). :)

    Спасибо огромное еще раз! [flower] Будем ждать перемен.

    P.S. У меня вопрос, а почему Вы против того, чтобы удалять мусор из Гугла вручную?

    в 12:18 | Ответить
    • Александр Борисов

      Был опыт у одного человека, стал массово удалять мусор в инструментах и сайт вылетел из выдачи. даже google пишет в рекомендациях не удалять мусор.

      в 12:23 | Ответить
      • Галина

        А если по чуть-чуть удалять? Я удаляю по нескольку строчек и не каждый день, надеюсь, что не накажут... ;-)

        в 12:43 | Ответить
        • Александр Борисов

          Значит уже наказали.

          в 12:50 | Ответить
    • Александр Борисов

      Потом проведу эксперимент специально, когда все дубли вылетят! Там посмотрим.

      в 12:23 | Ответить
  92. Елена Картавцева

    Я отношусь к тем "чайникам", у которых после просмотра курса и попыток что-то исправить самостоятельно, будет не просто перекошенное лицо — глаза из орбит вылезут! [:))] Да, пришлось обращаться к специалистам... Ну и что, спросите вы, нашла чем удивить! Дело в том, что сегодня получила на почту письмо от одной знакомой, которая, как я считала, продвинутая в техническом плане тетенька, пишет умные статьи, вот что она написала после изучения курса:

    Посмотрела от начала и до конца и вот сижу и

    понимаю, как же я туплю в блоггинге и как

    много на моем блоге технических косяков, которые

    никогда не позволят мне раскрутить блог.

    Может быть у вас получиться заставить его съесть

    свои носки, а у меня не получилось. )))

    Думаю, что Александру не придется есть носки. Я специально на день всех изменений на сайте записала данные, чтобы было потом с чем сравнить. Так вот: 3 июля было 340 дублей страниц. Feed, а сегодня, 6 июля их уже 303!!! Дублей replytocom 3.07 было 99000, 6.07 — 85400!!!

    Процесс пошел, господа! Эти цифры я привела для сомневающихся в том, что курс и его применение дают результаты!!! [good]

    в 14:18 | Ответить
  93. Татьяна Высоцкая

    Спасибо огромное Александр, думала придется на фриланс обращаться. А У меня вопрос относительно файла .htaccess. У меня там больше, чем у вас строчек, просто добавить в конце ваши 7 строк? Или должно быть именно так, как в вашем примере?

    в 16:18 | Ответить
    • Александр Борисов

      Строки надо добавить после RewriteBase /

      в 01:40 | Ответить
  94. Михаил

    Еще раз здравствуйте , Александр . Помогите пожалуйста новичку .

    Мой файл htaccess так :

    коду удален автором

    После какой строки нужно вставить редирект (шаг № 1) Заранее Благодарен .

    в 16:59 | Ответить
  95. Алексей

    Cпасибо,Александр,я и не знал причины,почему это мои статьи копируют другие блогеры и как с этим бороться.Оказалось,всё просто.Кто умеет работать с блокнотами и знает html-код,проблем возникнуть не должно.А кто не умеет,надо изучить.

    в 17:33 | Ответить
  96. Галина

    Ребята, вопрос от чайника, изменения в файл functions.php согласно шагу №2 нужно сделать на хостинге или можно в редакторе, в консоли?

    Через FTP соединение не предлагать!

    в 19:17 | Ответить
    • Vlad

      Проще в самом редакторе! ;-)

      в 19:26 | Ответить
      • Надежда Орехова

        Проще, но небезопасно. Если что-то пойдет не так, нужно будет делать откат, так как не останется сохраненной копии, чтобы восстановить все, как было

        в 19:33 | Ответить
        • Vlad

          Насчет безопасности это да!

          Для более опытных конечно же проще!

          Что-то я не учел момент : "вопрос от чайника"... :)

          в 20:42 | Ответить
        • Валентина

          а я открываю редактор в двух вкладках, одна вкладка и есть резервная копия...и ее еще и в блокнотик на всякий случай...если переделка не нравится, сохраняю ту, что в другом окне, старую.

          в 22:34 | Ответить
          • Vlad

            Но, это не всегда может помочь!

            Иногда файл требует полной замены и вот такое обновление не помогает...

            У меня вот к примеру, на всякий случай есть еще полностью чистая копия шаблона — много раз выручала... :)

            в 23:47 | Ответить
          • Александр Борисов

            Так не стоит делать. Если сайт глюканул, то вторая вкладка не поможет.

            в 01:52 | Ответить
          • Vlad

            Мне лично тоже не помогала! :)

            в 01:58 | Ответить
    • Надежда Орехова

      Галина, вот самый простой и безопасный вариант: идете на хостинг, и скачиваете этот файл себе на комп 2 раза, в разные папки. Один файл оставляете "на всякий случай", а во второй вносите изменения, и потом закидываете на хостинг измененный файл. Обновляете страницу. Если все в порядке, и блог отображается корректно, радостно вздыхаете и считаете процедуру завершенной. Если нет — возвращаете на место файл, который сохранили "на всякий случай", и все повторяете сначала, до получения правильного результата ;-)

      в 19:30 | Ответить
      • Александр Борисов

        100% [good]

        в 19:33 | Ответить
      • Vlad

        Надежда, вы молодец! ;-) [good]

        в 20:44 | Ответить
    • Александр Борисов

      Галина вот так потом и делают откаты сайтов и блогов. Редактировать как раз надо через ftp как сказала Надежда. Один файлик сохраняем на всякий пожарный и один правим. Если закосило, то восстанавливаем.

      в 01:42 | Ответить
  97. Галина

    Спасибо, ребята! Уже изменила в редакторе. Вроде пронесло! [:))]

    Я открывала его на хостинге, но там он имеет совсем другой вид, чем в редакторе, там строк кода больше 4000! Вот и испугалась.

    Надя, а так как Вы написали я делала изменения в файле htaccess. Вроде все нормально прошло.

    Спасибо всем еще раз! Теперь я все изменения внесла, буду ждать и не буду больше удалять "хвосты" из Гугл вебмастера. Послушаюсь ;-)

    Теперь бы еще кто-нибудь написал доходчивую статью о том, как правильно настроить рекламу Гугла, с таргетингом... ;-)

    в 19:40 | Ответить
    • Надежда Орехова

      Да я вроде обещала, так ведь обещанного 3 года ждут 😉 Так долго, конечно, ждать не придется, но планирую на конец августа — начало сентября. Как положено, подробно, и даже с видео

      в 19:59 | Ответить
      • Галина

        Я помню, потому и моргаю тут. :) Ладно, будем ждать.

        в 20:05 | Ответить
  98. Надежда

    Александр, у меня еще вопрос. У Вас в роботсе один файл сайтмап значится, а у меня почему-то 2 (и они же в вебмастерах прописаны): 1-й как у Вас, а 2-й с окончанием xml.gz. Я по-любому не с потолка их взяла... вроде с самого "Стартапа" они стоят . Это тоже ошибка? Насколько серьезная? Гугл, например, в официальный индекс загоняет файлы с обеих карт (по вебмастеру — "отправлено-проиндексировано") и их получается в два раза больше, чему у Яндекса, например... Но про эти дубли Вы не сказали :)

    в 22:30 | Ответить
    • Александр Борисов

      Одного sitemap.xml достаточно. gz не так важен.

      в 01:51 | Ответить
  99. Ольга

    Проделала все вышеописанные манипуляции, перестала работать ссылка на подписку Фидбирнюр из всех статей, из виджета работает. В чем может быть дело?

    в 22:45 | Ответить
    • Александр Борисов

      У меня все работает! Ссылки на фидбернер тут не при чем.

      в 01:53 | Ответить
  100. Ivanovskij

    Алаев красавец!!! Давно его блог читаю!!! Саня спасибо!

    в 22:59 | Ответить
  101. Олия

    Александр спасибо . У меня всё получилось , без проблем .

    Остаётся только ждать, когда уйдут дубли и изучать ваш курс 3.0

    Всем удачи! :)

    в 00:07 | Ответить
  102. Алексей

    А зачем дублировать 6 и 13 строчку в роботсе на втором шаге?

    в 08:22 | Ответить
    • Александр Борисов

      ?

      в 10:01 | Ответить
  103. Юрий

    Привет! Все бы хорошо, только после всех этих манипуляций, включая прошлую статью, у меня было страниц в основном индексе 49%, а теперь 11%. Вернул пока все на место.

    в 09:53 | Ответить
    • Александр Борисов

      У вас не могло их стать сразу меньше. А так как у вас сейчас их будет только больше.

      в 10:02 | Ответить
  104. Андрей

    Александр у меня Сео немного отличается!

    1Use Categories for META keywords:

    2Use Tags for META keywords:

    3Dynamically Generate Keywords for Posts Page:

    4Use noindex for Categories:

    5Use noindex for Archives:

    6Use noindex for Tag Archives:

    7Autogenerate Descriptions:

    8Capitalize Category Titles

    Без галок оставил только 1 и 7 ,всё правильно?

    в 12:13 | Ответить
    • Александр Борисов

      Не знаю, у меня не такой плагин.

      в 15:55 | Ответить
  105. Yavforex

    Саша, а как справляешься с дублями "читать статью полностью" (#more- ...)? Стоит ли их тоже под тег noindex заносить?

    в 14:33 | Ответить
    • Александр Борисов

      Все что после # поисковиками не индексируется. Это не дубли.

      в 15:56 | Ответить
  106. Лана

    Мама родная, только начинает казаться, что у тебя все правильно, как опять оказывается, что что-то не то...Тем не менее, спасибо за статью. Опять все исправила...Печальте нас, Александр и дальше...

    в 14:43 | Ответить
  107. Андрей

    Александр, а ссылки в статье на другие статьи (перелинковка) тоже нужно закрывать (urlspan) или только партнерские и ссылки сторонних сайтов?

    в 15:26 | Ответить
    • Александр Борисов

      Зачем закрывать свои? Свои то не надо, да и на другие некоторые сайты тоже не надо, а то все будет мега подозрительно!

      в 15:57 | Ответить
  108. Keypokupon

    Здравствуйте! Не подскажите плагин, который нанесет на картинки название сайта. Только мне нужен плагин, который это сделает и уже на существующих статьях (картинках), то есть, опубликованных!

    в 15:33 | Ответить
    • Александр Борисов

      Нет, такого не знаю.

      в 15:57 | Ответить
    • Наталья

      обычно это делают руками на этапе подготовке картинок в фотошоп или другом редакторе

      в 16:07 | Ответить
  109. Наталья

    Александр, на втором шаге, после внесения кода в файл functions, у меня пропадают страницы из общего меню- открывается белый лист. Пришлось код этот вырезать. Остальные шаги сделаны. Пришлось менять только роботс, остальное было в соответствии.

    Но вот вопрос второго шага не дает покоя. Что там можно сделать неверно? Код полностью копирую с Вашего примера, открываю файл, второй строкой заливаю его и сохраняю. После этого страницы меню ( обо мне, все статьи и пр) исчезают.

    в 16:03 | Ответить
    • Алексей

      А архив распаковал?

      в 17:54 | Ответить
    • Александр Борисов

      Может не туда ставите?

      в 20:47 | Ответить
      • Наталья

        Александр, ставлю вроде, как сказано в статье. Скачиваю файл на компьютер, открываю в Нотепад, первой строкой идет <?php: Делаю перенос строки (жму enter), потом, со второй строки вставляю все, что написано без изменений, со всеми русскими пояснениями. После сохранения, заливаю снова на сайт и страницы пропадают- все, кроме главной.

        в 16:27 | Ответить
        • Александр Борисов

          Значит что-тов шаблоне. Это надо идти к верстакам.

          в 21:16 | Ответить
  110. MrB

    Олександр, спасибо за статью!

    Обнаружил у себя на сайте, что ссылки типа ?p=1224 (из шортлинка) не редектируються на основную страницу. После открытия их в robots непонятно, что с ними будет.

    Не подскажите, как настроить редирект 301 для таких страниц или функцию, чтобы они выдавали 404 или мета тег noindex?

    Спасибо!

    в 18:36 | Ответить
    • Александр Борисов

      Адрес блога вашего можно?

      в 20:49 | Ответить
  111. Костя

    Саша, привет! У себя на блоге я сделал всё как ты сказал в статье. Единственное, что у меня не получилось — ШАГ№2 (код добавьте в файл function.php ),вернее я добавил, только сайт потом не работал. Скажи, этот шаг очень важен или того, что я сделал достаточно?

    в 20:49 | Ответить
    • Александр Борисов

      Ну чтобы закрыть page от индексации то важно. Мне кажется вы не так ставите. Ставить надо сразу после <?php и полностью код.

      в 20:50 | Ответить
      • Костя

        Я полностью скопировал и поставил после сразу после <?php, обновляю файл и появляется белый фон, сайта нет. Наверно это мой касяк в теме, не буду тебя грузить такими вопросами [:))]

        в 23:43 | Ответить
    • Сергей

      Константин, у меня то же самое было. Попробуй после второй строчки global $wp_version код вставить.

      в 00:41 | Ответить
      • Наталья

        Костя, а у Вас весь сайт слетает? У меня только страницы. Главная работает.

        Может мне тоже после второй строки вставить?

        в 16:32 | Ответить
  112. Юлия

    Ребята! Помогите моему горю!

    Подскажите, пожалуйста. Роботс поменяла. При добавлении строк в файл htaccess сайт стал недоступен. Выдает ошибку 500. Свой вернула обратно — не работает! Потом попробовала заменить полностью на Ваш пример — не работает!

    Что можно сделать?

    в 23:16 | Ответить
    • Александр Борисов

      Значит что-то еще сделали. Что-то в htacces закралось

      в 23:33 | Ответить
    • Наталья

      если есть целая копия файла- перезалить на хостинг. Если нет- обратиться в поддержку, что бы сделали откат.

      в 16:30 | Ответить
  113. Webliberty

    Слишком много редиректов тоже может не понравится поисковикам, пускай даже со страниц с дублями, некоторые правила robots я все же оставил бы)

    Ну а на своих сайтах всегда придерживаюсь простого правила: страниц в индексе должно быть столько, сколько реальных страниц присутствует на сайте — сюда входят главная, записи, страницы если речь про WP. Сложить их количество в сводке админки и сверить с индексом. Если в разы больше — повод для беспокойства.

    в 00:09 | Ответить
    • Александр Борисов

      Здесь редиректы на свой же домен, это не страшно!. А вот редиректы на другой — это обманка и за это фильтр.

      И тут как раз схема, которая позволяет убрать все дубли с блога.

      в 00:11 | Ответить
      • Webliberty

        Все — это условно, согласись) Есть масса всяких плагинов или сторонних решений, применяя которые могут появиться новые дубли, о которых можно даже не догадываться, пока не наткнешься случайно...

        Но в большинстве случаев конечно спасет от дублей, так сказать отличное решение для стандартного общего случая.

        в 00:30 | Ответить
        • Александр Борисов

          Не думаю, что из-за плагинов появляются дубли, иногда из-за плагинов появляется мусор это да.

          в 10:11 | Ответить
  114. Сергей

    Александр приветствую! Тема надо отметить шикарная — вчера просматривая видео и прочитывая на несколько раз предыдущий пост, не совсем разобрался, сегодня же просматривая и прочитывая данное дополнение все встало на свои места — и все уже сделано — благодарю!!! :)

    в 00:21 | Ответить
  115. Наталья

    Александр, с первым заданием по поводу robots.txt все получилось.

    А вот на счет .htaccess:

    я вставила предлагаемые Вами 7 строчек после RewriteBase /

    и у меня слетел весь сайт, пришлось возвращать старый .htaccess все заработало.

    Не пойму в чем причина? может потому что у меня .htaccess совершенно другой, в нем много строк, может нужно еще что-то изменить в нем?

    в 00:28 | Ответить
    • Сергей

      Наталья, а не проще скопировать полностью предложенный файл и ничего не вставлять — зачем создавать излишние трудности? Сам так и сделал, все прошло вообще шикарно — правда не первый раз делаю, еще немного добавил правда в файл — чисто для экперимента ;-)

      в 00:40 | Ответить
      • Наталья

        Сергей, что же Вы еще там добавили для эксперимента?

        в 01:01 | Ответить
    • Александр Борисов

      Возможно. Надо разбирваться, а может не туда вставили.

      в 10:10 | Ответить
      • Наталья

        Там только одна строчка RewriteBase / вот после нее и вставила [:-|]

        в 10:21 | Ответить
      • Наталья

        И еще забыла спросить, а можно просто скопировать Ваш .htaccess и поставить вместо того что есть. Это не будет плохо для сайта? А то мне Сергей посоветовал так сделать, но я так поняла что он еще что-то там добавлял, он уже не первый раз это делает. А я вот первый раз и боюсь напортачить.

        в 10:24 | Ответить
        • Александр Борисов

          Можно!

          в 10:25 | Ответить
          • Наталья

            Только что сделала, скопировала Ваш уже готовый .htaccess, закачала на сайт, сайт слетел. Читала комментарии, там у Вас было что-то не так со скобками <>. В статье уже изменено на правильно? или нужно что-то еще нужно самостоятельно изменять? уже не знаю как быть, редактирую свой .htaccess (вставляю 7 строк после RewriteBase /) — сайт слетает, ставлю Ваш готовый .htaccess — тоже самое. Помогите разобраться...

            в 11:14 | Ответить
          • Сергей

            Наталья Александру скорее всего некогда отвечать — читал по этому поводу — все написано в правилах — ознакомление — как оставлять комментарий — на мою добавку не стоит обращать внимания — сделал это для себя — просто тестирую ситуацию. Просто надо скопировать текст — и выбрал правильный путь в панели управления — а от таков — доменс — название сайта — паблик хтмл — хтассес : — все в хтасесс меняется на предоставленный вариант — и должен быть порядок — путь прописал на кириллице, мне так проще — в панели же он будет на английском соответственно. Крайний случай — если все же ничего не выйдет — тогда в службу поддержки хостингапри этом надо указать причину — либо подскажут, либо поправят, либо придется сделать заявку, чтобы откатили сайт — при этом надо указать время, когда он был в рабочем состоянии. ;-)

            в 16:31 | Ответить
          • Наталья

            Спасибо, Сергей, но с тем чтобы просто "залить" исправленный .htaccess на хостинг, у меня проблем не возникало. Я делаю через файлзилу, и все прекрасно получается, я знаю что корневая папка моего сайта находится в папке паблик аштиэмль и именно в нее вставляла. Проблема в том, что когда я его вставляю и после этого выдает ошибку 500 и белый лист. Что и куда вставляла и описывала выше.

            в 21:32 | Ответить
          • Наталья

            Да и забыла сказать, через хостинг восстанавливать не придется, я тут же восстановила сайт, просто перед тем как редактировать .htaccess, скопировала его два раза, один редактировала, другой остался прежним. И когда сайт слетел, поставила старый .htaccess и все заработало. :) Весь вопрос в том, чтобы работал исправленный .htaccess

            в 22:01 | Ответить
          • Александр Борисов

            В статье файл уже правильный.

            в 21:04 | Ответить
          • Наталья

            Спасибо, Александр. У меня будет к Вам еще вопрос. Я второй день мучаюсь с этим .htaccess и практически поселилась уже на Вашем сайте. Только с ним проблема, остальные шаги выполнила без проблем. В общем вопрос такой: когда я проверяла сайт на все эти дубли вышло, что у меня feed-93, tag-18, category-15, trackbeck-70. Остальных у меня нет. Следовательно, если я правильно понимаю, category мы закрыли через Ол Ин Ван Сео Пак, page-у меня не найдено, но я все равно сделала изменения в function.php, как сказано в статье. Далее остаются feed и trackbeck, которые и необходимо закрыть с помощью 301 редиректа. Могу ли я не брать все строки для редактирования .htaccess, а взять только строчки относящиеся к фид и трекбэк? это строки 1 и 3 , и наверно 7-я должна быть? Поможет ли это? или нельзя так?

            в 21:51 | Ответить
          • Александр Борисов

            Эти поставьте:

            RewriteRule (.+)/feed /$1 [R=301,L]

            RewriteRule (.+)/comment-page /$1 [R=301,L]

            RewriteRule (.+)/trackback /$1 [R=301,L]

            RewriteRule (.+)/attachment /$1 [R=301,L]

            RewriteCond %{QUERY_STRING} ^attachment_id= [NC]

            RewriteRule (.*) $1? [R=301,L]

            после этой строки: RewriteBase /

            в 08:32 | Ответить
          • Наталья

            УРА! Все работает! Вставила эти строки в .htaccess и никакой ошибки Internal Server 500 error как не бывало. Спасибо, Александр. [good]

            в 09:34 | Ответить
          • Наталья

            Остается только ждать. А я пошла дальше, читать вашу новую статью, уверенна там тоже много полезного ;-)

            в 09:36 | Ответить
  116. Сергей

    И чуть не забыл — хотел узнать — текст на кириллице, что идет в функции пхп — так и оставлять? Закинул с ним потому как и в видео он есть.

    в 00:34 | Ответить
    • Александр Борисов

      Да, можно и так оставить.

      в 10:11 | Ответить
  117. Сергей

    Александр, а почему на страницах replytocom стоит мета тэг "noindex, follow", а для страниц page мы ставим "noindex, nofollow"? Есть ли принципиальная разница?

    в 00:44 | Ответить
    • Александр Борисов

      Нет разницы, главное что стоит noindex

      в 10:12 | Ответить
  118. Денис

    Ипать сколько комментов. :)

    Раньше вообще не заморачивался на дубли. Совсем недавно блог ломанули. залили вирусняк. Замучился чистить. Трафик и так совсем дохлый рухнул до нуля с обоих поисковиков. И обратно не растет.

    Сейчас поудаляю дубли, может снова оживет мой бложик.

    в 04:57 | Ответить
  119. Анатолий

    Алексей, не могу в коде страницы, найденном нажатием комбинаций клавиш Ctrl + u, не могу найти заветную строчку <meta name='robots' content='noindex,follow' />. Все шаги пройдены.

    в 09:16 | Ответить
    • Александр Борисов

      Алексей помоги человеку :) 🙂 :)

      в 10:14 | Ответить
    • Александр Борисов

      На какой странице вы ищите?

      в 10:15 | Ответить
      • Анатолий

        По запросу site:designzoom.ru replytocom нашел одну из семи найденных страниц designzoom.ru/26408/?replytocom=2265, давлю на нее правой кнопкой и в новой вкладке перехожу на страницу 404! Не найдено! На всякий случай Ctrl + u открыл. Нет <meta name='robots' content='noindex,follow' />. (Искал правка — найти <meta name='robots' content='noindex,follow' />)

        в 11:37 | Ответить
        • Александр Борисов

          на 404 странице метатега быть не должно

          в 21:05 | Ответить
  120. Денис

    Александр, очень долго искал файл function.php

    Может у меня версия шаблона не такая, как у вас, но у меня есть файл functions.php

    Мне его редактировать?

    в 10:35 | Ответить
    • Александр Борисов

      да

      в 10:42 | Ответить
      • Денис

        Спасибо. Всё сделал. Сайт работает. Ждем результата.

        в 10:57 | Ответить
  121. Денис

    Я отредактировал файл functions.php в настройках темы

    Редактировать темы

    Pacifica: Функции темы (functions.php)

    Это верно?

    А то я нашел файл в файловом менеджере functions.php, но он совсем другой внутри.

    в 11:09 | Ответить
    • Александр Борисов

      Все верно functions.php в папке с темой.

      в 21:03 | Ответить
  122. Людмила

    ну просто всё понятно!!! Меня постоянно отвлекал ребёнок и то я всё сделала и всё получилось. Правда ,по видио намного понятнее ,чем по статье, ну это уже наверное у каждого разное восприятие.

    в 12:50 | Ответить
  123. Vadar

    Хвала Всевышнему, что есть такие добрые люди как вы, которые не жадничают делится своим опытом! Спасибо большое! Уважаемый и милый человек, я все сделал как вы сказали! Даже метки убрал! У меня маленькая просьба, понимаю, что у вас мало времени на такие глупые просьбы как мой, но все равно, хочу удостовериться, что сделал все правильно! Найдите пожалуйста две-три минуты для меня и загляньте на мой сайт в любое для вас удобное время и проверьте, все ли правильно. Заранее мой поклон вам и вашей семье! Да благословит вас Аллах! Амин!

    в 13:09 | Ответить
    • Александр Борисов

      Все верно кроме рекламы которая всплывает на все окно.

      в 21:07 | Ответить
      • Vadar

        Спасибо за совет! Вы наверное имеете ввиду попандер рекламу, да? Учту! Александр еще один маленький вопрос, вот смотрите, я вижу, кроме метки у вас и рубриков нет, то есть вы удалили и рубрики, в добавок Автор статьи Александр Борисов — нет ссылки. Если не секрет, как вы это сделали? Я вообще не хотел бы, чтобы перед статьей написалось мое имя, мол опубликовано Вадар, тем более когда наводишь на имя мышкой, тоже показывает ссылку! И не только ссылку, а все имя пользователя при входе на сайт. Буду благодарен, если в будущем и на это напишете отдельную статью! С уважением и с большим восхищением к вам, один из ваших читателей Вадар.

        в 01:33 | Ответить
        • Александр Борисов

          Вадар обратитесь к верстальщику и он вам все настроит. :)

          в 08:38 | Ответить
          • Vadar

            Спасибо за совет! Но я сам попробовал и у меня все получилось! Достаточно было дать об этом запрос в гугл и воля, ответ есть! [good]

            Теперь Александр у меня еще один вопрос появился ( кстати, отвечая на мои вопросы вы сами не зная помогаете мне ;-) ) Сегодня один товарищ мне подсказал, что картинки мол которые открываются в новом окне тоже считаются дублями. Так ли это? Если так, то мне что, придется в настройках всех картинок убрать ссылки? Благодарю за ответ!

            в 20:33 | Ответить
          • Александр Борисов

            Лучше убрать, можно настроить редирект attachment

            в 20:34 | Ответить
          • Vadar

            А это как?

            в 20:44 | Ответить
          • Александр Борисов

            Реально статьи мои никто не читает ))) В этой статье написал как ))) Ужос

            в 20:47 | Ответить
          • Vlad

            :)

            в 20:50 | Ответить
          • Vadar

            Ааа, вы насчет этого. Понятно! Так я все что вы написали вчера уже сделал! А разве настройка редирект attachment имеет отношения к картинкам?

            в 21:14 | Ответить
  124. Эллина

    Александр, здравствуйте!

    Спасибо за статью!

    Одно "но"... Когда мы скопировали из статьи код .htaccess на мой сайт, то хостинг сразу выдал ошибку Internal Server 500 error. К счастью, муж нашел причину и исправил ее в коде, теперь заработало. Если интересно, он может выслать код

    в 13:38 | Ответить
    • Эллина

      Упс... Нет, все-таки не работает с данным кодом, опять выдает ту же ошибку. 🙁

      HELP!

      в 13:51 | Ответить
    • Александр Борисов

      Напишите что за ошибка? Просто у меня такой же файл стоит.

      в 21:07 | Ответить
      • Эллина

        Ошибка Internal Server 500 error

        в 22:46 | Ответить
        • Александр Борисов

          Значит к верстаку смотреть шаблон и крутить индивидуально, но вообще странно, наверное не так ставите.

          в 08:34 | Ответить
  125. Мария

    Здравствуйте, Александр!

    Спасибо вам что написали эти 2 статьи + видео сделали к ним.

    3 дня сидела разбиралась с вашим материалом: откуда, почему и зачем все это лезет, смысл поняла, и именно за это еще раз спасибо вам. Пришлось все дела отставить в сторону, чтобы разобраться со всеми этими ответвлениями различного происхождения. У меня только пара уточняющих вопросов осталось:

    про feed: у меня редирект всех feed-ов стоит на feedburner. Это в данном случае важно? Также в коммент вы говорите, что "А вот редиректы на другой — это обманка и за это фильтр." Честно говоря хочется оставить редирект на feedburner, опять незадача.

    про meta robots: я так понимаю, что это нормально, что в head для page сначала будет <meta name="robots" content="noindex,nofollow" />, а потом <meta name="robots" content="noindex,follow" /> добавляемый плагином, т.е. 2 meta robots. Робот на это адекватно среагирует?

    откуда берется comment-page поняла, а вот comments не поняла, у себя не нашла, если нетрудно подскажите пожалуйста.

    И тут же тогда и про и теги, которые вы рекомендуете убрать. В коммент вы говорите, что "Главное чтобы ссылок на теги не было в статьях." У меня к тегам идет nofollow. Тэги решила оставить, поэтому вот и думаю, теги с nofollow можно считать нормальным решением?

    хммм... думала, что пару, а оказлсь 4 вопроса.

    Саша, надеюсь, что ответите.

    в 16:07 | Ответить
    • Александр Борисов

      Не надо редиректить на feedburner.

      На два метатега не адекватно среагирует. Вообще по идее блог должен потухнуть ))) То есть выдать ошибку, если нет , то нет, но не айс это.

      comments это так на всякий случай.

      Про теги. нет, нужен именно noindex

      в 21:14 | Ответить
      • Мария

        Спасибо Александр =) Редирект feed-ов изменила, теги закрыты noindex + нофолоу, редирект comments оставляем — там разберемся, сайт конечно же не рухнул )))

        в 13:11 | Ответить
  126. Артем

    после того как я все открыл в файле robots.txt посещаемость сайта скатилась на 5 человек в сутки. не знаю что делать.

    в 20:10 | Ответить
  127. Андрей

    Я тут побегал по статьям и не вижу статей читать также или читать далее...

    Александр у тебя нет плагина или скрипта для перелинковки?

    Вот если я после каждой статьи вставляю по 5 — 7 ссылок на другие статьи той же рубрики что и статья, то может и не нужен плагин Related Posts Thumbnails ????

    в 22:14 | Ответить
  128. Игорь

    "Теперь нам надо на страницах дублей где есть возможность поставить метатег noindex тот самый: <meta name='robots' content='noindex,follow' />"

    Почитал статью, комменты, в голове каша от всего...

    Куда вставлять этот метатег?

    в 11:41 | Ответить
    • Мария

      Вам самому этот метатег вставлять никуда не надо.

      Если у вас установлен плагин All in One Seo Pack, о котором говорится в статье — то вам нужно в админке своего сайта зайти в настройки этого плагина и отметить галочками то, к чему этот плагин сам (за вас) добавит <meta name="robots" content="noindex,follow" /> — это Шаг №3 в статье.

      А вот для страниц пагинации содержащих такие слова как: page/2, page/3 и т.д. — этот же плагин по идеи тоже должен добавлять этот метатег, поставив соответствующую галочку, но почему-то он этого не делает. Поэтому вам нужно зайти в function.php вашей ТЕМЫ, а не в какой-либо другой function.php, и вставить туда функцию, которая будет добавлять <meta name="robots" content="noindex,nofollow" /> для любых страниц пагинации — это Шаг №2 в статье. Чтобы сайт не рухнул — рекомендую вставить эту функцию из Шага №2 не после <?php: , а перед какой-нибудь функцией, которые прописаны у вас в вашем function.php. Та или иная функция начинается со слова function. Т.е. аккуратно добавить новую функцию из Шага №2, например, между уже двумя существующими. Под словом аккуратно я подразумеваю, что вы не должны затрагивать/разрывать рядом стоящие коды.

      Делайте [good]

      в 14:30 | Ответить
    • Александр Борисов

      Он вставляется через htaccess и через галочки в all in one seo

      в 16:52 | Ответить
  129. Наталия

    Здравствуйте! Вопрос по robots.txt — в статье он из 14 строк, а в видео вы показываете robots.txt где 17 строк. Может ошибка в статье?

    в 14:33 | Ответить
    • Александр Борисов

      Я убрал строки для рекламы google на всякий случай.

      в 16:58 | Ответить
  130. Александр Васильев

    Как всегда удивил :) Спасибо. Буду ждать увеличения трафика и продолжать работу над наполнением.

    в 15:55 | Ответить
  131. Галина Шевалер

    В общем, перечитала и возникли теперь следующие вопросы.

    1. У меня дубли только по page, tag и feed

    Все остальное ок, но делая все по вашему шаблону я как бы должна поменять все. Поисковики не любят такие сильные перемены и еще не известно как отнесутся. Поэтому можете объяснить как сделать в случае если дубли только в этих трех строках. Что и где заменить?

    2. Вы пишите что схема рабочая и проверенная, хотелось бы узнать — кем проверенная? Ведь вы сами только недавно спохватились и только еще ожидаете результата? Я правильно поняла?

    А в остальном — спасибо, навожу порядки.

    в 15:59 | Ответить
    • Александр Борисов

      Проверено на блоге того же Саши Алаева. У него нет этих дублей.

      Вы сделайте все точь в точь как тут. не будет ни каких перемен. а если они и есть, то в лучшую сторону.

      в 17:01 | Ответить
      • Галина Шевалер

        Спасибо, Саш — буду делать постепенно.

        Желаю удачи всем блогерам, которые заботятся о своих ресурсах ;-)

        в 14:27 | Ответить
  132. Сергей

    Не знаю, Александр, в этом ли причина фильтров и твоих неудач с Гуглом?

    На моем блоге к примеру стоит роботс стандартно настроенный для вордпресса, Гугл хавает некоторые закрытые в robots.txt страницы, это давно известно, но не отображает их в выдаче и никаких санкций по идее не применяет за наличие дублей, которые закрыты роботсом.

    У меня их совсем немного (96 запрещенных в роботс страниц по информации инструментов вебмастера гугла, и чуть более 200 разрешенных)

    При этом именно с данным поисковиком у моего сайта отличные отношения — получаю 40-45% поискового трафа именно из гугл (около 500 чел в сутки). Единственное да — replytocom нет в шаблоне ибо плагином древовидных комментариев пользуюсь.

    в 18:31 | Ответить
  133. Юрий

    По поводу дублей: в алл ин сео пак есть галочка, которая добавляет мета тег к основному содержимому link rel="canonical", т.е. показывает какая страница основная, это же тоже по сути решает проблему дублей?

    в 19:47 | Ответить
    • Александр Борисов

      Если в роботсе все закрыто, то не решает. У меня стояли и так каноникалы и у всех они стоят.

      в 19:48 | Ответить
  134. Юрий

    Канонические URL'ы:

    This option will automatically generate Canonical URLs for your entire WordPress installation. This will help to prevent duplicate content penalties by Google.

    в 19:49 | Ответить
    • Александр Борисов

      Что это? У всех стоят каноникали и у всех дубли.

      в 20:03 | Ответить
  135. Надежда

    Круто! Дубли уходят, и посещаемость из Гугла уже выросла на 20 %! Это при том, что я ничего не писала уже 2 месяца...

    Спасибо, Александр, за ценные советы!

    в 20:42 | Ответить
    • Александр Борисов

      Пожалуйста! А у меня посещалка с гугла растет и растет и показы и клики!

      в 00:22 | Ответить
  136. Tkalexs-bloger

    Рахмет за статью, если бы не прочитал, то и не знал бы. Всё проверил, только не было ошибок в

    attachment, attachment_id, comment-page,trackback, а в остальных хватает.В плагине All in One Seo Pack и настройках обсуждения ничего не менял, там у меня всё в порядке. Будем смотреть результаты после исправления. [good]

    в 21:27 | Ответить
  137. Надежда

    Я еще не по всем пунктам исправила.

    И вот что интересно — если пройти по ссылкам с feed на конце в выдаче Гугла, то у меня иногда (очень редко) там открывается родная статья (уже без /feed — т.е. с редиректом, почему-то...), а чаще — совсем не дубль статьи, а отдельно комментарии к статье, причем в виде кода... У А. Быкадорова, кстати, тоже :)

    Это же, получается, не дубль совсем? Зачем-то этот код комментов нужен? Стоит ли редирект с него на статью ставить?

    в 02:24 | Ответить
    • Александр Борисов

      Все feed надо ставить редирект и статей и комментаов. А из шапки вообще убирать эти ссылки, это в скорой моей статье будет.

      в 14:28 | Ответить
  138. Кеша Аксенов

    Добрый день,

    Александр, в старом robots можно было запретить индексацию той или иной странице. Сейчас все тоже самое?

    Я просто дополняю его Disallow: и перечисляю страницы к запрету?

    Спасибо

    в 12:43 | Ответить
    • Александр Борисов

      Правильный роботс в этой статье.

      в 14:31 | Ответить
      • Кеша Аксенов

        Александр, на сколько я понял, что нет.

        Тогда как закрыть страницы от индексации?

        в 15:35 | Ответить
        • Александр Борисов

          В смысле "на сколько я понял, что нет"?

          в 20:28 | Ответить
          • Кеша Аксенов

            )))раньше, я некоторые страницы закрывал от индексации в роботс.

            А теперь? Как они закрываются?

            Или осталось все как раньше? (прописываем в роботс Disallow: и далее ссылка на страницу).

            Спасибо

            в 11:45 | Ответить
          • Александр Борисов

            Как то внедрять в страницы noindex. Только так. Роботсы не помогают.

            в 12:16 | Ответить
          • Александр Борисов

            Только Яндекс еще смотрит на них. Google все возьмет.

            в 12:16 | Ответить
  139. Екатерина

    С реплитуком разобралась, но все равно не поняла, почему робот не слушает то, что написано в роботсе, а метатег слушает. Метатег любит, а роботс не любит, так что ли?

    И еще: поставила 301 редирект, но при наведении на кнопку ответить все равно выходит с реплитукомом, а когда нажимаешь, переводит на основную страницу. Значит, всё правильно и можно больше ничего не делать?

    в 12:48 | Ответить
    • Александр Борисов

      Да все правильно. В роботсе открыть и редирект, но лучше все таки кнопку заменить на скрипт.

      в 14:32 | Ответить
  140. Андрей

    Спасибо! У меня молодой блог и уже на 20-ти статьях нашел 11 дублей. Все переделал как описано, жду переиндексацию.

    Надеюсь дальше все будет ok'. И еще раз спасибо за статью, такую ценную информацию не каждый день встречаешь.

    Александр, тебе успехов и процветания.

    в 22:14 | Ответить
  141. Игорь

    Cаша, я начал удалять дубли в яндекс мастере,но когда прочитал твою статью,остановился.Ничего если несколько дублей будет удалено через вебмастер?А почему сайт может выпасть из поиска гугла,после этого?Спасибо заранее за ответ.

    в 23:35 | Ответить
    • Александр Борисов

      Я не знаю почему может выпасть. Гугл вроде как писал про это в справке.

      в 11:05 | Ответить
  142. Игорь

    Саша ,Максим Довженко говорит,что положительный скачек трафика твоего сайта также связан еще с новой версией-Панды версии 4.0.?Как ты это прокомментируешь?

    в 00:17 | Ответить
    • Александр Борисов

      Не думаю. Панда наказывает за дубли, а у меня их много. Вот начали уходить и трафик вырос. Я думаю все таки трафик пошел вверх из-за дублей.

      в 11:11 | Ответить
  143. Александр

    Саша, спасибо...Я этим вопросом уже несколько месяцев мучаюсь...Ты прям в цвет, с отпуска приехал, только что все переделал по твоим рекомендациям...

    Буду ждать индексации...Спасибо!

    в 14:04 | Ответить
  144. Олия

    Александр , здравствуйте .

    Могу я вас попросить посмотреть мой блог , а конкретнее дубли feed

    Они всё растут и растут, было 35 теперь 45.

    Прошла неделя после всех проделанных изменений .Может редирект не работает.

    Спасибо.

    в 14:20 | Ответить
    • Александр Борисов

      Олия я не смотрю блоги. Если буду каждого смотреть у меня на этой удет вся жизнь.

      в 16:33 | Ответить
  145. Игорь

    Саша сделал все как написано в статье,но сегодня утром увидел маленькую неприятность-заголовок -администирование(вход в панель) куда-то исчез.Теперь не знаю что думать,с чем это может быть связано?И моно ли его вернуть обратно?

    в 15:55 | Ответить
    • Александр Борисов

      Можно, надо вернуть все обратно и искать причину вместе с верстальщиком.

      в 16:34 | Ответить
  146. Игорь

    Александр, спасибо большое за быстрые ,внимательные ответы на мои вопросы.У меня еще один животрепещущий вопрос-раньше такого не было,даже не знаю,когда они появились-разделы-контакты,о сайте,принимаю ваши статьи, реклама-появились в двойном размере-заходишь в один раздел-мышку опускаешь-внизу точно такая же копия.Что это такое-тоже дубль?

    в 16:33 | Ответить
    • Александр Борисов

      :) ни чего не понял.

      в 16:35 | Ответить
  147. Игорь

    Их можно убрать?

    в 16:35 | Ответить
    • Александр Борисов

      кого?

      в 16:36 | Ответить
  148. Vasiliy

    Александр, спасибо большое, что щедро делитесь своими исследованиями. Реально, очень жаль многих блогеров у которых из-за казалось бы мелких но глобальных ошибок технических — рушится вера, и они перестают делиться с миром чем-то очень важным. Из-за вот таких пробелах в знаниях. Спасибо, что всё доходчиво объясняете. Лично я сделал более 50 личных ссылок на вашу статью, предыдущую, своим знакомы блогерам и направил их к вам на сайт, они и мне теперь благодарны:)

    Кстати, я свой первый сайт из-за этого забросил, перестал расти, хотя робот.тхт "у профессионалов" учился делать:) Начал новый сайт, вот теперь и это нужно доставать.

    Хотел спросить — почему показатели дублей в гугле скачут. То начнут снижаться то опять на 46 000 поднимаются? А вначале, в первый день, как дубли основные убрал — они вообще в 10 раз упали, а потом вернулись практически как и было. Я так понял они как-то постепенно уходят...

    в 16:55 | Ответить
  149. Vasiliy

    Кстати, мне ещё рекомендовали из файла робоста убрать строку с картой сайта, потому что через её как-то контент промышненно воруется, а файлы карты сайта загрузить в гугл и яндекс вебмастере.

    И ещё убрать RSS с шаблона сайта, через него тоже воруется контент. Но лично я у себя в шаблоне вообще RSS не нашёл, я конечно не грамотен в тех. вопросах, может он и есть.

    в 17:50 | Ответить
  150. Андрей

    Я бы советовал всем быть осторожней применяя данные из этой статьи... И вообще Александр так прямо говорить что вот, берите вставляйте "это" в ваш роботс.тхт и потом делаете те действия — описанные ниже... я не думаю что это верно. С такой информацией нужно быть осторожней.

    Редирект работает все как нужно, .но открылись в роботс.тхт. многие страницы такие как "page", "tag" и "coment", возможно и ещё что то, что я пока не видел, хотя эти ссылки в самом гугл вебмастер включил "на усмотрение робота" по видимому это или не сработало или что не то.

    В итоге результат после всех этих манипуляций и вставки файла роботс, который описан в этой статье... сайт попал под фильтр гугл, причем полный... А до этого посещаемость с гугл-поиск со старым роботс.тхт было в среднем 600 700 чел в сутки.при том что были много страниц дублей replitacom и т.п. .

    Когда теперь что будет неизвестно... Я никому ничего не предъявляю, все ошибки мы совершаем сами и сами несем ответственность, но давать такие безоговорочные рекомендации, вот так мол, берите и ставьте этот файл , открывайте все для робота гугл...и будет все супер... я считаю что так нельзя... И вообще я думаю если что то такое и делать, то поэтапно и очень .осторожно ... сначала одно, потом другое и только после того как появились уже некоторые результаты. а не все одним махом.

    Это может ещё для малых и молодых сайтов нестрашно, но короче результат я уже получил... И вообще доверие упало...честно говоря в который раз убеждаюсь что нужно своей головой ещё 10 раз подумать, передумать и перепроверить перед тем как применять чьи то советы, пусть даже такого авторитета...

    в 18:37 | Ответить
    • Александр Борисов

      Андрей ты наверное статью не читал. Я говорил как закрыть и tag и page. А comment это что за страницы?

      То что нельзя тупо брать и копировать это понятно, надо додумывать.

      в 19:14 | Ответить
      • Андрей

        статью читал к сожалению... tag и другие из редиректа работают нормально...разве что только с паге не того... но в вебмастере гугл должен был закрыт... Что конкретно сработало или не сработало...я пока сам не знаю...знаю только что запретил в роботс только то что знал конкретно по своим страницам... (это я и называю додумывать головой) остальное все было как тут написано сделано... а что вообще получилось... я уже говорил что не обвиняю никого...а сказал лишь что с этим всем надо быть оч осторожным всем...Блоги у всех разные и по структуре и по настройкам...и я не думаю что все к одному можно применить, хотя такое впечатление и было когда я стал смотреть что получается и что вообще у меня по ссылкам(разделам) на сайте...Короче хрен его знает... дальше видно будет... факт остается фактом-- гугл- финиш и думаю на долго если не на...

        в 22:40 | Ответить
        • Александр Борисов

          Андрей точно статью читали? Я показал как закрыть page и tag.

          в 23:00 | Ответить
      • Андрей

        кстати я подозреваю в чем дело.могло быть...Возможно у меня были какие то ошибки на сайте связанные с "?" в ссылке или ссылках...и после удаления значка /*?* они проявились в гугл ...хотя это только предположение

        в 22:49 | Ответить
        • Александр Борисов

          Андрей. Не важно что у вас было в гугле. Он не смотрит на роботс понимаете? Если у вас и есть какой-то косяк, то это не настроенный редирект после того как вы взяли мою схему. Тогда да, появится куча одинаковых страниц.

          в 23:01 | Ответить
          • Александр Борисов

            АНДРЕЙ ВЫ ЧТО ТАМ СДЕЛАЛИ? у ВАС НА КАЖДОЙ СТРАНИЦЕ — <meta name='robots' content='noindex,follow' />

            :) :) :) Не удивительно что трафик упал.

            в 23:08 | Ответить
          • Андрей

            Да я понимаю что эти штуки закрываются метатегом... и они у меня стоят... один СЕО закрывает...а второй...из шаблона или из Вордпресс закрывается... Вот правда сейчас ещё раз смотрел и заметил что у меня на "page" вот такой тег- <meta name="robots" content="noindex,nofollow" /> то есть он отличается этим "nofollow" вместо "follow" сразу не заметил , может в этом что...но я уже все равно закрыл это обратно в роботсе... остальные редиректы сто раз проверил- все работает... В общем буду разбираться.по горячим следам...может что и получится... Вам все равно спасибо за все...очень много полезного дали... а то могли подумать что я вообще взъелся... это не так. хотя на эмоциях ещё злой, но тут на себя надо ... . Надежда правильно сказала..."конфетку вместе с фальгой" ...это точно... я бы ещё добавил слишком доверился и не разобравшись как следует сразу давай ... Так что извиняюсь... Да и не Гуглом же живем... бог с ним...

            в 23:30 | Ответить
          • Александр Борисов

            Андрей вы мой коммент прочитали? У вас noindex все страницы закрыты.

            в 23:39 | Ответить
          • Андрей

            как это ...не понял...а как понять откуда и чем закрыто???

            в 23:47 | Ответить
  151. Ася

    Александр! Спасибо за статьи — очень полезно, важно и нужно. С гуглом и у меня очень большая проблема. Но возник вопрос по шагам исправления ситуации. С robots разобралась, с первым шагом тоже. А вот на втором шаге при введении данных в статье строчек блог вообще перестает работать. Пробовала уже два раза, пришлось восстанавливать через хостинг, вернувшись к предыдущей сохраненной резервной копии сайта, уже боюсь дальше еще раз пробовать. Поэтому хочу уточнить — нужно все строчки шага два без изменений вставлять в этот файл? То есть и вот эти слова "3); // добавляем свой noindex,nofollow в head" тоже просто вставляем как есть текстом или нужно какие-то свои слова прописать вместо них и их в head cамим ввести? Тогда какие слова? В чем может быть причина, что после шага 2 блог перестает работать вообще и приходится всё заново делать и восстанавливать через резервную копию? Спасибо Вам за ценные советы :)

    в 18:49 | Ответить
    • Александр Борисов

      Если у вас не работает, то обратитесь к верстальщику чтобы он посмотрел код. У всех блоги разные.

      в 19:15 | Ответить
  152. Сергей Дервиш

    Да, Александр...

    Думал у меня одного эта беда, читаю комментарии и вижу нет.

    Посещаемость упала на следующий день, с 600+ до 5 посетителей.

    Идет 6 день эксперимента, посещаемость меньше 100, дубли уходят, но не по всем позициям и очень медленно...

    Что-то в алгоритме не верно. Не докрутил где-то? ;-)

    Зато сподвиг на изучение php и прочих интересных вещей, ну и на том спасибо :-|

    в 20:21 | Ответить
    • Надежда Орехова

      Ребят, ну, вы прямо, как дети малые. Вам дали конфетку, вы ее проглотили вместе с фольгой, и возмущаетесь, что невкусно. [:-))]

      Вот почему один поет песню, и аж мурашки по телу. А другой эту же песню поет, так уши хочется заткнуть? Может, надо что-то еще, кроме чистки дублей для посещалки? Шаблоны у всех разные, ссылочная масса у всех разная и разного качества, да и сами статьи тоже разные. Правильно Саша говорить, голову-то тоже надо включать, а не просто бездумно, как макака, копировать. Ну, прочитайте в Гугле и Яндексе еще, какие у них критерии к блогам и статьям.

      А посещаемость после удаления дублей растет очень хорошо, если все остальные файлы и коды правильные. У меня на блоге всего чуть больше 60 статей, а посещалка около 500, и продолжает расти. Случайность? Трафик исключительно поисковый, в индексе Гугла 88%.

      У меня 2 блога, и на каждом положительная динамика хорошо видна.

      Если у вас что-то не так, обратитесь к верстальщику, пусть поправит шаблон, вычистит коды, сделает все как надо. И все будет в шоколаде.

      в 21:40 | Ответить
  153. Андрей

    Александр .я комет на сайте увидел...ток не понял ничего..."на каждой странице стоит вот и о трафика" ...а что это значит?

    в 23:39 | Ответить
    • Александр Борисов

      Посмотрите исходный код. У вас на всех странцах стоит <meta name='robots' content='noindex,follow' /> То есть весь блог запрещен к индексации. Щас упадет трафик до нуля вообще и с яндекса.

      в 23:45 | Ответить
      • Андрей

        жесть...значит я что то накосячил когда ... Ещё раз извиняюсь Александр... сто раз извиняюсь!!!.. вот олень...а уже третий день в роботсе ковыряюсь ппц

        в 23:50 | Ответить
        • Александр Борисов

          Дело не в роботсе. Или в плагине стоит галочка или в функтион что-то добавили или в настройках пресса запретили индексировать блог.

          в 23:52 | Ответить
          • Андрей

            Да вообще то я уже понял что... спасибо огромное Александр... это плин все я в самом начале ещё пытался этим тегом какой то тег закрыть...в итоге закрыл все таки да так закрыл что... ...сори ещё раз!

            в 23:58 | Ответить
  154. Андрей

    Все исправил... нервы тебе только порвал... не злись очень уж, пожалуйста. :) Считай просто что я трудный покупатель твоих курсов... и вот решил что и эту всю хрень лучше не по статьям изучать и применять... Извини!!

    в 00:25 | Ответить
    • Александр Борисов

      Все нормально!

      в 00:29 | Ответить
  155. Олия

    Александр спасибо , я проверила всё сама ) редирект 301 работает.Будем ждать изменений !

    в 02:28 | Ответить
  156. Нина Жуперина

    Кроме нескольких page гугл не выдал ничего, никаких скрытых результатов. Но все равно, сделала по статье всё, как Вы написали. Все-таки проиндексировано больше 1000 страниц, хотя у меня статей-то меньше 100. Как говорится: "Будем искать!" :)

    в 02:45 | Ответить
  157. Слава

    Было 601 через пару дней стало 560. Работает. Александр Спасибо !!!

    в 10:33 | Ответить
  158. артем

    все сделал по инструкции. с момента произведенных изменений прошла неделя. в результате как было 13 реплитукомов, так и осталось. хотя бы один должен был уйти за это время или еще рано судить? или я что-то сделал не так? просто в комментах пишут что "через пару дней было и стало...

    в 19:17 | Ответить
    • Александр Борисов

      Ждите Артем Ждите...

      в 19:30 | Ответить
  159. Екатерина

    Александр, а как же в роботсе раздел для яндекса? Он не нужен или User agent * это для всех?

    в 10:20 | Ответить
    • Александр Борисов

      User agent * да это для всех.

      в 19:33 | Ответить
  160. Екатерина

    И еще: вот вы советуете в шаге 1 поставить редирект в файл .htaccess. А не будет ли это массовым редиректом, за который тоже не гладят по голове?

    в 10:22 | Ответить
    • Александр Борисов

      Нет, не будет. Это 301 на ваш же домен, а не на чужой.

      в 19:36 | Ответить
  161. Ирина

    Александр, здравствуйте! Я так поняла, что метки вообще нежелательно ставить?. А в курсе, который я прохожу (Твой старт), говорили, что наоборот, они способствуют индексации. Но я согласна, что дубли они добавляют конкретно. Значит, надо вообще удалить все метки? А Роботс тоже попробую изменить, только страшновато приступать, у меня от этих названий голова кругом. Будете помогать!?

    в 13:02 | Ответить
    • Александр Борисов

      Да, метки удалите.

      в 19:38 | Ответить
  162. Александр Сергиенко

    Ну всё будем ждать, когда реплитукомы и тому подобные клоны страниц блога сгинут навсегда :)

    в 16:46 | Ответить
  163. Александр Сергиенко

    Надо провести опрос: у кого также искривилось лицо, как у парня в конце статьи, после того как узнали количество реплитукомов на своём сайте ;-)

    в 16:48 | Ответить
    • Александр Борисов

      :)

      в 19:43 | Ответить
  164. Силвер

    Очень познавательная статья нужно и себе проверить блог что бы небыло такого как у парня с верху))) :)

    в 15:34 | Ответить
  165. Sasha

    Что-то прямо невеселая картина у меня сейчас после изменений, сделанных по этой статье. В Яндекс, наоборот, повыползали лишние страницы: с аттачментом, странными окончаниями и прочим. Количество же дублей согласно Гуглу продолжает расти! Все делала по инструкции. Совсем печально на это все смотреть... Как такое может быть? Из-за чего?

    в 18:09 | Ответить
    • Александр Борисов

      А не надо делать все по инструкции. Если все будут жить и делать по инструкции, то завтра наш мир рухнет. Надо еще думать, рассуждать... Смотрите что за ссылки вылезли, применяйте описанную выше схему.

      в 19:41 | Ответить
      • Sasha

        Тогда я смело могу написать ответ: а не надо писать инструкции:) Это все из полезного, что вы как автор курса можете предложить покупателю? Конечно, обратиться к верстальщику можете не предлагать))) Это можно было и без покупки курса сделать.

        в 20:22 | Ответить
        • Sasha

          Обратилась к Сергею. Надеюсь, ваш творческий тандем принесет приятные плоды. А пока постараюсь не паниковать) и расскажу о результатах.

          в 20:52 | Ответить
        • Александр Борисов

          Что вам еще предложить?

          в 23:33 | Ответить
          • Sasha

            Пока ничего:), я просто решила смешно и логично ответ продолжить. Ну, что еще остается делать в такой ситуации: смеяться (иронизировать) и пытаться не паниковать.

            в 11:37 | Ответить
          • Sasha

            Докладываю обстановку: вчера Гугл показывал 23 000 дублей, сегодня примерно в 10! раз меньше. Если такое возможно и ничего у поисковой системы не глючит, то это мега-здорово. Огромное спасибо!

            К вопросу "что предложить":)... Надо бы как-то статью о мерах для Яндекса, потому что почему-то там повылезали лишние страницы, особенно с аттачментом. Поэтому продуктивной работы над блогом, чтобы статья писалась легко и быстро, приходили правильные идеи, и интернет не подводил.

            в 11:48 | Ответить
          • Sasha

            Уже опять 23400... вообще ничего не понимаю с этими поисковиками. То ли перегрелись, то ли еще что. Не буду пока на них внимания обращать, а то так только и можно, что сидеть статистику проверять)))

            в 14:25 | Ответить
          • Александр Борисов

            Аттачменты не должны повылезать если настроен редирект.

            По дублям. Еще рано радоваться. :)

            в 10:15 | Ответить
  166. Алексей

    Здравствуйте! Меня интересует, Ваша статья будет дописана, т.к. в вашем роботсе есть разрешения некоторые понятные, о вот некоторые не совсем 🙁 и + вы добавили еще одно запрещение. [:-|]

    в 22:47 | Ответить
    • Александр Борисов

      Будет возможно еще и третья часть! Но пока мне нельзя ее писать! :) Секретная информация под семью печатями!

      в 23:38 | Ответить
  167. Надежда

    Александр, вот только я было собралась скопировать Ваш роботс, как гляжу — он у Вас разросся! То, что у Вас в него добавлено, не всех касается? Можете в двух словах пояснить, зачем вот это Disallow: /*?* и Множество Allow: ?

    в 23:04 | Ответить
    • Александр Борисов

      Пока не могу сказать. Информация не для разглашения! Скоро все расскажу. В любом случае так как у меня все описано в статье, все верно!

      в 23:54 | Ответить
    • Галина

      Увидела Ваш коммент, пришла посмотреть, как роботс разросся, но ничего не увидела... Такой же маленький, как и был. Или я не там смотрю?

      в 11:12 | Ответить
      • Александр Борисов

        Галина обновите страничку. Это мои эксперименты. статье схема дана рабочая, на меня не смотрите. Я отдельный случай. :)

        в 11:55 | Ответить
        • Галина

          Два раза уже обновила и ничего нового не вижу! Наоборот, Ваш роботс стал короче, убрали строчки

          User-agent: Mediapartners-Google

          Disallow:

          Где смотреть в статье? Или где-то в комментариях?

          в 12:59 | Ответить
          • Александр Борисов

            Нажмите сtr+f5 в браузере.

            в 13:51 | Ответить
  168. Серж

    Сделал все как по схеме вчера, утром смотрю сайт не работает ошибка 303

    в 12:30 | Ответить
  169. Vlad

    Раньше вроде дублей становилось меньше, а теперь больше чем было и продолжают расти...

    В вебмастере гугл :

    было replytocom 1 493 — сейчас replytocom 1 508

    Хотя с выдачи страницы вроде вылетают...

    Александр, что не так? Могут ли быть вот такие перепады?

    Все настройки сделаны четко по твоим постам!

    в 13:03 | Ответить
    • Александр Борисов

      То что прыгает это нормально! У меня тоже было 2500 как-то потом 6000 и вот щас 4700!

      в 13:52 | Ответить
      • Vlad

        Понятно! Ну тогда все ок!

        Спс! ;-)

        в 22:06 | Ответить
        • Александр Быкадоров

          У меня тоже прыгали, сейчас стабильно вроде почуть идет вниз

          в 22:29 | Ответить
          • Vlad

            Ок! Буде вести наблюдение! [:--_)]

            в 01:41 | Ответить
  170. Сергей

    Саша, во втором шаге ты написал, что код нужно вставить в function.php сразу после <?php:

    У меня в редакторе есть только functions.php (функции темы) это этот файл? и двоеточия после <?php нет

    в 22:42 | Ответить
    • Александр Борисов

      Все верно в functions.php сразу после <?php

      в 00:46 | Ответить
      • Алекс Fomik

        Саша привет! А почему в этой статье ты не говоришь про диррективу Allow в твоем роботсе? То есть ты ботам напрямую разрешаешь индексировать определенные страницы... И еще... В статье про реплитоком ты говорил, чтобы убирали Disallow: /*?*, а у самого в роботсе это оставил?

        в 16:52 | Ответить
        • Александр Борисов

          Я экспериментирую. На меня можно не смотреть. Я добываю знания экспериментами, проведенными на своей шкуре :) Ну и не только поэтому поставил эту директивы. Пока не могу сказать почему во благо блогосферы.

          в 17:35 | Ответить
          • Алекс Fomik

            Интересно ты отвечаешь :) Сначала говоришь, что это 100 пудово!!! А потом — это эксперимент [:--_)]

            в 19:33 | Ответить
          • Александр Борисов

            Поверь все для вашего же блага. :)

            в 21:55 | Ответить
          • Алекс Fomik

            Cаня, вопрос конечно глупый, но все же... Ты не в курсе, почему на хостинге может находиться несколько файлов хтасес, как это есть у меня? Причем, один совсем малюсенький, а два других огромные. Когда избавлялся от соплей по твоей первой статье, вставка кода в первый файл результата не дала, пришлось залить этот код во все 3 файла))) Тогда все заработало.

            Вопрос. Какой из этих файлов ненужный? Я так подозреваю, что некоторые из них появились после применения некоторых плагинов по защите блога. У меня есть свой старенький видеокурс, где я учу новичков элементарно защищаться от взлома. Но уже сам понял, что курс морально устарел, многие шаги в нем бесполезны, поэтому убрал его из сайтбара, где он раньше хорошо набирал базу подписчиков))) А теперь и вовсе задумываюсь о его удалении...

            в 10:55 | Ответить
          • Александр Борисов

            Я бы попробовал удалить все и оставить один. Сделать его таким как я дал в этой статье.

            в 11:36 | Ответить
  171. Роман

    Спасибо за информацию, все получилась. все сделал как вы сказали.

    в 14:47 | Ответить
  172. Тарас

    Саша выручай! Привет! :)

    В all in one seo pack запретил индекс рубрик, но когда смотрю их исходный код, то там тега нет, плагин не прописал запрет <meta name="robots" content="noindex,follow" />.

    Рубрики полетели в индекс.

    С чем это может быть связано?

    в 00:27 | Ответить
    • Мария

      плагин all in one seo pack претерпел обновления недавно, и после этого он и к рубрикам и к тегам не хочет добавлять noindex

      в 02:32 | Ответить
      • Тарас

        Как решили данную проблему?

        в 11:06 | Ответить
        • Мария

          Тарас, как я решила эту проблему: из-за того, что плагин не хочеть выставлять noindex и nofollow, мне пришлось дописать в код or is_category () or is_archive () or is_tag (), поэтому вместо строчки №4 в коде:

          is_paged () // Все и любые страницы пагинации

          у меня прописана вот такая строчка:

          is_paged () or is_category () or is_archive () or is_tag ()

          в 14:09 | Ответить
    • Александр Борисов

      Попробуй дописать строку в код, что я дал для functions.php:

      is_category () // Просмотр архива статей по категориям

      Думаю поймешь где вставить.

      в 10:18 | Ответить
      • Тарас

        А all in one seo pack обязательно обновлять? Саш, у тебя вроде старая версия?

        в 11:05 | Ответить
        • Александр Борисов

          Я пока не обновляю, потому что в новых дыра. Пока не могу сказать про нее. Поэтому и Роботс изменил.

          в 08:22 | Ответить
    • Игорь

      Я тоже на этом все время спотыкаюсь. Тарас, внимательно посмотрите видео во второй половине.

      Нужно набрать в гугле site:ваш домен(здесь пробел) teg.

      Найти "Показать скрытые результаты.", перейти на любую страницу от туда и просмотреть код. Там все покажет.

      в 19:40 | Ответить
  173. Алена

    Да, с этими настройками посещаемость стала расти. Плюс ссылочки почистила по следующей статье. Спасибо автору!

    в 12:27 | Ответить
  174. Игорь

    Саша,после того как проделал эти манипуляции,из индекса яндекса выпало 600страниц.С чем это может быть связано?И вернуться ли они в индексацию?

    в 14:41 | Ответить
    • Александр Борисов

      Я не вижу проделанных манипуляций смотря на ваш роботс.

      в 15:12 | Ответить
      • Игорь

        Делал точно,но наверное недоделал,сейчас еще раз все сделал,на этот раз уже точно все правильно.Саша ничего страшного,если я полностью скопировал твой файл .htaccess,как написано в этой статье?

        в 23:32 | Ответить
        • Александр Борисов

          Этого сказать не могу. Здесь показана схема избавления от тех дублей, которые я написал, если у вас есть другие, то мой htaccess может быть не достаточен.

          в 10:32 | Ответить
  175. Игорь

    После первой статьи сделал все рекомендации. Все работало нормально.

    Сегодня, читая статью, решил проверить еще раз.

    1. Стал пробовать кнопку "ответить" Выдает нечто странное: "ERROR:

    Can't find the 'commenforming' div"

    2. Установил раньше мета тег <meta name='robots' content='noindex,follow' />. Сейчас не могу его найти.

    в 23:02 | Ответить
    • Игорь

      С мета тегом разобрался, а вот с комментариями не понятно.

      в 01:16 | Ответить
  176. Акмалжон

    Большое спасибо Александр.

    в 23:26 | Ответить
  177. Игорь

    Такого файла function.php я у себя на блоге не нахожу

    в 23:33 | Ответить
    • Игорь

      Здесь разобрался

      в 01:15 | Ответить
    • Александр Борисов

      functions.php

      в 10:33 | Ответить
      • Игорь

        Это Вы мне (functions.php)? Если мне, то я нашел где это сделать.

        Вот с комментарием не смог разобраться.

        Когда сделал все рекомендации все работало нормально.

        Вчера после последних настроек стал проверять "Ответить" — выдает ошибку "ERROR:

        Can't find the 'commenforming' div"

        Александр, пожалуйста посмотрите в чем дело.

        в 17:47 | Ответить
        • Александр Борисов

          Игорь обратитесь к верстальщику.

          в 18:09 | Ответить
          • Игорь

            А причем здесь верстальщик?

            Я выполнял ВАШИ рекомендации. Они повлекли ошибку. Думаю Вам и давать рекомендации как их устранить.

            в 23:24 | Ответить
          • Александр Борисов

            Думаю надо обратится к верстальщику. Он посмотрит код, который у всех разный и у меня 30 000 подписчиков, мне всем код смотреть и давать рекомендации?

            в 23:53 | Ответить
          • Игорь

            Ну все понятно.

            в 00:08 | Ответить
          • Игорь

            Подскажите где его взять. Тема взята в интернете. Кто автор трудно узнать.

            в 17:51 | Ответить
          • Александр Борисов

            На фрилансе.

            в 10:09 | Ответить
          • Вахтанг Панджакидзе

            Александр, еще один вопрос: код для файла роботс у тебя скачать с этой статьи? Просто заменить site.ru на свой. Просто ранее который был, он же состоит из кодов для яндекс и гугл, а тут все общее. Нормальный он будет, если, указанный код скачать и вставить или ты показал просто пример?

            в 19:13 | Ответить
          • Александр Борисов

            Мой верный, но надо смотреть еще на свои сопли и мусор, что-то добавлять в htaccess и т.д. Тут надо понять саму схему и действовать.

            в 08:28 | Ответить
          • Вахтанг Панджакидзе

            Привет Саш! Такая же ошибка))). А где верстальщика найти — через фриланс?

            в 19:05 | Ответить
          • Александр Борисов

            Да, на фрилансе Вахтанг! Их куча там.

            в 10:10 | Ответить
  178. Александр

    Саша, спасибо, внимательно прочитал эти две статьи. [good]

    Однако, появилось несколько вопросов, помоги тёзке.

    1. У тебя в роботс,не смотря на рекомендации, есть Disallow: /*?* а также непонятно назначение Allow, их ставить надо?

    2. Почему ты рекомендуешь поубивать все метки, ведь они улучшают юзабилити сайта. Согласен, что в качестве ключевых слов через All in one SEO их ставить не надо. Тем более, мы же ведь их закрыли через тот же All in one SEO, у меня проверил, стоит <meta name="robots" content="noindex,follow" />

    3. Самое главное. [:-|] Не получился ШАГ 1. — htaccess ставится только мой, родной. Те строки, что ты рекомендуешь, и тот файл, что в тексте статьи приводят к ошибке 500. Может, проблема в теме или в хостинге (хостенко), обратиться к ним?

    Спасибо, поднимем с колен блогосферу вместе! ;-)

    в 20:44 | Ответить
    • Александр Борисов

      Александр не надо смотреть как у меня. У меня эксперименты и т.д. Другие дубли и все такое. Я проверяю все на своей шкуре. Ну а

      2. Ну а какая от них польза от меток если они закрыты?

      3. Может да, проблема в хостинге. Все должно работать если все верно сделано!

      в 08:27 | Ответить
  179. Алексей

    Здравствуйте! Еще когда ваша статья была написана, в файле роботс была строчка с омпин. Что это за омпин, за что он отвечает? Потом вы его убрали. Я установил первый роботс со строчкой омпин, его убирать или нет, поясните за что отвечает? Остальное вроде как понятно.

    После того как я все сделал как вы рекомендовали выше, у меня в гугле без изменений почти, только в вебмастере ошибки новые появились, в принципе как раз связанные с дублями и с удаленными статьями, а вот с яндекса улетело немного. Пока всё прыгает. Вот такие результаты. :)

    в 13:50 | Ответить
    • Александр Борисов

      ompin это вообще лично моя строка, ее не надо добавлять. И в роботсе ее не было в статье. Не знаю зачем все начали брать ее.

      Сделайте все по инструкции с 2-х статей и ждите.

      в 09:47 | Ответить
    • Алекс Fomik

      Сегодня проверил сопли в поиске Гугла после нововведений. Через 5 суток есть их убывание по всем параметрам. Понемногу, но есть. Так, что схема от А.Б. реально начала работать... Как это скажется на песещалке и других параметрах блога, поживем-увидим...

      А пока, Саня — спасибо [good]

      в 10:23 | Ответить
      • Александр Борисов

        Пожалуйста. У меня дублей тоже в 2 раза меньше уже.

        в 23:12 | Ответить
  180. Наталья Кочеткова

    Добрый день, Александр. Внесла изменения в файл .htaccess — и теперь у меня при переходе на любую статью выдает — Not Found

    и назад вернуться не получается, хотя старый файл сохранила и снова загрузила — караул!

    в 20:40 | Ответить
    • Александр Борисов

      Уже все работает!

      в 09:48 | Ответить
  181. Наталья Кочеткова

    Работает благодаря службе поддержки хостинга. А если я смогла изменить только роботс — польза будет?

    в 12:48 | Ответить
    • Александр Борисов

      Нет, нужно понять суть и настроить не только Роботс

      в 08:23 | Ответить
  182. Александр

    Александр, я писал 19 июля. Я немогу настаивать, но пожалуйста ответь если можно... [present]

    в 18:07 | Ответить
  183. Дориан Грей

    Здравствуйте Александр! У меня к Вам вопрос. Либо я отстаю от жизни, либо Вы нашли новую фишку? ;-) Я про robots… Обычно для Яндекса переписывают все команды. То есть robots состоит из: User-agent: * и User-agent: Yandex или мы Яшу сводим со счетов? :) Заранее огромное спасибо за ответ! [:-))]

    в 19:49 | Ответить
    • Александр Борисов

      А что Яша будет индексировать то? Если все что надо закрыто noindex и стоят редиректы.

      в 20:30 | Ответить
      • Дориан Грей

        И то верно, что то я об этом совсем не подумал :) А статья действительно бомба! Спасибо огромное [good]

        в 21:45 | Ответить
  184. Игорь

    Cаша, после этих изменений,описанных у тебя в этой статье-repiytocom ушло около 10 тысяч.Cаша у меня на сайте дублей feed-332,page-244, trackback-369,саtegory-174.Саша ,достаточно ли для того,чтобы ушли эти дубли,тех изменения в файле .htaccess и functon.php,что ты описал в этой статье?

    в 19:13 | Ответить
    • Александр Борисов

      Достаточно.

      в 23:14 | Ответить
      • Игорь

        Cпасибо!

        в 20:49 | Ответить
  185. Олег Клышко

    Я начал делать по инструкции как написанно в статье и засомневался, а правильно это или нет?

    в 08:41 | Ответить
  186. Олег Клышко

    Александр не поскажите, установил плагин который отвечает за кнопку ответить, при нажатие ответить в комментариях всплывает окно, что надо одобрить у админа блога. Плагин не работает с установленным шаблоном? Может что то в настройках его надо сделать?

    в 08:45 | Ответить
  187. Игорь

    Читал я, читал Александра и всё-таки не выдержал решил провериться. Набрал в поиске: site:kochetov.su replytocom.

    И что же в результате?! Да я просто красавэлла! Никаких дублей :-|

    в 14:25 | Ответить
    • Александр Борисов

      А что раньше были?

      в 14:38 | Ответить
  188. Ольга

    После начала борьбы с дублями страниц и проделанной работы согласно рекомендациям в этой статье у меня довольно резко стало падать количество проиндексированных страниц в гугле, при этом активно растет кол. проиндексированных страниц в яндексе. Вот не знаю, хорошо ли это? Хотя я еще делаю работу по оптимизации старых статей.

    На посещаемость пока это никак не сказывается.

    в 11:49 | Ответить
    • Александр Борисов

      Надо смотреть какие страницы начинают индексироваться и принимать меры. Все под копирку естественно не поможет. У каждого свой шаблон.

      в 09:59 | Ответить
      • Алекс Fomik

        Саш, а почему в хтасес нету строки про категории?

        в 11:44 | Ответить
  189. Екатерина

    Я попыталась поискать дубли на сайте Гугл пишет: Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Не пойму это хорошо или плохо или надо сначала изменить robots.txt?

    в 03:54 | Ответить
  190. Кеша Аксенов

    Добрый день.

    Я насколько я понял, файл robots.txt у тебя изменился.

    Почему?

    Спасибо

    в 14:54 | Ответить
  191. Николай

    Пожалуйста подскажите как убрать ?ssid для Ucoz? Должно же быть легче

    в 20:21 | Ответить
  192. Игорь

    Сейчас случайно проверил свой блог плагином RDS. Вот что увидел:

    Для Yandex: 17 Закрытых от Yandex (<noindex>, rel="nofollow"): 33 Для Google: 18 Закрытых от Google (rel="nofollow"): 32

    Что это означает? Все вроде сделано по Вашей инструкции.

    в 20:40 | Ответить
  193. Александр

    Александр, у тебя в индексе Гугла больше 10.000 страниц(79% из 14.100), на самом деле значительно меньше страниц. Что же это, если не дубли? Может это причина "скромного файла роботс"? [:--_)]

    У тебя действительно изменился robots может в этом причина? Был вообще скромный, в несколько строчек. :-|

    в 20:51 | Ответить
  194. Александр

    Извиняюсь, посмотрел через браузер и все сошлось 12% из 3.420 стр.

    Ведать все правильно! ;-)

    в 21:03 | Ответить
  195. Tkalexs-bloger

    Александр я вот хотел спросить, Вы ведь знаете про плагин WP No Category Base. С помощью данного плагина можно убрать префикс tag из URL-адресов, а также другой плагин который убирает префикс category. Я что то про них нигде не услышал, или может где то упустил. :-D

    в 19:15 | Ответить
  196. Лилия

    Добрый день! Хочу сказать спасибо за статью. Но почему так получается, что количество "дублей" каждый день разное, причем так: больше-меньше-больше-меньше( Это так и должно быть? Спасибо.

    в 07:09 | Ответить
  197. Ольга Орлова

    Александр, здравствуйте. Я вот эту строку никак не могу поставить <meta name='robots' content='noindex,follow' />. Всё сделала как у Вас, может быть из-за шаблона? Он у меня сам настраивает редирект, тогда в htachess ичего не менять? И ещё у меня упала посещаемость на 700 чел и ошибок вылезло очень много. ожет быть вернуть старый роботс.

    в 08:17 | Ответить
  198. MariBlog

    Александр, спасибо тебе большое за эту огромнейшую статью и очень полезную, Я объязательно подпишусь!!! [good]

    в 18:07 | Ответить
  199. Дмитрий

    Спасибо за статью!!!

    Подскажите!!! блог у меня совсем юный, и дублей соответственно тоже (4 на feed и 1 на category), роботс почистил, галочки поменял, Вопрос: есть ли смысл ставить редиректы?не очень хочу копаться в коде?!

    в 14:58 | Ответить
  200. MariBlog

    Александр!!! Я просто в восторге от тих настроек)) Посмотрел поисковые запросы резко увеличивлась диаграмма. Спасибо тебе :)

    в 23:35 | Ответить
  201. Александр

    У меня реплитукомов — 0,

    site:/& — 73 шт,

    вот только ссылок по линкпаду многовато — больше 8 тыс.

    По реплитукомов ничего не делал, может их нет, потому что домен .РФ?

    в 18:18 | Ответить
  202. Александр

    Вы в курсе говорите удалить один из вредных плагинов для редиректа ссылок, но у меня очень много ссылок на официальные сайты программ, этот плагин ставит атрибут nofollow, а если я его удалю все ссылки откроются! Как быть вручную ставить spam на все ссылки?

    в 15:51 | Ответить
  203. ЯНИС

    Незнаю даже, использовать вашу схему или нет, у каждого свой шаблон, и при его коверкании можно еще и хуже делов натворить, тут надо сначала код своего шаблона изучать, а потом уже ваши рекомендации...

    в 01:44 | Ответить
  204. артем

    УрррааААА! У меня кривая реплитукомов наконец-то поползла вниз!! Было, конечно не много, всего 13 (просто блог молодой еще), а теперь осталось 7! Спасибо Александр огромное, все получилось!! :)

    в 12:15 | Ответить
  205. Александр

    Хм, странное дело...Примерно через месяц .htaccess снова вдруг стал как изначально. Но при этом никаких действий с блогом не происходило! Мистика прям!

    Кто производил все эти действия, проверьте свой .htaccess, изменен он или нет? У моего друга тоже изменился сам по себе!

    в 15:44 | Ответить
  206. CMSONY

    А зачем исправлять robots под Яндекс? Ведь проблема наблюдается только в Гугле... Можно же просто разделить robots и указать, что не индексировать Яндексу, а для Гугла открыть доступ. Кстати, все эти дубли для более быстрого эффекта, можно удалить через вебмастера Гугла.

    в 22:33 | Ответить
  207. Лилия

    Александр, здравствуйте! У меня вопрос такой: нужно ли все это проделывать для нового блога? Чтобы дубли не появились? Или этот метод только для исправления косяков по ходу? Благодарю.

    в 00:39 | Ответить
  208. Айна

    У меня после выполнения всех рекомендаций Александра, вроде число посетителей не изменилось (не меньше и не больше), но вот доля поискового траффика от фичи Liveinternet почему-то потихоньку опустилась до 0 (было 14-15%). Траффик с поисковых систем вроде идет, понижения нет, но почему в этой фиче указывается 0, не пойму. Уже неделю так, не меняется... [:-|]

    в 13:39 | Ответить
  209. Liliya

    Подскажите пожалуйста, что значит если гугл выдаёт:

    По запросу site:lidaart.ru replytocom ничего не найдено.

    и так по всем пунктам

    почему я не могу проверить дубли? смотрю ни у кого не было такой проблемы

    в 00:57 | Ответить
    • Александр Борисов

      Значит все у вас хорошо!

      в 10:29 | Ответить
  210. Лазарев

    Александр, у блога wpnew.ru тоже полно дублей реплитуком и других, как и у вас. Но у него трафик распределяется равными долями между яндексом и гуглом? То-есть с гуглом нет проблем. Что думаете об этом?

    в 02:46 | Ответить
    • Александр Борисов

      Значит могло бы быть лучше. Он уже убрал дубли, думаю что ситуация станет скоро на много лучше.

      в 10:28 | Ответить
  211. Гульнара

    Здравствуйте, большое спасибо автору за информацию. [flower] О существовании дублей узнала только сегодня, когда задумалась о количестве страниц на моем сайте так бы и дальше сидела и не знала :) Буду разбираться, что к чему.

    в 17:31 | Ответить
  212. Айна

    Все-таки кто-нибудь знает, почему это приложение от Liveinternet может показывать ноль в доле поискового траффика? Получается, что с ПС наплыва нет, но это не соответствует действительности...

    2 недели уже голову над этим ломаю, нигде толком ничего об этом не написано 🙁

    в 16:59 | Ответить
    • Алекс Fomik

      Привет коллега! Да, виджет от ливинтернет показывает 0, а панели лива трафик с ПС есть?

      в 16:29 | Ответить
  213. Yurbol

    Вот скажите, вот эти все ти-по дубли закрыты в робот.тхт, Яша их не берет в индекс, а Гугл берет, но не в основной а в сопли. То есть в мусор. Если какое либо подтверждения тому, что гугл учитывает свою не основною выдачу (сопли)? Яша бы тоже может бы брал, но у него как известно нету выдачи (соплей) как у гугла, поэтому и не попадают такие запрещенные страницы в выдачу. И еще вопрос, а причем здесь рубрики (категории) к дублям, это же не дубли а простые страницы, многие их оставляют не закрытыми и даже их продвигают для получения трафика. Спасибо!

    в 00:22 | Ответить
    • Yurbol

      Да и page тоже как-то не относиться к дублям, это простая нумерация страниц. При закрытие что категорий, что нумерации страниц они яшей не учитываются, а в гугл попадают в сопли, как и другие страницы которые мы закрываем. Допустим я закрыл какую либо статью, она выпала с Яши а в гуглу попала в сопли, что это дубль?)))) Как мне кажется мы начинаем городить огород не зная, что будет дальше.

      в 00:27 | Ответить
      • ЯНИС

        Я с вами согласен, городим огород из пустого места! В гугл создан раздел (сопли), специально для таких дублей-это правила Гугл, а пессимизация сайта может быть только от 1000000 дупликатов. У меня закрыты только в роботс дубли, и при просмотре через rds бар, основной индекс 100%.

        в 13:45 | Ответить
  214. Александр Макаров

    Здравствуйте Александр! Помогите пожалуйста, всё поставил, как у Вас в статье: робот поменял, в функшон добавил и в htacces добавил данные Вами строки. Вот уже как неделя прошла, но посещалка упала со 100 чел до 50-60, ошибок в гугле структурированных данных стало 122, а было 8. Хотите сказать что так и должно быть? Может робот поставить назад какой был (от твоего старта)

    в 18:36 | Ответить
    • ЯНИС

      Роботс надо не тупо копировать, а самому составлять с учетом содержимого шаблона и всей этой схемы...

      в 14:15 | Ответить
  215. Yurbol

    Ну почему же. в статье написано берем и вставляем себе этот робот.тхт. Получается тупо копируем.

    в 15:02 | Ответить
    • ЯНИС