Каким должен быть robots.txt

[larisa555]

Каким должен быть правильным robots.txt на Ворд прессе?
Сейчас он такой:
User-Agent: *
Disallow: /_private/

User-agent: Yandex
Disallow: /_private/

[brederik]

User-agent: Yandex
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-login.php
 Disallow: /wp-register.php
 Disallow: /xmlrpc.php
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /feed
 Disallow: */feed
 Disallow: /*?*
 Disallow: /*?
 Disallow: /*.js$
 Disallow: /*.inc$
 Disallow: /*.css$
 Disallow: /search/*/feed
 Disallow: /search/*/*
 Disallow: /tag/
 Allow: /wp-content/uploads/
 Host: Yoursite.ru
 Sitemap: http://Yoursite.ru/sitemap.xml

User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: /tag/
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 Host: Yoursite.ru

Sitemap: http://Yoursite.ru/sitemap.xml.gz
Sitemap: http://Yoursite.ru/sitemap.xml

Хотя здесь все отчасти индивидуально и зависит от того что и каким образом вы используете, к примеру если комменты разбиваются на страницы, то их лучше закрыть от индексации, так как это приведет к копированию контента. + у вас могут быть другие страницы которых нету в стандартных шаблонах, или вы не используете карту сайта. Главное не допускать копирования контента

[larisa555]

А стоит ли прописывать для яндекса и гугла отдельно?

[brederik]

Дело в том, что алгоритмы яшы несколько другие, нежели у всех других поисковых машин, ну русские всегда отличались) от сюда и индивидуальные параметры. С ним вообще надо быть осторожней, так как это сплошные проблемы, об этом можно на любом форуме почитать. А гугл можно явно не указывать. Также при желании можно отсеять мелкие не очень качественные западные системы.

[larisa555]

У меня сайт на юкосе робот прописан для всех сразу и яндекс хорошо кушает статьи, ТИЦ 10, PR 3. А недавно сделал сайт на ворд прессе с тем роботом, которые вверху, яндекс принял сайт, но пока проиндексировал только главную страницу.

[brederik]

Тиц и ПР это по сути количество ссылок на ваш сайт с других ресурсов (как правило, схожей тематики) это могут быть и каталоги и RSS-агрегаторы, но это не имеет абсолютно никакого отношения к роботу. А тиц и ПР не является показателями быстроты сканирования, они лишь говорят, что о вашем ресурсе говорят другие не более того.
дело в том, что юкоз уже готовая система, как виндовс (это для людей далеких, скажем так), а ВП поставляется сырым, но дальше вы с ним можете делать, что угодно и настроить под себя как Линукс.
У меня пост практически сразу идет в выдачу, по крайней мере, гугла, а яша несколько медленней, к тому же имеет значение частота обновления информации на сайте и срок жизни домена, как правило, проект с большим периодом жизни индексируется значительно быстрей. Также индексацию и позицию в выдаче увеличивает присутствие на сайте социальных элементов, особенно в гугле)
Закиньте лист для пинга, это значительно ускорит индексацию, и избавит вас от проблемы копипаста, верней это не избавит вас от самого копипаста, но заявит ваш ресурс как обладатель оригинального контента.

[brederik]

Лично я вообще не понимаю, от чего люди до сих пор так акцентируют внимания на данных показателях, они уже для большинства нормальных рекламных площадок даже не важны.
Лично для меня важно сделать сайт интересным для людей, а главными критериями я считаю количество страниц в индексе гугла, для России яши, а также коэффициент возврата пользователя. Дело в том, что эти самые тиц и пеэры можно легко накрутить, а толку? Это когда я куплю аттестат, а профессию знать не буду, в чем здесь смысл?
А с хорошим коэффициентом возврата я знаю, что людям нравится мой ресурс и они возвращаются сюда регулярно, от сюда и хороший CTR. А все те счетчики с тиц и пр показателями, которые ставят на сайт, это ничего более чем членомер). Лично я бы не переживал за них.

[Yuri]

Тиц и ПР это по сути количество ссылок на ваш сайт с других ресурсов

ТИЦ — да, PR — нет. PR, скорее, уровень адекватности. Могу предъявить сайт с ТИЦ 0 (Яша говорит: Ссылающихся сайтов: 2) и PR 4.

Лично для меня важно сделать сайт интересным для людей

А вот с этим согласен на 200%.

[larisa555]

Большое спасибо за интересные ответы. Но всё же, чем больше качественных ссылок на сайт, тем и поисковики к сайту лучше относятся.

[brederik]

Большое спасибо за интересные ответы. Но всё же, чем больше качественных ссылок на сайт, тем и поисковики к сайту лучше относятся.

Да, раньше было так, а сейчас эту функцию полностью выполняет Г+.
Исходя из данных Г. Аналитикс всего пару + могут вывести страницу в топ поисковой выдачи (при условии что она грамотно оформлена), При чем здесь принцып тот же, если лайкает человек так или иначе связанный с тематикой сайта, а если и с подтвержденным проыелем в Г+, то а) Это навечно, Б) Из-за некачественных каталогов сайт не попадет под фильтры.
Что касается яши, то практически на всех сайтах, с абсалютно разной тематикой основные посетители из России, а траффик, как праило не качественный (за исключениям Москвы). особенно если на сайте стоят рекламные материалы, по нынче популярной системе СРА. Ибо приходят от туда как правило по запросам с приставкой «халява»
Раньше проганял по каталогам и агрегаторам, нопосле одного случая осознал что за SMO будущее. Написал одну статью решающую проблему с популярной игрой, за один день абсалютно без усилий с моей стороны я получил на новый тогда сайт с посещаемостьюв пару десятков до 1000 хостов ЦА. При этом люди сами делились ссылкой За первый месяц отследил 84 входящих ссылок на пост,ну и понятно все они были тематическими. От сюда вывод люди которые предлагают прогнать сайт за 1,5 к по каталогам (да ещ и спам софтом как правило —- жулики!). Лучше вкалдывать средства в качественный контент, а если он будет таковым люди сами рознесут его по сети. Экономия на лицо. И сокращается риск попасть под фильтры.
Я не писал это чтобы оспорить чужую точку зрения, просто делюсь своей и своим опытом и наоборот предлагаю экономить время и деньги не прибегая к наращиванию показателей ТИЦ и ПР