В идеале, ваш сайт должен индексироваться таким образом, чтобы, с одной стороны, обеспечивать максимальный доступ к полезной информации, а с другой — не затрагивать «технические» части и дублирующийся контент. Рассмотрим основные моменты, позволяющие выполнить оптимизацию web-сайта именно за счёт «отрезания лишнего», а не пересмотра структуры в целом.RSS-потоки
Их лучше закрыть (по крайней мере, пока поисковые системы, в частности, Яндекс не научатся их нормально распознавать). На текущий момент заход робота по ссылке с RSS — это несколько сотен ошибок, что, соответственно, повторяется раз за разом при заходе на сайт. Просто не забудьте, проводя оптимизацию web-сайтов, закрывать в robots.txt всю директорию с RSS-рассылкой: даже если вас одолевают сомнения, помните, что обычно поток просто повторяет контент, который и так уже есть у вас на ресурсе.
Обратите внимание: есть потоки, на конкретные посты которых ссылаются ваши читатели (в частности, если вы используете продвижение сайта через социальные сервисы). Если ваша основная поисковая система нормально учитывает RSS, стоит дважды подумать о том, чтобы закрывать его от индексации. Это особенно актуально для англоязычного Google.
Личные данные пользователей
На социальных ресурсах очень часто наблюдается ситуация, когда есть «ядро» из страниц с качественным контентом — и множество (несколько сотен или тысяч) небольших страниц с профилями пользователей. Профиль на форуме, в соцсети в духе Хабрахабра (например, на Livestreet) или на аналогичном ресурсе — это просто контакты, пара фраз, ссылки на материалы пользователя — и всё.
По сути, это тысячи одинаковых страниц, не несущих информацию. Простой выход — закрыть их все при оптимизации веб-сайта. Более сложный (например, использованный на Habrahabr.ru) — вынос всех профилей на отдельные поддомены, то есть полное сохранение информации в индексе поисковой системы, но при этом не «перетягивание» веса с основного ресурса за счёт массы малоценных страниц.Дублирующийся контент
Оптимизация сайта под поисковые системы предполагает, что дублирующегося контента на ресурсе просто нет. Соответственно, страницы с ним нужно закрывать от индексации. Обычно это касается различных систем сортировки — по тегу, по фильтрации каталога и так далее. Проще говоря, если у вас один и тот же материал встречается в общем списке и в списке по тегу — последний лучше закрыть. Этим вы «срежете» сотни генерируемых автоматически страниц, возможно, частично потеряете во внутреннем ссылочном графе, но получите абсолютную чистоту контента и оптимизируете путь индексации для робота.К дублирующемуся контенту могут относиться и технические подписи на страницах, например, развёрнутые контакты с пояснениями.Технические страницы
Блоки счётчиков, рейтингов и другие технические части, по хорошему, нужно закрывать на всех страницах. Кроме того, оптимизация сайта под определённые поисковые запросы предполагает, что технические страницы, не несущие полезной информации, вообще не попадают в индекс. Однако просто «спрятать» их с помощью нетривиальных адресов явно недостаточно — нужно ещё и жестко закрыть их от индексации.
Дело в том, что случайно «заглянувший» робот может натворить дел — например, пройти по всем ссылкам в диалоге с опциями или же сделать что-то ещё подобное. Учитывайте, что на такие страницы робота могут и «заслать» специально именно с этой целью.
Облака тегов
Эти блоки лучше закрывать от индексации специальными тегами (noindex, nofollow), так как с точки зрения поисковой системы — они всего лишь наборы ключевых слов, представленные в достаточно хаотичном порядке.
Случайные ссылки
Часто вебмастеры также закрывают индексацию ссылок в комментариях, предполагая, что в противном случае повысится количество спама — и страница будет «отдавать вес» наружу. Точно по этой же причине закрываются от индексации и страницы ссылок, генерируемые пользователями или администрацией по тем или иным причинам. С другой стороны, следует учитывать, что поисковые системы (например, тот же Google) судят о вашем сайте и по тому, куда и как часто он ссылается, то есть вообще все внешние ссылки закрывать явно не стоит. Отметим, что оптимизация сайтов под поисковые запросы подразумевает также тот факт, что внутри ресурса есть достаточно много кросс-ссылок. Плохо, когда они ведут на закрытые страницы — в этом случае их вес «уходит в никуда». Соответственно, после того, как вы «отрежете всё лишнее», стоит закрыть и основные ссылки, ведущие в невидимые для поискового робота разделы.
У нас вы можете заказать Seo продвижение сайта https://1-krasnodar.ru/prodvizhenie-sajtov/
