Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Чтобы добиться поставленных целей в работе с сайтом нужно учесть массу различных тонкостей. Во время оптимизации по невнимательности случается, что в индексе оказывается информация не для глаз серферов просторов интернета. Логично, что от контента подобного рода нужно избавляться. В этой статье мы разберем рядовые случаи возникновения такой необходимости и, конечно же, узнаем как удалить страницу из поиска Яндекса.

Причины удаления веб страниц из поиска

Мы не станем разбирать проблемы гигантов, как, например, история с известным мобильным оператором, название которого я афишировать не стану, лишь скажу, что он начинается на «мега» и заканчивается на «фон». Когда у последнего проиндексировались и попали в поиск страницы со смс-сообщениями пользователей. Также не станем заострять внимание на проблемах интернет-магазинов, у которых периодически можно найти личные данные пользователей и подробности их заказов в открытом доступе. Ну и так далее.

Мы разберем наболевшие проблемы обычных предпринимателей, которые хотят решить свои задачи:

Дубли. Дублированный контент мешает продвижению сайтов, это ни для кого не секрет. Причины возникновения могут быть разными. Подробнее можете посмотреть в нашей .
Информация утратила свою актуальность. К примеру, была какая-то разовая акция, да прошла. Страницу нужно удалить.
«Секретики». Данные, которые не для всех. Вспоминаем ситуацию с оператором связи. Такие странички необходимо скрывать от зевак.
Смена URL адресов. Будь то переезд сайта или настройка ЧПУ, в любом случае придется избавляться от старых страниц и предоставлять поисковику новые.
При переезде на новое доменное имя вы решили вообще удалить сайт из поисковика Яндекса, чтобы не пострадала уникальность контента.

На самом деле причин удалить сохраненные страницы из поисковых систем может быть кратно больше. Список нужен лишь для иллюстрирования типовых проблем.

Как удалить страницу из поисковика Яндекса

Есть два пути развития событий. Долгий (но ленивый) и ускоренный (придется чуть-чуть пошевелиться).

Долгий способ

Если время не торопит и есть дела поважнее, то можно просто удалить страничку через систему управления контентом (она же админка или CMS). В таком случае, переходя по уже несуществующему URL адресу, поисковой робот обнаружит, что сервер отвечает ему кодом 404 - страница не существует, а значит ее нужно выкинуть из поиска, что со временем случиться без вашего вмешательства.

Ускоренный способ

Своеобразное продолжение первого. После удаления из CMS, нужно воспользоваться сервисом Яндекса далить URL . Это приведет к оперативной реакции со стороны ПС и в ближайшее время ненужная информация пропадет из индекса.

Но что, если нужно удалить страницу из поисковика, оставив её при этом на самом сайте?

Как удалить страницу в поисковике Яндекса не удаляя ее с сайта

Во-первых, закрыть страницу от индексации с помощью файла robots. txt, уверен, с ним вы уже сталкивались. Внутри файла необходимо прописать следующее:

User-agent: Yandex
Disallow: /i-hate-my-page

Это закроет от индексации контент, URL адрес которого www.домен.ru/i-hate-my-page

Во-вторых, так как robots. txt содержит не жесткий набор правил для робота, а скорей носит рекомендательный характер, то обычного Disallow может быть недостаточно. Поэтому для пущей уверенности пропишите в html коде страницы следующее:

Обратите внимание, что теги head тут не для красоты. Мета-тег роботос должен располагаться между тегами .

Кульминацией станет добавление адреса в уже знакомый сервис Яндекса Удалить URL, которым мы уже умеем пользоваться.

Как удалить сайт из поисковика Яндекса

Для того чтобы полностью удалить сайт из поисковой базы нужно пройти те же пункты, что и для удаления страницы, но с некоторыми нюансами.

Закройте весь сайт от индексации добавив в файл robots. txt строчки
User-agent: Yandex
Disallow: /
Удалите страницы с помощью, уже родного сервиса Удалить URL.
Избавьтесь от всех ссылок ведущих на ваш сайт.
Ждите переиндексации.

Если же сайт вам больше совсем ненужен, удалите все файлы, которые находятся на хостинге и забудьте об этом. В крайнем случае, обратить в службу поддержки ПС.

Итог

Хочется сказать, что процедура удаления сохраненных страниц из поиска не очень трудная и порой бывает просто необходимой. Надеюсь, владельцы сайтов, которые не желают сильно погружаться в подробности, сумеют найти в этой статье ответ на вопрос как удалить ненужные веб-страницы из поиска Яндекс.

Надеюсь, что было полезно!

Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.

Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.

Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс .

Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.

Давайте сразу перейдем к делу!

Способы убрать страницы из индекса поисковых систем:

1. Удаление в инструментах Вебмастеров

Самым простым вариантом удаления страниц из индекса является удаление через и .

Удаление страниц из поиска Google

Заходим в:

После чего отправляем запрос на удаление страницы.

Сразу возникает вопрос, а сколько ждать?

Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:

Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:

То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.

Удаление страниц из поиска Яндекса

Добавляем нужный адрес страницы, который необходимо удалить.

В итоге можем получить такой ответ:

То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.

За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».

Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.

Например – закрытие раздела:

Закрытие страницы:

Disallow: /stranica1.html

Закрытие страниц поиска:

Disallow: /сайт/?s*

Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.

3. 404 ошибка

Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.

Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.

Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.

Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.

В практике очень редко использует другое, как:

— мета тег robots

— X-robots-Tag

Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.

Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.

Часто при создании и функционировании сайта возникают страницы удаленные или с изменившимися адресами. Проблема в том, что если до удаления поисковик успел их проиндексировать, при запросе система выдаст пользователю всю информацию, содержащуюся на странице. Или страницы служебные становятся достоянием общественности - а ведь на них может быть расположена информация, не предназначенная для чужих глаз. Так как же избежать подобной неприятности, как удалить страницу в Google и других поисковиках и сделать видимое невидимым?

Казусы с устаревшими страницами встречаются в сети сплошь и рядом. Поиск может выдать личную информацию клиентов, все их заказы в подробностях. Ведь сплошь и рядом нас просят заполнить формы с очень личной информацией, которая должна быть скрыта ото всех. Как избежать подобных ошибок мы и расскажем в этой статье.

Причины, по которым поисковики выводят нас на несуществующие страницы

Самая распространенная причина - страница удалена, не существует. И веб-мастер забыл убрать ее из индекса Яндекса (или других ПС) или сайт поддерживает новичок, который просто не знает, как удалить страницу в поисковике. Или вследствие редактирования сайта вручную страница стала недоступна. Этим часто грешат начинающие администраторы веб-сайтов, относясь пренебрежительно к работе своего ресурса.

Продолжим разговор о структуре сайта. Часто системы управления контентом (так называемые CMS) изначально настроены не оптимально. Например, при установке сайта на хостинг широко известного блогового движка WordPress, ресурс не удовлетворяет требованиям оптимизации, так как url состоит из цифровых и буквенных идентификаторов. Веб-мастеру приходится вносить изменения в структуру страниц на ЧПУ, вследствие чего может появиться множество нерабочих адресов, на которые и будет выводить поисковик при запросе.

Поэтому не забывайте отслеживать изменившиеся адреса и используйте редирект 301, который будет направлять запросы со старого адреса на новые. В идеале все настройки сайта должны быть завершены до его открытия. А здесь поможет локальный сервер.
Изначально неправильная настройка работы сервера. При запросе несуществующей страницы должен выдаваться код ошибки 404 или 3xx.

Причины появления в индексе, казалось бы, удаленных страниц

Иногда вам кажется, что все ненужные или лишние страницы закрыты от посторонних глаз, но они тем не менее отлично отслеживаются поисковиками без каких-либо ограничений. Возможно, это при:

неправильном написании файла robots.txt;
администратор слишком поздно удалил лишние страницы из индекса - поисковики уже успели их проиндексировать;
если сторонние сайты или другие страницы этого же сайта ссылаются на страницы с адресами до их изменения веб-мастером.

Итак, казусов может быть великое множество. Рассмотрим варианты решения проблемы.

Как удалить страницу из индекса Яндекса и других поисковиков

robots.txt
Любимый многими способ удаления страниц из индекса - применение файла robots.txt. Написано множество опусов на тему правильной настройки этого файла. Переписывать их здесь не будем, но этот файл поможет удобно скрыть от поиска целый раздел сайта или отдельный файл.
Этот способ также требует ожидания - пока робот поисковика прочтет файл и вычеркнет страницу, раздел из поиска. Как уже говорилось ранее, наличие внешних ссылок на закрытые страницы делают их доступными для просмотра, будьте внимательны.
Мета-тег robots
Этот тэг задается в самом HTML - коде страницы. Метод удобен своей простотой. Рекомендую начинающим веб-мастерам, создающим свой сайт страничку за страничкой. Тэг с легкостью добавляется на все необходимые страницы, содержимое которых необходимо скрыть от посторонних глаз. При этом не засоряется излишними указаниями файл robots.txt, оставаясь простым и понятным. У этого способа удаления из видимости поисковиков есть один недостаток - сложность применения к динамическому сайту. Подобные ресурсы, благодаря шаблонному подключению модулей, могут закрыть все страницы ресурса вместо нескольких выбранных - здесь надо быть внимательным!
X-Robots-Tag
Метод пока что годится только для зарубежных поисковых систем, таких как Google. Яндекс этот тэг пока что не поддерживает, может быть в будущем что-то изменится. Очень похож на мета-тег robots, основное его отличие его то, что пишем тэг в самих http-заголовках, скрытых в коде страницы. Иногда использование данного способа очень удобно, но не забывайте что страницы закрываются только частично. Поисковик Яндекса будет по прежнему их находить без проблем. Этим приемом частенько пользуются мастера «черного SEO», скрывающие от поисковиков страницы со ссылками.

Как удалить страницу в поисковике Google и Yandex

404 ошибка. Простейший способ удалить страницы из индекса поисковиков - это фактически удалить ее и применить правило, чтобы по этому адресу сервер выдавал ошибку 404, извещающая нас что запрашиваемая страница не существует. Большинство CMS, не исключение и WordPress, при удалении страницы корректно сообщают роботу что документ отсутствует и необходимо его выкинуть из индекса поисковика.
Однако код 404 начнет действовать только после посещения ресурса роботом. Все зависит от того, когда страница была проиндексирована, это может иногда занимать довольно значительное время.
Этот метод не подходит, если страница еще нужна для работы сайта, к примеру, это служебная информация. Рекомендую использовать приведенные ниже способы.
Ручное удаление. Надежный, быстрый и простой способ, а вместе с тем всем доступный - это ручной. Ссылки для веб-мастеров, по которым можно удалить страницы из Яндекса и Google:
- Яндекс ;
- Google .
Только здесь есть условие - для работы этого метода нужные страницы должны быть предварительно закрыты от робота любым из уже перечисленных выше способов. Если ресурс большой, то этот метод недостаточно быстр по исполнению. Придется удалять каждую страницу в отдельности. Зато он прост и понятен даже новичкам. Из практики Google затрачивает на обработку запроса несколько часов, Яндекс действует чуть помедленнее, придется ждать обновления. И все же, если сравнивать с предыдущими методами удаления страниц в поисковике - этот самый быстрый.

Правильно составленная структура сайта облегчает его работу, улучшает видимость для поисковых систем и составляет о сайте положительное впечатление у его посетителей. Ведь что может быть важнее для ресурса, чем репутация и доверие к нему.

Как удалить индексированные страницы из поиска Яндекса и Google?

Иногда по некоторым причинам, необходимо удалить страницы, которые были ранее проиндексированы в поисковой системе. Существует несколько способов.

1. Запретить дальнейшую индексацию страницы.

Можно в файле robots.txt запретить дальнейшую индексацию страницы с помощью следующей строки:

Dis: ваша_страница

Например:

Disallow: /shops/mylikes.html

Данная строка запрещает поисковым системам индексировать страницу mylikes.html находящейся в катологе (папке) shop .

Если же вы хотите полностью запретить индаксацию сайта, а не лишь отдельных его страниц добавьте в robots.txt следующее:

Данный метод позволит запретить поисковым системам сканирование ваших сайтов. Однако в чём минус такой системы - все страницы которые были убраны из индексации на момент добавления соответствующих строк в robots.txt, будут храниться в кэше поисковой системы и так же выводиться в результатах поиска.

2. Удаление страниц сайта из кэша Яндекс и Google.

2.1. Яндекс

Для того чтобы полностью убрать страницы вашего сайта и из индексации и запретить поиск, необходимо для начала удалить (что бы URL вашей страницы отсылал 404) или запретить необходимые страницы в robots.txt. Затем перейти по ссылке http://webmaster.yandex.ru/delurl.xml , где в соответствующей форме введите путь до страницы и Яндекс удалит вашу страницу из результатов поиска, а соответственно и из кэша.

Например если вы хотите удалить из результатов поиска всю туже страницу mylikes.html введите:

http://ваш.сайт/shops/mylikes.html

После этого страница mylikes.html , будет добавлена в очередь на удаление и через несколько дней уйдёт из кэша Яндекса. Таким же образом можно удалить из кэша весь сайт, для этого введите в форму:

http://ваш.сайт/

2.2. Google

Для того чтобы убрать страницы из поиска Google необходимо:

1. Зайти в панель веб-мастера Google.

2. В список добавленных вами сайтов выбрать тот, страницы которого вы хотите удалить из поиска.

3. Слева, во вкладке "Оптимизация " выбрать "Удалить URL-адреса ".

4. Нажмите "Создать новый запрос на удаление ", после чего в окрывшемся окошке введите с учётом регистра путь до страницы.

Будьте внимательны! Указывайте путь в относительном виде. Т.е. Если вы хотите удалить страницу http://ваш.сайт/shops/mylikes.html , введите в форму только /shops/mylikes.html !!!

Если вы хотите удалить весь сайт из результатов поиска, введите в форму / . С помошью одного этого знака вы сделаете запрос на удаление всего сайта.

5. Ожидайте, в ближайшее время ваши страницы уйдут из поиска.

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является или была удалена.

Сообщите Яндексу о том, что страницу нужно удалить

Сделать это можно несколькими способами:

Если страница удалена с сайта

Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt .

Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Если страница не должна отображаться в поиске

Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
Закройте страницы от индексирования с помощью мета-тега noindex.

Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.

Ускорьте удаление страницы из поиска

Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.

Удалить отдельные страницы сайта из поиска Яндекса

добавьте и подтвердите сайт в Яндекс.Вебмастере .

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.