Запрет индексации конкретной динамической страницы

-
Например, Вам нужно, чтобы конкретная страница Вашего сайта была закрыта для индексации поисковых систем, таких как Google, Яндекс и т.д.

Вы легко можете произвести изменения в robots.txt:

Запрет индексации файла

User-agent: * # для всех поисковиков
Disallow: /file.html

 Тем самым вы запретили всем поисковикам индексировать файл (страницу) file.html.

Запрет индексации папки (директории)

User-agent: *
Disallow: /pictures/

Тем самым вы запретили всем поисковикам индексировать папку pictures.

Запрет индексации всего сайта

User-agent: *
Disallow: /

Данные примеры запрещают индексировать страницы (папки) всем сайтам. Вы также можете запретить индексировать страницы (сайт) каком-то конкретному поисковику. Например:

Запрет индексации сайта роботом Google и/или Яндекс

User-agent: Google # запретить индексировать сайт для Google
Disallow: /

User-agent: Yandex  # запретить индексировать сайт для Яндекса
Disallow: /
Внимание! Между первым Disalow: / и следующим User-agent: Yandex обязательно должен быть пробел (пустая строка).

Это все замечательно, так можно бесконечно добавлять туда файлы. А что если, у меня динамический сайт, и разделы постоянно появляются и мне надо какие-то разделы закрывать от индексации. Не буду же я добавлять в robots.txt постоянно новую строчку, пусть даже и динамически. Так этот файл вырастет когда-нибудь до небывалых высот, чего не хотелось бы.

 Выход есть.

Запрет от индексации конкретной динамической  страницы

Для этого нужно всего лишь между тегами <head> и </head> вставить следующий код:

<meta name=”robots” content=”noindex, nofollow”>

Вот и все. Текущую страницу, поисковики индексировать не будут. Можете быть спокойны.

 Наверх

html, robots.txt, seo

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Как преобразовать строку в массив в ClickHouse / How to transform string to array in ClickHouse

-
Сегодня я столкнулся с проблемой, что в документации ClickHouse нет функции преобразования строки в массив. Поискав в StackOverflow , я тоже ничего внятно не нашел. Перед прочтением рекомендую подписаться на мой телеграмм канал, где вы сможете найти актуальные новости, примеры и хаки в мире разработки: @asanov_tech Попробую объяснить на примере: У вас есть некая колонка data типа String, которая хранит JSON: {"user_id":123456,"item_ids": [1203,1204,1205] ,"count":5} Вы хотите преобразовать поле item_ids в массив, чтобы в дальнейшем с ним производить любые функции по работе с массивами ( ссылка на документацию в конце поста ). Как преобразовать строку в массив из JSON Строка может содержать не в отдельной колонке, а, например, в поле json. Пример ниже продемонстрирует как этого добиться: С помощью функции visitParamExtractRaw достать значение поля item_ids в сыром виде: visitParamExtractRaw( data ,  'item_ids' ) С помощью функции  trim  убрать лишни...
Читать дальше

Как разложить массив на несколько строк в ClickHouse

-
Изображение
Иногда возникает ситуация, когда нужно разложить поле, содержащее столбец-массив на несколько строк, то есть вынести в столбец каждый отдельный элемент массива. Другими словами: как разгруппировать колонку в несколько строк. Перед прочтением рекомендую подписаться на мой телеграмм канал, где вы сможете найти актуальные новости, примеры и хаки в мире разработки:  @asanov_tech Например, разложить колонку room_number на несколько строк.  В примере ниже мы разложили колонку room_number на несколько строк для  consumer_id = 1694953573. Получаем следующий результат: Как видим из примера выше, каждый элемент массива room_numbers теперь на отдельной строке. Делается это при помощи конструкции ARRAY JOIN. Синтаксис следующий: [ LEFT ] ARRAY JOIN < array > Вместо <array> вы должны указать колонку или выражение, которое возвращает массив. Для нашего примера запрос будет таким: SELECT consumer_id, room_number, order_date FROM orders ARRAY...
Читать дальше

Экспорт одной таблицы базы данных или mysqldump одной таблицы (MySQL)

-
Как экспортировать одну таблицу из базы данных MySQL, используя mysqldump Например, Вам нужно произвести экспорт всего одной таблицы из всей базы данных MySQL, существует довольно простая утилита mysqldump . Синтаксис довольно прост: mysqldump --user= [имя пользователя]  --host= [имя хоста или ip-адрес]  --password= [пароль] [имя базы данных] [имя таблицы] > имя-файла.sql Например: mysqldump --user-root --host=127.0.0.1 --pasword=mypassword mydbname table1 > report1.sql Вот и все, все оказалось просто. Весь дамп текущей таблицы, будет находиться в файле: report1.sql Экспорт структуры таблицы MySQL Если Вам нужно экспортировать только структуру таблицы базы данных, а сами данные не нужны, то нужно просто добавить флаг --no-data . Вот пример: mysqldump --user-root --host=127.0.0.1 --pasword=mypassword --no-data mydbname table1 > report2.sql Теперь в файле report2.sql будет только структура таблицы table1. Экспорт несколь...
Читать дальше