як написати запуск та виконання HTML коду -

Disallow: / 

Я хочу, щоб Google проіндексував індексну сторінку, але нічого іншого. Чи вдасться цим досягти цього?

Я думаю, вам слід вказати на сторінці покажчика наступне: -

<meta name='Robots' content='INDEX, FOLLOW' /> 

Для іншої сторінки згадайте наступне: -

<meta name='Robots' content='NOINDEX, NOFOLLOW' /> 
  • а якщо, скажімо, сторінки не в HTML?
  • @thephpdeveloper: Наскільки мені відомо, цього загального поняття слід дотримуватися для всіх типів сторінок. Основні налаштування слід робити на Robot.txt
  • 1 @thephp всі ваші сторінки є HTML. Якщо ви говорите про індексувані файли, такі як зображення або PDF-файли, вам потрібно буде додати їх до файлу robots.txt. Помістіть їх у підпапку та заблокуйте ці папки.

Robots.txt

Правильним способом блокування всіх пошукових систем є використання файлу robots.txt - простого текстового файлу, розміщеного в корені веб-сервера, що містить такий код: -

User-agent: * Disallow: / 

Це працює для всіх файлів на вашому веб-сервері, а не конкретної сторінки, як метатег, згаданий у відповіді @ SivaCharan.

mod_rewrite та htaccess

Оскільки не всі павуки дотримуються протоколу robots.txt, можливо, ви також захочете заблокувати конкретний сканер зі свого веб-сайту, якщо він відображається в журналах вашого сервера після блокування в robots.txt.

Ви можете досягти цього за допомогою .htaccess file і mod_rewrite Ось приклад блокування павуків Baidu та Sogou:

Додайте до файлу .htaccess наступне: -

RewriteEngine on Options +FollowSymlinks RewriteBase / RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR” RewriteCond %{HTTP_USER_AGENT} ^Sogou RewriteRule ^.*$ - [F” 

Це стосується лише a єдиний домен а не весь веб-сервер.

httpd.conf

Якщо у вас є доступ до httpd.conf, ви можете додати блок специфічного сканера з весь сервер перерахувавши там поля заголовка User Agent.

Включіть свої нові директиви до наступного розділу файлу httpd.conf Apache:

# This should be changed to whatever you set DocumentRoot to. # ... SetEnvIfNoCase User-Agent '^Baiduspider' bad_bots SetEnvIfNoCase User-Agent '^Sogou' bad_bots SetEnvIf Remote_Addr '212\.100\.254\.105' bad_bot Order allow,deny Allow from all Deny from env=bad_bots 

Для вас працювали: Charles Robertson | Хочете зв'язатися з нами?