PRLOG

Title

Файл «robots.txt» — как правильно составить файл robots.txt для сайта. Запрет индексации страниц сайта.

Keywords

n/a

Description

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Если вы –

Кодировка

UTF-8

Размер страницы

48.54 КБ

Количество слов

492

Длина текста на странице

6 565 симв.

Длина текста без пробелов

6 015 симв.

<H1>

• КАК СОСТАВИТЬ ROBOTS.TXT

<H2>

• Заявка на аудит
• Заявка на продвижение сайта
• Заказать звонок

<H3>

Анализ текста

• 8.74% ( 43 ) robots
• 3.05% ( 15 ) сайт
• 3.05% ( 15 ) файл
• 2.85% ( 14 ) роботы
• 1.63% ( 8 ) поисковые
• 1.63% ( 8 ) роботов
• 1.22% ( 6 ) рейтинг
• 1.02% ( 5 ) заявка
• 1.02% ( 5 ) неактуально
• 1.02% ( 5 ) рунета
• 0.81% ( 4 ) данных
• 0.81% ( 4 ) индексации
• 0.81% ( 4 ) котором
• 0.81% ( 4 ) обработку
• 0.81% ( 4 ) персональных
• 0.81% ( 4 ) правильно
• 0.81% ( 4 ) продвижение
• 0.81% ( 4 ) разделы
• 0.81% ( 4 ) часто
• 0.81% ( 4 ) частые

Данные предоставлены сервисом semrush

Сайт	Общие фразы	PR	тИЦ	Alexa Rank	Alexa Country
robotstxt.org	70	7	210	83717	16576
seobook.com	57	6	0	50096	8258
mcanerin.com	40	4	10	116175	19566
feedthebot.com	29	4	20	Нет данных	Нет данных
freefind.com	20	8	0	40785	19590
azoogle.ru	17	n/a	20	1532069	176001
noarchive.net	16	2	0	5645348	Нет данных
myrobotstxt.ru	14	2	10	1598702	133678
shtogrin.com	13	3	30	7310065	522974
4seo.biz	10	1	30	8534136	885658
Еще 40 сайтов после авторизации

Данные предоставлены сервисом semrush

# o
# |
# ,'~'.
# / \
# | ____|_
# | '___,,_' .----------------.
# | ||(o |o)| ( KILL ALL HUMANS! )
# | ------- ,----------------'
# | _____| -'
# \ '####,
# -------
# /________\
# ( ) |)
# '_ ' ,------|\ _
# /_ / | |_\ ||
# /_ /| | o| _\ _||
# /_ / | | |\ _\____//' |
# ( ( | | | (_,_,_,____/
# \ _\ | ------|
# \ _\|_________|
# \ _\ \__\\__\
# |__| |__||__|
# ||/__/ |__||__|
# |__||__|
# |__||__|
# /__)/__)
# /__//__/
# /__//__/
# /__//__/.
# .' '. '.
# (________)____)
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
User-agent: Yandex
Disallow: /*ads*
Disallow: /*swf$
Disallow: /*?s=*
Disallow: /?*
Disallow: /page*
Disallow: /txt/
Allow: /
Host: robotstxt.org.ru

User-agent: Googlebot
Disallow: *iframe
Disallow: *v=cl9
Disallow: /*/wp-content/*
Disallow: /*/wp-includes/*
Disallow: /*ads
Disallow: /ads/
Disallow: /ChaVo/watch
Disallow: /?wob
Disallow: /*wob
Disallow: /*/ololopp/
Disallow: /*swf$
Disallow: /*?s=*
Disallow: /?*
Disallow: /*?*
Disallow: /*show_files
Disallow: /*show_comments
Disallow: /*?add
Disallow: /page*
Disallow: /txt/

Sitemap: http://robotstxt.org.ru/sitemap.xml

IP адрес

Нидерланды - 85.17.93.18

Организация

LeaseWeb

Интернет провайдер

LeaseWeb B.V.

HTTP/1.1 200 OK
Server: nginx-reuseport/1.13.4
Date: Sun, 12 Jan 2020 06:58:22 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Keep-Alive: timeout=30
Vary: Accept-Encoding
X-Powered-By: PHP/5.6.40
X-Pingback: http://robotstxt.org.ru/!robots/xmlrpc.php
Link: ; rel="https://api.w.org/"
Link: ; rel=shortlink

Проиндексирован

• Mail.ru
• Yahoo.com
• Bing.com
• Картинки Google
• Картинки Yandex

Ссылаются

• Яндекс Блоги
• Google Блоги
• Bing.com
• Ответы Mail.ru
• Записи Twitter.com

Дополнительные ссылки

• Все сайты на этом IP
• Все домены одного владельца
• Сохраненная копия Google
• Проверка склейки
• Проверка валидности HTML
• Проверка валидности CSS
• Ping / Traceroute / DNS
• История сайта
• История владельцев