Robots txt ΠΏΡ€Π°Π²ΠΈΠ»Π°: Настройка ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠ³ΠΎ Ρ„Π°ΠΉΠ»Π° robots.txt β€” SEO Π½Π° vc.ru

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

Как Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ robots.txt своими Ρ€ΡƒΠΊΠ°ΠΌΠΈ

ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ, грамотная настройка ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠ³ΠΎ Ρ„Π°ΠΉΠ»Π° robots.txt ΠΎΠ΄Π½Π° ΠΈΠ· Π²Π°ΠΆΠ½Π΅ΠΉΡˆΠΈΡ… Π·Π°Π΄Π°Ρ‡ WEB-мастСра. Π’ случаС Π½Π΅ΠΏΡ€ΠΎΡΡ‚ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ошибок Π² поисковой Π²Ρ‹Π΄Π°Ρ‡Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΡΠ²ΠΈΡ‚ΡŒΡΡ мноТСство Π½Π΅Π½ΡƒΠΆΠ½Ρ‹Ρ… страниц сайта. Или, Π½Π°ΠΎΠ±ΠΎΡ€ΠΎΡ‚, Π±ΡƒΠ΄ΡƒΡ‚ Π·Π°ΠΊΡ€Ρ‹Ρ‚Ρ‹ для индСксирования Π²Π°ΠΆΠ½Ρ‹Π΅ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹ вашСго сайта, Π² Ρ…ΡƒΠ΄ΡˆΠ΅ΠΌ случаС, ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ для поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² всю ΠΊΠΎΡ€Π½Π΅Π²ΡƒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΡŽ Π΄ΠΎΠΌΠ΅Π½Π°.

ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ настройка Ρ„Π°ΠΉΠ»Π° robots.txt своими Ρ€ΡƒΠΊΠ°ΠΌΠΈ, Π½Π° самом Π΄Π΅Π»Π΅, Π·Π°Π΄Π°Ρ‡Π° Π½Π΅ ΠΎΡ‡Π΅Π½ΡŒ слоТная. ΠŸΡ€ΠΎΡ‡ΠΈΡ‚Π°Π² эту ΡΡ‚Π°Ρ‚ΡŒΡŽ, Π²Ρ‹ Π½Π°ΡƒΡ‡ΠΈΡ‚Π΅ΡΡŒ прСмудростям Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ², ΠΈ ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»Π° для Ρ„Π°ΠΉΠ»Π° robots.txt Π½Π° своём сайтС.

Для создания Ρ„Π°ΠΉΠ»Π° robots.txt ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Ρ‘Π½Π½Ρ‹ΠΉ, Π½ΠΎ Π½Π΅ слоТный синтаксис. Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Π½Π΅ ΠΌΠ½ΠΎΠ³ΠΎ. Рассмотрим ΠΏΡ€Π°Π²ΠΈΠ»Π°, структуру ΠΈ синтаксис Ρ„Π°ΠΉΠ»Π° robots.txt пошагово ΠΈ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ.

  • ΠžΠ±Ρ‰ΠΈΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»Π° robots.txt
  • ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π² robots.txt
  • Π‘Π΅ΠΊΡ†ΠΈΠΈ Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt
  • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Ρ‡Ρ‚ΠΎ это?
    • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Disallow
    • Π‘ΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ символы
    • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Allow
      • ΠŸΡ€ΠΈΠΌΠ΅Ρ€ ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ³ΠΎ использования Β«AllowΒ» ΠΈ Β«DisallowΒ» ΠΈ ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚Π½ΠΎΡΡ‚ΡŒ
      • ΠŸΡƒΡΡ‚ΠΎΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π° Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ… Β«AllowΒ» ΠΈ Β«DisallowΒ»
    • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Sitemap
    • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host
    • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Crawl-delay
    • Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Clean-param
  • Ошибки, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ часто Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‚ΡΡ Π² robots. txt

ΠžΠ±Ρ‰ΠΈΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»Π° robots.txt

Π’ΠΎ-ΠΏΠ΅Ρ€Π²Ρ‹Ρ…, сам Ρ„Π°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΈΠΌΠ΅Ρ‚ΡŒ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΡƒ ANSI.

Π’ΠΎ-Π²Ρ‚ΠΎΡ€Ρ‹Ρ…, нСльзя ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для написания ΠΏΡ€Π°Π²ΠΈΠ» Π½ΠΈΠΊΠ°ΠΊΠΈΡ… Π½Π°Ρ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Ρ… Π°Π»Ρ„Π°Π²ΠΈΡ‚ΠΎΠ², Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Π° Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π»Π°Ρ‚ΠΈΠ½ΠΈΡ†Π°.

Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π½ΠΎ Ρ„Π°ΠΉΠ» robots.txt ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΎΡΡ‚ΠΎΡΡ‚ΡŒ ΠΈΠ· ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ»ΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Π±Π»ΠΎΠΊΠΎΠ² инструкций, ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Ρ€Π°Π·Π½Ρ‹Ρ… поисковых систСм. ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ Π±Π»ΠΎΠΊ ΠΈΠ»ΠΈ сСкция ΠΈΠΌΠ΅ΡŽΡ‚ Π½Π°Π±ΠΎΡ€ ΠΏΡ€Π°Π²ΠΈΠ» (Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²) для индСксации сайта Ρ‚ΠΎΠΉ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ поисковой систСмой.

Π’ самих Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ…, Π±Π»ΠΎΠΊΠ°Ρ… ΠΏΡ€Π°Π²ΠΈΠ» ΠΈ ΠΌΠ΅ΠΆΠ΄Ρƒ Π½ΠΈΠΌΠΈ Π½Π΅ Π΄ΠΎΠΏΡƒΡΠΊΠ°ΡŽΡ‚ΡΡ ΠΊΠ°ΠΊΠΈΠ΅-Π»ΠΈΠ±ΠΎ лишниС Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΈ ΠΈ символы.

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ ΠΈ Π±Π»ΠΎΠΊΠΈ ΠΏΡ€Π°Π²ΠΈΠ» Ρ€Π°Π·Π΄Π΅Π»ΡΡŽΡ‚ΡΡ пСрСносом строки. ЕдинствСнноС Π΄ΠΎΠΏΡƒΡ‰Π΅Π½ΠΈΠ΅, это ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ.


ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π² robots.txt

Для коммСнтирования ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ символ β€˜#’. Если Π²Ρ‹ поставитС Π² Π½Π°Ρ‡Π°Π»Π΅ строки символ Β«Ρ€Π΅ΡˆΡ‘Ρ‚ΠΊΠΈΒ», Ρ‚ΠΎ Π΄ΠΎ ΠΊΠΎΠ½Ρ†Π° строки всё содСрТимоС игнорируСтся поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ.

User-agent: *
Disallow: /css #пишСм ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ
#ПишСм Π΅Ρ‰Ρ‘ ΠΎΠ΄ΠΈΠ½ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ
Disallow: /img


Π‘Π΅ΠΊΡ†ΠΈΠΈ Π² Ρ„Π°ΠΉΠ»Π΅ robots.

txt

ΠŸΡ€ΠΈ ΠΏΡ€ΠΎΡ‡Ρ‚Π΅Π½ΠΈΠΈ Ρ„Π°ΠΉΠ»Π° Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ сСкция адрСсованная Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ этой поисковой систСмы, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ, Ссли Π² сСкции, user-agent ΡƒΠΊΠ°Π·Π°Π½ΠΎ имя поисковой систСмы ЯндСкс, Ρ‚ΠΎ Π΅Π³ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π°Π΄Ρ€Π΅ΡΠΎΠ²Π°Π½Π½ΡƒΡŽ Π΅ΠΌΡƒ ΡΠ΅ΠΊΡ†ΠΈΡŽ, игнорируя Π΄Ρ€ΡƒΠ³ΠΈΠ΅, Π² частности ΠΈ ΡΠ΅ΠΊΡ†ΠΈΡŽ с Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²ΠΎΠΉ для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² – User-agent:*.

КаТдая ΠΈΠ· сСкций являСтся ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ. Π‘Π΅ΠΊΡ†ΠΈΠΉ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ нСсколько, для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΈΠ»ΠΈ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… поисковых систСм, Ρ‚Π°ΠΊ ΠΈ ΠΎΠ΄Π½Π° ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½Π°Ρ, для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΈΠ»ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΎΠ΄Π½ΠΎΠΉ ΠΈΡ… систСм. Если сСкция ΠΎΠ΄Π½Π°, Ρ‚ΠΎ начинаСтся ΠΎΠ½Π° с ΠΏΠ΅Ρ€Π²ΠΎΠΉ строки Ρ„Π°ΠΉΠ»Π° ΠΈ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ всС строки. Если сСкций нСсколько, Ρ‚ΠΎ ΠΎΠ½ΠΈ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Ρ€Π°Π·Π΄Π΅Π»ΡΡ‚ΡŒΡΡ пустой строкой, хотя Π±Ρ‹ ΠΎΠ΄Π½ΠΎΠΉ.

БСкция всСгда начинаСтся с Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ User-agent ΠΈ содСрТит имя поисковой систСмы, для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π°, Ссли это Π½Π΅ ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½Π°Ρ сСкция для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². На ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅ это выглядит Ρ‚Π°ΠΊ:

User-agent:YandexBot
# ΡŽΠ·Π΅Ρ€-Π°Π³Π΅Π½Ρ‚ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² систСмы ЯндСкс
User-agent: *
# ΡŽΠ·Π΅Ρ€-Π°Π³Π΅Π½Ρ‚ для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²

ΠŸΠ΅Ρ€Π΅Ρ‡ΠΈΡΠ»ΡΡ‚ΡŒ нСсколько ΠΈΠΌΡ‘Π½ Π±ΠΎΡ‚ΠΎΠ² Π·Π°ΠΏΡ€Π΅Ρ‰Π΅Π½ΠΎ. Для Π±ΠΎΡ‚ΠΎΠ² ΠΊΠ°ΠΆΠ΄ΠΎΠΉ поисковой систСмы создаётся своя сСкция, свой ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹ΠΉ Π±Π»ΠΎΠΊ ΠΏΡ€Π°Π²ΠΈΠ». Если, Π² вашСм случаС, ΠΏΡ€Π°Π²ΠΈΠ»Π° для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹Π΅, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ ΠΎΠ΄Π½Ρƒ ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½ΡƒΡŽ, ΠΎΠ±Ρ‰ΡƒΡŽ ΡΠ΅ΠΊΡ†ΠΈΡŽ.


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Ρ‡Ρ‚ΠΎ это?

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° – это ΠΊΠΎΠΌΠ°Π½Π΄Π° ΠΈΠ»ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ ΡΠΎΠΎΠ±Ρ‰Π°ΡŽΡ‰Π΅Π΅ поисковому Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Ρ‘Π½Π½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° сообщаСт поисковому Π±ΠΎΡ‚Ρƒ, ΠΊΠ°ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваш сайт, ΠΊΠ°ΠΊΠΈΠ΅ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΈ Π½Π΅ ΠΏΡ€ΠΎΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒ, Π³Π΄Π΅ находится ΠΊΠ°Ρ€Ρ‚Π° сайта Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ XML, ΠΊΠ°ΠΊΠΎΠ΅ имя Π΄ΠΎΠΌΠ΅Π½Π° являСтся Π³Π»Π°Π²Π½Ρ‹ΠΌ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎΠΌ ΠΈ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ тСхничСскиС подробности.

БСкция Ρ„Π°ΠΉΠ»Π° robots.txt состоит ΠΈΠ· ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΊΠΎΠΌΠ°Π½Π΄,
Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ². ΠžΠ±Ρ‰ΠΈΠΉ синтаксис Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Ρ‚Π°ΠΊΠΎΠ²:

[Имя_Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹]:[Π½Π΅ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠ±Π΅Π»][Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅][Π½Π΅ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠ±Π΅Π»]

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° ΠΏΠΈΡˆΠ΅Ρ‚ΡΡ Π² ΠΎΠ΄Π½Ρƒ строку, Π±Π΅Π· пСрСносов. По принятым стандартам, ΠΌΠ΅ΠΆΠ΄Ρƒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°ΠΌΠΈ Π² ΠΎΠ΄Π½ΠΎΠΉ сСкции пропуск строки Π½Π΅ допускаСтся, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ всС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ ΠΎΠ΄Π½ΠΎΠΉ сСкции ΠΏΠΈΡˆΡƒΡ‚ΡΡ Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΉ строкС, Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… пропусков строк.

Π”Π°Π²Π°ΠΉΡ‚Π΅ опишСм значСния основных ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ².


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Disallow

НаиболСС ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΠ°Ρ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt, это Β«DisallowΒ» β€” Π·Π°ΠΏΡ€Π΅Ρ‰Π°ΡŽΡ‰Π°Ρ. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Β«DisallowΒ» Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠ³ΠΎ Π² Π½Π΅ΠΉ ΠΏΡƒΡ‚ΠΈ. Π­Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Π°Ρ страница, страницы, содСрТащиС ΡƒΠΊΠ°Π·Π°Π½Π½ΡƒΡŽ «маску» Π² своём URL`Π΅ (ΠΏΡƒΡ‚ΠΈ), Ρ‡Π°ΡΡ‚ΡŒ сайта, ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Π°Ρ дирСктория (ΠΏΠ°ΠΏΠΊΠ°) ΠΈΠ»ΠΈ сайт Ρ†Π΅Π»ΠΈΠΊΠΎΠΌ.

User-agent: Yandex
Disallow: /


Π‘ΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ символы

Π£ΠΊΠ°Π·Π°Π½Π½Ρ‹ΠΉ Π²Ρ‹ΡˆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ всСго сайта для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² поисковой систСмы ЯндСкс.

Π’Π΅ΠΏΠ΅Ρ€ΡŒ, для Π»ΡƒΡ‡ΡˆΠ΅Π³ΠΎ понимания ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹Ρ… ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ², рассмотрим ΠΈ поясним, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ символы Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt. К ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΌ символам относятся Π·Π½Π°ΠΊΠΈ (*)-Π·Π²Ρ‘Π·Π΄ΠΎΡ‡ΠΊΠ°,  ($)-Π΄ΠΎΠ»Π»Π°Ρ€ ΠΈ (#)-Ρ€Π΅ΡˆΡ‘Ρ‚ΠΊΠ°.

 

Β«*Β» β€” Π·Π²Ρ‘Π·Π΄ΠΎΡ‡ΠΊΠ° ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ – «любоС количСство символов». Π’ΠΎ Π΅ΡΡ‚ΡŒ, ΠΏΡƒΡ‚ΡŒ /folder* ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ² ΠΏΠΎ своСму Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ с Β«/foldersΒ», Β«/folder1Β», Β«/folder111Β», Β«/foldersssssΒ» ΠΈΠ»ΠΈ Β«/folderΒ». Π ΠΎΠ±ΠΎΡ‚Ρ‹, ΠΏΡ€ΠΈ Ρ‡Ρ‚Π΅Π½ΠΈΠΈ ΠΏΡ€Π°Π²ΠΈΠ», автоматичСски Π΄ΠΎΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‚ Π·Π½Π°ΠΊ Β«*Β». Π’ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅, ΠΏΡ€ΠΈΠ²Π΅Π΄Ρ‘Π½Π½ΠΎΠΌ Π½ΠΈΠΆΠ΅, ΠΎΠ±Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Π°Π±ΡΠΎΠ»ΡŽΡ‚Π½ΠΎ Ρ€Π°Π²Π½ΠΎΠ·Π½Π°Ρ‡Π½Ρ‹:

Disallow: /news
Disallow: /news*

Β«$Β» β€” Π·Π½Π°ΠΊ Π΄ΠΎΠ»Π»Π°Ρ€Π° Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ ΠΏΡ€ΠΈ Ρ‡Ρ‚Π΅Π½ΠΈΠΈ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² автоматичСски Π΄ΠΎΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ символ Β«*Β» (Π·Π²Ρ‘Π·Π΄ΠΎΡ‡ΠΊΠ°) Π² ΠΊΠΎΠ½Ρ†Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹. Π”Ρ€ΡƒΠ³ΠΈΠΌΠΈ словами, символ Β«$Β» ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ ΠΊΠΎΠ½Π΅Ρ† строки сравнСния. Π’ΠΎ Π΅ΡΡ‚ΡŒ, Π² нашСм ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ ΠΌΡ‹ Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΠΏΠ°ΠΏΠΊΠΈ Β«/folderΒ», Π½ΠΎ Π½Π΅ Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅ΠΌ Π² ΠΏΠ°ΠΏΠΊΠ°Ρ… Β«/folder1Β», Β«/folder111Β» ΠΈΠ»ΠΈ Β«/foldersssssΒ»:

User-agent: *
Disallow: /folder$

Β«#Β» β€” (ΡˆΠ°Ρ€ΠΏ) Π·Π½Π°ΠΊ коммСнтария. Всё, Ρ‡Ρ‚ΠΎ написано послС этого Π·Π½Π°Ρ‡ΠΊΠ°, Π² ΠΎΠ΄Π½ΠΎΠΉ с Π½ΠΈΠΌ строкС, игнорируСтся поисковыми систСмами.


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Allow

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° ALLOW Ρ„Π°ΠΉΠ»Π° robots.txt ΠΏΡ€ΠΎΡ‚ΠΈΠ²ΠΎΠΏΠΎΠ»ΠΎΠΆΠ½Π° ΠΏΠΎ своСму Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ DISSALOW, Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° ALLOW Ρ€Π°Π·Ρ€Π΅ΡˆΠ°ΡŽΡ‰Π°Ρ. Π’ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π½ΠΈΠΆΠ΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ вСсь сайт ΠΊΡ€ΠΎΠΌΠ΅ ΠΏΠ°ΠΏΠΊΠΈ /folder:

User-agent: *
Allow: /folder
Disallow: /

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ³ΠΎ использования Β«AllowΒ», Β«DisallowΒ» ΠΈ ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚Π½ΠΎΡΡ‚ΡŒ

НС Π·Π°Π±Ρ‹Π²Π°ΠΉΡ‚Π΅, ΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠΈ приоритСтности ΠΏΡ€ΠΈ Π·Π°ΠΏΡ€Π΅Ρ‚Π°Ρ… ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΡΡ…, ΠΏΡ€ΠΈ ΡƒΠΊΠ°Π·Π°Π½ΠΈΠΈ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ². РаньшС ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ указывался порядком объявлСния Π·Π°ΠΏΡ€Π΅Ρ‚ΠΎΠ² ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ. БСйчас ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ опрСдСляСтся ΡƒΠΊΠ°Π·Π°Π½ΠΈΠ΅ΠΌ максимально ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰Π΅Π³ΠΎ ΠΏΡƒΡ‚ΠΈ Π² ΠΏΡ€Π΅Π΄Π΅Π»Π°Ρ… ΠΎΠ΄Π½ΠΎΠ³ΠΎ Π±Π»ΠΎΠΊΠ° для Ρ€ΠΎΠ±ΠΎΡ‚Π° поисковой систСмы (User-agent), Π² порядкС увСличСния Π΄Π»ΠΈΠ½Π½Ρ‹ ΠΏΡƒΡ‚ΠΈ ΠΈ мСсту указания Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Ρ‡Π΅ΠΌ Π΄Π»ΠΈΠ½Π½Π΅Π΅ ΠΏΡƒΡ‚ΡŒ, Ρ‚Π΅ΠΌ ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚Π½Π΅Π΅:

User-agent: *
Allow: /folders
Disallow: /folder

Π’ ΠΏΡ€ΠΈΠ²Π΅Π΄Ρ‘Π½Π½ΠΎΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π²Ρ‹ΡˆΠ΅ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½Π° индСксация URL`ΠΎΠ² Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‰ΠΈΡ…ΡΡ с Β«/foldersΒ», Π½ΠΎ Π·Π°ΠΏΡ€Π΅Ρ‰Π΅Π½Π° Π² путях, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΠΌΠ΅ΡŽΡ‚ Π² своих URL`Π°Ρ… Π½Π°Ρ‡Π°Π»ΠΎ Β«/folderΒ», Β«/folderssssΒ» ΠΈΠ»ΠΈ Β«/folder2Β». Π’ случаС попадания ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΠΎΠ³ΠΎ ΠΏΡƒΡ‚ΠΈ ΠΏΠΎΠ΄ ΠΎΠ±Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Β«AllowΒ» ΠΈ Β«DisallowΒ», ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡Ρ‚Π΅Π½ΠΈΠ΅ отдаётся Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Β«AllowΒ».

ΠŸΡƒΡΡ‚ΠΎΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π° Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ… Β«AllowΒ» ΠΈ Β«DisallowΒ»

Π’ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‚ΡΡ ошибки WEB-мастСров, ΠΊΠΎΠ³Π΄Π° Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Β«DisallowΒ»
Π·Π°Π±Ρ‹Π²Π°ΡŽΡ‚ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ символ Β«/Β». Π­Ρ‚ΠΎ являСтся Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΌ, ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹ΠΌ Ρ‚Ρ€Π°ΠΊΡ‚ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² ΠΈ ΠΈΡ… синтаксиса. Π’ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅, Π·Π°ΠΏΡ€Π΅Ρ‰Π°ΡŽΡ‰Π°Ρ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° становится Ρ€Π°Π·Ρ€Π΅ΡˆΠ°ΡŽΡ‰Π΅ΠΉ: Β«Disallow:Β» Π°Π±ΡΠΎΠ»ΡŽΡ‚Π½ΠΎ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ‡Π½Π° Β«Allow: /Β». ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ Π·Π°ΠΏΡ€Π΅Ρ‚ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ всСго сайта выглядит Ρ‚Π°ΠΊ:

Disallow: /

Π’ΠΎ ΠΆΠ΅ самоС ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΈ ΠΎΠ± Β«Allow:Β». Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Β«Allow:Β» Π±Π΅Π· символа Β«/Β» Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ всСго сайта, Ρ‚Π°ΠΊ ΠΆΠ΅ ΠΊΠ°ΠΊ ΠΈ Β«Disallow: /Β».


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Sitemap

По всСм ΠΊΠ°Π½ΠΎΠ½Π°ΠΌ SEO-ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚Ρƒ сайта (SITEMAP) Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ XML ΠΈ ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ Π΅Ρ‘ поисковым систСмам.

НСсмотря Π½Π° Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ Β«ΠΊΠ°Π±ΠΈΠ½Π΅Ρ‚ΠΎΠ² для WEB-мастСров» Π² поисковых систСмах, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΡΠ²Π»ΡΡ‚ΡŒ ΠΎ присутствии sitemap.xml ΠΈ Π² robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Β«SITEMAP

Β». ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΏΡ€ΠΈ ΠΎΠ±Ρ…ΠΎΠ΄Π΅ вашСго сайта увидят ΡƒΠΊΠ°Π·Π°Π½ΠΈΠ΅ Π½Π° Ρ„Π°ΠΉΠ» sitemap.xml ΠΈ Π±ΡƒΠ΄ΡƒΡ‚ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π΅Π³ΠΎ ΠΏΡ€ΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΡ… ΠΎΠ±Ρ…ΠΎΠ΄Π°Ρ…. ΠŸΡ€ΠΈΠΌΠ΅Ρ€ использования Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ sitemap Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt:

User-agent: *
Sitemap: https://www.domainname.zone/sitemap.xml


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host

Π•Ρ‰Ρ‘ ΠΎΠ΄Π½ΠΎΠΉ Π²Π°ΠΆΠ½ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²ΠΎΠΉ robots. txt являСтся Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° HOST.

БчитаСтся, Ρ‡Ρ‚ΠΎ Π½Π΅ всС поисковыС систСмы Π΅Ρ‘ Ρ€Π°ΡΠΏΠΎΠ·Π½Π°ΡŽΡ‚. Но «ЯндСкс» ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Ρ‡ΠΈΡ‚Π°Π΅Ρ‚ эту Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ, Π° ЯндСкс Π² России являСтся основным «поисковым ΠΊΠΎΡ€ΠΌΠΈΠ»ΡŒΡ†Π΅ΠΌΒ», поэтому Π½Π΅ Π±ΡƒΠ΄Π΅ΠΌ ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Β«hostΒ».

Π­Ρ‚Π° Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Π³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ поисковым систСмам, ΠΊΠ°ΠΊΠΎΠΉ Π΄ΠΎΠΌΠ΅Π½ являСтся Π³Π»Π°Π²Π½Ρ‹ΠΌ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎΠΌ. ВсС ΠΌΡ‹ Π·Π½Π°Π΅ΠΌ, Ρ‡Ρ‚ΠΎ сайт ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΠΌΠ΅Ρ‚ΡŒ нСсколько адрСсов. Π’ URL сайта ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ ΠΈΠ»ΠΈ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ прСфикс WWW ΠΈΠ»ΠΈ сайт ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΠΌΠ΅Ρ‚ΡŒ нСсколько Π΄ΠΎΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΈΠΌΡ‘Π½, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, domain.ru, domain.com, domen.ru, www.domen.ru. Π’ΠΎΡ‚ ΠΈΠΌΠ΅Π½Π½ΠΎ Π² Ρ‚Π°ΠΊΠΈΡ… случаях ΠΌΡ‹ ΠΈ сообщаСм поисковой систСмС Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ host, ΠΊΠ°ΠΊΠΎΠ΅ ΠΈΠ· этих ΠΈΠΌΡ‘Π½ являСтся Π³Π»Π°Π²Π½Ρ‹ΠΌ. Π—Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ являСтся само имя Π³Π»Π°Π²Π½ΠΎΠ³ΠΎ Π·Π΅Ρ€ΠΊΠ°Π»Π°. ΠŸΡ€ΠΈΠ²Π΅Π΄Ρ‘ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€. ΠœΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ нСсколько Π΄ΠΎΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΈΠΌΡ‘Π½ (domain.ru, domain.com, domen.ru, www.domen.ru) ΠΈ всС ΠΎΠ½ΠΈ ΠΏΠ΅Ρ€Π΅Π½Π°ΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ посСтитСлСй Π½Π° сайт www.domen.ru, запись Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Ρ‚Π°ΠΊ:

User-agent: *
Host: www. domen.ru

Если Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ вашС Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ Π±Ρ‹Π»ΠΎ Π±Π΅Π· прСфикса (WWW), Ρ‚ΠΎ, соотвСтствСнно, слСдуСт ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ имя сайта Π±Π΅Π· прСфикса.

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° HOST Ρ€Π΅ΡˆΠ°Π΅Ρ‚ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ Π΄ΡƒΠ±Π»Π΅ΠΉ страниц, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΎΡ‡Π΅Π½ΡŒ часто ΡΡ‚Π°Π»ΠΊΠΈΠ²Π°ΡŽΡ‚ΡΡ WEB-мастСра ΠΈ SEO-спСциалисты. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ HOST Π½ΡƒΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, Ссли Π²Ρ‹ Π½Π°Ρ†Π΅Π»Π΅Π½Ρ‹ Π½Π° русскоязычный сСгмСнт ΠΈ Π²Π°ΠΌ Π²Π°ΠΆΠ½ΠΎ Ρ€Π°Π½ΠΆΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ вашСго сайта Π² поисковой систСмС «ЯндСкс». ΠŸΠΎΠ²Ρ‚ΠΎΡ€ΠΈΠΌΡΡ, Π½Π° сСгодня ΠΎ Ρ‡Ρ‚Π΅Π½ΠΈΠΈ этой Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ заявляСт Ρ‚ΠΎΠ»ΡŒΠΊΠΎ «ЯндСкс». Для указания Π³Π»Π°Π²Π½ΠΎΠ³ΠΎ Π·Π΅Ρ€ΠΊΠ°Π»Π° Π² Π΄Ρ€ΡƒΠ³ΠΈΡ… поисковых систСмах Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π²ΠΎΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ настройками Π² ΠΊΠ°Π±ΠΈΠ½Π΅Ρ‚Π°Ρ… WEB-мастСров. НС Π·Π°Π±Ρ‹Π²Π°ΠΉΡ‚Π΅, Ρ‡Ρ‚ΠΎ имя Π³Π»Π°Π²Π½ΠΎΠ³ΠΎ Π·Π΅Ρ€ΠΊΠ°Π»Π° Π΄ΠΎΠ»ΠΆΠ½ΠΎ Π±Ρ‹Ρ‚ΡŒ ΡƒΠΊΠ°Π·Π°Π½ΠΎ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ (ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡŒ написания, соблюдСниС ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΈ ΠΈ синтаксиса Ρ„Π°ΠΉΠ»Π° robots.txt). Π’ Ρ„Π°ΠΉΠ»Π΅ эта Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° допускаСтся Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄ΠΈΠ½ Ρ€Π°Π·. Если Π²Ρ‹ ΠΏΠΎ ошибкС ΡƒΠΊΠ°ΠΆΠ΅Ρ‚Π΅ Π΅Ρ‘ нСсколько Ρ€Π°Π·, Ρ‚ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΡƒΡ‡Ρ‚ΡƒΡ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΠ΅Ρ€Π²ΠΎΠ΅ Π²Ρ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅.


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Crawl-delay

Данная Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° являСтся тСхничСской, ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ поисковым Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ, ΠΊΠ°ΠΊ часто Π½ΡƒΠΆΠ½ΠΎ ΠΏΠΎΡΠ΅Ρ‰Π°Ρ‚ΡŒ ваш сайт. Π’ΠΎΡ‡Π½Π΅Π΅, Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Crawl-delay ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΠ΅Ρ€Π΅Ρ€Ρ‹Π² ΠΌΠ΅ΠΆΠ΄Ρƒ посСщСниями вашСго сайта Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ (ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌΠΈ поисковых систСм). Π—Π°Ρ‡Π΅ΠΌ ΡƒΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ это ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ? Если Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ заходят ΠΊ Π²Π°ΠΌ ΠΎΡ‡Π΅Π½ΡŒ часто, Π° новая информация Π½Π° сайтС появляСтся Π½Π°ΠΌΠ½ΠΎΠ³ΠΎ Ρ€Π΅ΠΆΠ΅, Ρ‚ΠΎ со Π²Ρ€Π΅ΠΌΠ΅Π½Π΅ΠΌ поисковыС систСмы ΠΏΡ€ΠΈΠ²Ρ‹ΠΊΠ½ΡƒΡ‚ ΠΊ Ρ€Π΅Π΄ΠΊΠΎΠΌΡƒ измСнСнию ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ Π½Π° вашСм сайтС ΠΈ Π±ΡƒΠ΄ΡƒΡ‚ ΠΏΠΎΡΠ΅Ρ‰Π°Ρ‚ΡŒ вас Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π΅ΠΆΠ΅, Ρ‡Π΅ΠΌ Ρ…ΠΎΡ‚Π΅Π»ΠΎΡΡŒ Π±Ρ‹ Π²Π°ΠΌ. Π­Ρ‚ΠΎ поисковый Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ Π² ΠΏΠΎΠ»ΡŒΠ·Ρƒ использования Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Β«Crawl-delayΒ». Π’Π΅ΠΏΠ΅Ρ€ΡŒ тСхничСский Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚. Блишком частоС посСщСниС вашСго сайта Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ создаёт Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π½Π° сСрвСр, которая Π²Π°ΠΌ совсСм Π½Π΅ Π½ΡƒΠΆΠ½Π°. Π—Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Π»ΡƒΡ‡ΡˆΠ΅ ΡƒΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ Ρ†Π΅Π»ΠΎΠ΅ число, Π½ΠΎ сСйчас Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ Π½Π°ΡƒΡ‡ΠΈΠ»ΠΈΡΡŒ Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΈ Π΄Ρ€ΠΎΠ±Π½Ρ‹Π΅ числа. УказываСтся врСмя Π² сСкундах, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€:

Crawl-delay: 9

ΠΈΠ»ΠΈ

User-agent: Yandex
Crawl-delay: 5.5


Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Clean-param

ΠΠ΅ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Π°Ρ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Β«Clean-paramΒ» ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ поисковым Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ адрСсов сайта, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ слСдуСт Π²ΠΎΡΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒ, ΠΊΠ°ΠΊ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹Π΅ URL. НапримСр, Ρƒ вас ΠΎΠ΄Π½ΠΈ ΠΈ Ρ‚Π΅ ΠΆΠ΅ страницы выводятся ΠΏΠΎ Ρ€Π°Π·Π½Ρ‹ΠΌ адрСсам, ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‰ΠΈΠΌΡΡ ΠΎΠ΄Π½ΠΈΠΌ ΠΈΠ»ΠΈ нСсколькими ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π°ΠΌΠΈ:

www.domain.zone/folder/page/
www.domain.zone/index.php?folder=folder&page=page1/
www.domain.zone/ index.php?folder=1&page=1

ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ Π±ΡƒΠ΄ΡƒΡ‚ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ всС ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Π΅ страницы ΠΈ замСтят, Ρ‡Ρ‚ΠΎ страницы ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹Π΅, содСрТат ΠΎΠ΄ΠΈΠ½ ΠΈ Ρ‚ΠΎΡ‚ ΠΆΠ΅ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚. Π’ΠΎ-ΠΏΠ΅Ρ€Π²Ρ‹Ρ…, это создаст ΠΏΡƒΡ‚Π°Π½ΠΈΡ†Ρƒ Π² структурС сайта ΠΏΡ€ΠΈ индСксации. Π’ΠΎ-Π²Ρ‚ΠΎΡ€Ρ‹Ρ…, Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ° Π½Π° сСрвСр возрастёт. Π’ Ρ‚Ρ€Π΅Ρ‚ΡŒΠΈΡ…, ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ сканирования Π·Π°ΠΌΠ΅Ρ‚Π½ΠΎ ΡƒΠΏΠ°Π΄Ρ‘Ρ‚. Π§Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ этих нСприятностСй ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Β«Clean-paramΒ». Бинтаксис ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ:

Clean-param: param1[&param2&param3&param4& ... &param*N] [ΠŸΡƒΡ‚ΡŒ]

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Β«Clean-paramΒ», ΠΊΠ°ΠΊ ΠΈ Β«HostΒ» Ρ‡ΠΈΡ‚Π°ΡŽΡ‚ Π½Π΅ всС поисковыС систСмы. Но ЯндСкс Π΅Ρ‘ ΠΏΠΎΠ½ΠΈΠΌΠ°Π΅Ρ‚.


Ошибки, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ часто Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‚ΡΡ Π² robots.txt

  • Π€Π°ΠΉΠ» robots. txt находится Π½Π΅ Π² ΠΊΠΎΡ€Π½Π΅ сайта
  • Ошибка Π² ΠΈΠΌΠ΅Π½ΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt
  • ИспользованиС нСдопустимых символов Π² robot.txt
  • Ошибки синтаксиса robots.txt
  • ΠŸΠ΅Ρ€Π΅Ρ‡ΠΈΡΠ»Π΅Π½ΠΈΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΎΠ΄Π½ΠΎΠΉ строкой Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ User-agent
  • User-agent с пустым Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ
  • ΠΠ΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Disallow
  • НСсоблюдСниС ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ΠΎΠ² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Π² robots.txt
  • ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ систСмы ΠΈ robots.txt
  • ΠžΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹ΠΉ синтаксис ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π² Π² robots.txt
  • Π§Π΅Ρ€Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅ строчных ΠΈ прописных Π±ΡƒΠΊΠ² Π² ΠΈΠΌΠ΅Π½Π°Ρ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ…

Π€Π°ΠΉΠ» robots.txt находится Π½Π΅ Π² ΠΊΠΎΡ€Π½Π΅ сайта

Π€Π°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ Ρ€Π°Π·ΠΌΠ΅Ρ‰Π°Ρ‚ΡŒΡΡ Π² ΠΊΠΎΡ€Π½Π΅ сайта, Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ. ВсС ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹Π΅ Ρ„Π°ΠΉΠ»Ρ‹ с Ρ‚Π°ΠΊΠΈΠΌ ΠΆΠ΅ ΠΈΠΌΠ΅Π½Π΅ΠΌ, Π½ΠΎ находящиСся Π² Π΄Ρ€ΡƒΠ³ΠΈΡ… ΠΏΠ°ΠΏΠΊΠ°Ρ… (дирСкториях) ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚ΡΡ поисковыми систСмами.


Ошибка Π² ΠΈΠΌΠ΅Π½ΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt

Имя Ρ„Π°ΠΉΠ»Π° ΠΏΠΈΡˆΠ΅Ρ‚ΡΡ малСнькими Π±ΡƒΠΊΠ²Π°ΠΌΠΈ (Π½ΠΈΠΆΠ½ΠΈΠΉ рСгистр) ΠΈ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π½Π°Π·Ρ‹Π²Π°Ρ‚ΡŒΡΡ robots. txt. ВсС ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹Π΅ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹ ΡΡ‡ΠΈΡ‚Π°ΡŽΡ‚ΡΡ ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹ΠΌΠΈ ΠΈ поисковыС стсСмы Π±ΡƒΠ΄ΡƒΡ‚ Π²Π°ΠΌ ΡΠΎΠΎΠ±Ρ‰Π°Ρ‚ΡŒ ΠΎΠ± отсутствии Ρ„Π°ΠΉΠ»Π°. ЧастыС ошибки выглядят Ρ‚Π°ΠΊ:

ROBOTS.txt
Robots.txt
robot.txt


ИспользованиС нСдопустимых символов Π² robot.txt

Π€Π°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ Π² ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠ΅ ANSI ΠΈ ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π»Π°Ρ‚ΠΈΠ½ΠΈΡ†Ρƒ. НаписаниС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² ΠΈ ΠΈΡ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π»ΡŽΠ±Ρ‹ΠΌΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠΌΠΈ Π½Π°Ρ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ символами нСдопустимо, Π·Π° ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ содСрТимого ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π².


Ошибки синтаксиса robots.txt

Π‘Ρ‚Π°Ρ€Π°ΠΉΡ‚Π΅ΡΡŒ строго ΡΠΎΠ±Π»ΡŽΠ΄Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»Π° синтаксиса Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt. БинтаксичСскиС ошибки ΠΌΠΎΠ³ΡƒΡ‚ привСсти ΠΊ ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ содСрТимого всСго Ρ„Π°ΠΉΠ»Π° поисковыми систСмами.


ΠŸΠ΅Ρ€Π΅Ρ‡ΠΈΡΠ»Π΅Π½ΠΈΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΎΠ΄Π½ΠΎΠΉ строкой Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ User-agent

Ошибка, часто допускаСмая Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‰ΠΈΠΌΠΈ WEB-мастСрами, скорСС ΠΈΠ·-Π·Π° собствСнной Π»Π΅Π½ΠΈ, Π½Π΅ Ρ€Π°Π·Π±ΠΈΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π½Π° сСкции, Π° ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡ‚ΡŒ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ для Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… поисковых систСм Π² ΠΎΠ΄Π½ΠΎΠΉ сСкции, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€:

User-agent: Yandex, Googlebot, Bing

Для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ поисковой систСмы Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ свою ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΡƒΡŽ ΡΠ΅ΠΊΡ†ΠΈΡŽ, с ΡƒΡ‡Ρ‘Ρ‚ΠΎΠΌ Ρ‚Π΅Ρ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ‡ΠΈΡ‚Π°Π΅Ρ‚ эта поисковая систСма. Π˜ΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ, Π² Π΄Π°Π½Π½ΠΎΠΌ случаС, являСтся Сдиная сСкция для всСх поисковых систСм:

User-agent: *


User-agent с пустым Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° User-agent Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΠΌΠ΅Ρ‚ΡŒ пустоС Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. ΠŸΡƒΡΡ‚Ρ‹ΠΌΠΈ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Β«AllowΒ» ΠΈ Β«DisallowΒ» ΠΈ Ρ‚ΠΎ с ΡƒΡ‡Ρ‘Ρ‚ΠΎΠΌ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ ΠΌΠ΅Π½ΡΡŽΡ‚ своё Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. Π£ΠΊΠ°Π·Π°Π½ΠΈΠ΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ User-agent с пустым Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ являСтся Π³Ρ€ΡƒΠ±Π΅ΠΉΡˆΠ΅ΠΉ ошибкой.


ΠΠ΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Disallow

Π Π΅ΠΆΠ΅ Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‰Π°ΡΡΡ ошибка, Π½ΠΎ, Ρ‚Π΅ΠΌ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅, пСриодичСски Π΅Ρ‘ ΠΌΠΎΠΆΠ½ΠΎ Π²ΠΈΠ΄Π΅Ρ‚ΡŒ Π½Π° сайтах, это ΡƒΠΊΠ°Π·Π°Π½ΠΈΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ… Allow ΠΈ Disallow, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€:

Disallow: /folder1  /folder2  /folder3

Π”Π΅Π»Π°Ρ‚ΡŒ это катСгоричСски нСльзя. Если Π²Π°ΠΌ трСбуСтся ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΈΠ»ΠΈ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ нСсколько Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΉ, Ρ‚ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΈΠ· Π½ΠΈΡ… прописываСтся ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ, начиная ΠΊΠ°ΠΆΠ΄ΡƒΡŽ с Π½ΠΎΠ²ΠΎΠΉ строки.

Disallow: /folder1
Disallow: /folder2
Disallow: /folder3


НСсоблюдСниС ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ΠΎΠ² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Π² robots.

txt

Π­Ρ‚Π° ошибка ΡƒΠΆΠ΅ ΠΎΠΏΠΈΡΡ‹Π²Π°Π»Π°ΡΡŒ Π²Ρ‹ΡˆΠ΅, Π½ΠΎ для закрСплСния ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π° повторимся. РаньшС ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ опрСдСлялся порядком указания Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ². На сСгодняшний дСнь ΠΏΡ€Π°Π²ΠΈΠ»Π° измСнились, ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ уточняСтся ΠΏΠΎ Π΄Π»ΠΈΠ½Π΅ строки. Если Π² Ρ„Π°ΠΉΠ»Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΏΡ€ΠΈΡΡƒΡ‚ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ Π΄Π²Π΅ Π²Π·Π°ΠΈΠΌΠΎΠΈΡΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Allow ΠΈ Disallow с ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹ΠΌ содСрТимым, Ρ‚ΠΎ ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΠΌΠ΅Ρ‚ΡŒ Allow.


ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ систСмы ΠΈ robots.txt

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt носят Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€ для поисковых систСм. Π­Ρ‚ΠΎ Π·Π½Π°Ρ‡ΠΈΡ‚, Ρ‡Ρ‚ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»Π° прочтСния ΠΌΠΎΠ³ΡƒΡ‚ пСриодичСски ΠΌΠ΅Π½ΡΡ‚ΡŒΡΡ ΠΈΠ»ΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΡΡ‚ΡŒΡΡ. Π’Π°ΠΊ ΠΆΠ΅ ΠΏΠΎΠΌΠ½ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎ каТдая поисковая систСма ΠΏΠΎ-своСму ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Ρ„Π°ΠΉΠ»Π°. И Π½Π΅ всС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ каТдая ΠΈΠ· поисковых систСм Ρ‡ΠΈΡ‚Π°Π΅Ρ‚. НапримСр, Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Β«HostΒ» сСгодня Ρ‡ΠΈΡ‚Π°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ЯндСкс. ΠŸΡ€ΠΈ этом ЯндСкс Π½Π΅ Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚, Ρ‡Ρ‚ΠΎ имя Π΄ΠΎΠΌΠ΅Π½Π° ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠ΅, ΠΊΠ°ΠΊ Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Host ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ Π½Π°Π·Π½Π°Ρ‡Π΅Π½ΠΎ Π³Π»Π°Π²Π½Ρ‹ΠΌ, Π½ΠΎ ΡƒΡ‚Π²Π΅Ρ€ΠΆΠ΄Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚ ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠΌΡƒ ΠΈΠΌΠ΅Π½ΠΈ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΡ‚Π΄Π°Π²Π°Ρ‚ΡŒΡΡ.

Если Ρƒ вас нСбольшой Π½Π°Π±ΠΎΡ€ ΠΏΡ€Π°Π²ΠΈΠ», Ρ‚ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Π΅Π΄ΠΈΠ½ΡƒΡŽ ΡΠ΅ΠΊΡ†ΠΈΡŽ для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². Π’ ΠΏΡ€ΠΎΡ‚ΠΈΠ²Π½ΠΎΠΌ случаС, Π½Π΅ Π»Π΅Π½ΠΈΡ‚Π΅ΡΡŒ, создайтС ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ сСкции для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΈΠ½Ρ‚Π΅Ρ€Π΅ΡΡƒΡŽΡ‰Π΅ΠΉ вас поисковой систСмы. Π’ особСнности это относится ΠΊ запрСщСниям, Ссли Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΊΠ°ΠΊΠΈΠ΅-Ρ‚ΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Ρ‘Π½Π½Ρ‹Π΅ страницы ΠΏΠΎΠΏΠ°Π»ΠΈ Π² поиск.

 

Π’ основном, всС ошибки Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ ΠΈΠ·-Π·Π° нСаккуратности, Π½Π΅Ρ€ΡΡˆΠ»ΠΈΠ²ΠΎΡΡ‚ΠΈ ΠΏΠΈΡˆΡƒΡ‰Π΅Π³ΠΎ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹. Π§Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅Π³Π°Ρ‚ΡŒ основного количСства ошибок, ΡΠΎΠ±Π»ΡŽΠ΄Π°ΠΉΡ‚Π΅ Β«ΠΏΡ€Π°Π²ΠΈΠ»Π° Ρ…ΠΎΡ€ΠΎΡˆΠ΅Π³ΠΎ Ρ‚ΠΎΠ½Π°Β». Ошибками ΠΈΠ·-Π·Π° Π½Π΅Ρ€ΡΡˆΠ»ΠΈΠ²ΠΎΡΡ‚ΠΈ ΡΡ‡ΠΈΡ‚Π°ΡŽΡ‚ΡΡ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ ошибки:


ΠžΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹ΠΉ синтаксис ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π² Π² robots.txt

ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ слуТит для напоминания WEB-мастСру, Π·Π°Ρ‡Π΅ΠΌ ΠΈ ΠΏΠΎΡ‡Π΅ΠΌΡƒ ΠΎΠ½ Π·Π°ΠΊΡ€Ρ‹Π» ΠΈΠ»ΠΈ ΠΎΡ‚ΠΊΡ€Ρ‹Π» ΠΎΠΏΡ€Π΅Π΄Π΅Π»Ρ‘Π½Π½Ρ‹ΠΉ ΠΏΡƒΡ‚ΡŒ для индСксации. ΠŸΡ€ΠΈΠ½ΡΡ‚ΠΎ ΠΏΠΈΡΠ°Ρ‚ΡŒ ΠΏΠΎΡΡΠ½ΡΡŽΡ‰ΠΈΠΉ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ послС объявлСнной Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ с Π½ΠΎΠ²ΠΎΠΉ строки:

User-agent: *
# для всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² (это ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ)

Ни Π² ΠΊΠΎΠ΅ΠΌ случаС Π½Π΅ ΠΏΠΈΡˆΠΈΡ‚Π΅ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ Π² самой Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅:

Disallow: #это ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ / folder

Π’ этом случаС Π²Ρ‹ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚Π΅, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π·Π°ΠΊΡ€Ρ‹Π²Π°Π΅Ρ‚Π΅ ΠΎΡ‚ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ΠΈ содСрТимоС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹. ΠžΡΡ‚Π°Ρ‘Ρ‚ΡΡ Disallow с пустым содСрТаниСм. Π§Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ такая запись ΠΈ ΠΊΠ°ΠΊ Π΅Ρ‘ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ поисковыС систСмы, Π²Ρ‹ ΡƒΠΆΠ΅ Π·Π½Π°Π΅Ρ‚Π΅.


Π§Π΅Ρ€Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅ строчных ΠΈ прописных Π±ΡƒΠΊΠ² Π² ΠΈΠΌΠ΅Π½Π°Ρ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ…

Если имя Ρ„Π°ΠΉΠ»Π° robots.txt Π΄ΠΎΠ»ΠΆΠ½ΠΎ Π±Ρ‹Ρ‚ΡŒ написано ΠΈΠΌΠ΅Π½Π½ΠΎ Ρ‚Π°ΠΊ, ΠΊΠ°ΠΊ написано Π² этой строкС, Ρ‚ΠΎ Π²Π½ΡƒΡ‚Ρ€ΠΈ Ρ„Π°ΠΉΠ»Π° для объявлСния Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² ΠΈ указания ΠΈΡ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ допускаСтся использованиС ΠΊΠ°ΠΊ ΠΌΠ°Π»Π΅Π½ΡŒΠΊΠΈΡ…, строчных, Ρ‚Π°ΠΊ ΠΈ Π·Π°Π³Π»Π°Π²Π½Ρ‹Ρ…, прописных Π±ΡƒΠΊΠ². Ошибкой это ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒΡΡ Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚. Но ΠΎΠ±Ρ‰Π΅ΠΏΡ€ΠΈΠ·Π½Π°Π½Π½Ρ‹Π΅ ΠΏΡ€Π°Π²ΠΈΠ»Π° Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽΡ‚ ΠΏΡ€ΠΈΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Ρ‚ΡŒΡΡ стандартов ΠΈ Π½Π΅ ΡƒΠ²Π»Π΅ΠΊΠ°Ρ‚ΡŒΡΡ Β«ΡƒΠΊΡ€Π°ΡˆΠ΅Π½ΠΈΠ΅ΠΌΒ» синтаксиса.

 

На этом ΡƒΡ€ΠΎΠΊ ΠΏΠΎ созданию Ρ„Π°ΠΉΠ»Π° robots.txt ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ Π²Π°ΠΌΠΈ ΠΏΡ€ΠΎΠΉΠ΄Π΅Π½. Π’Π΅ΠΏΠ΅Ρ€ΡŒ Π²Ρ‹ Π·Π½Π°Π΅Ρ‚Π΅ всС Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Π΅ знания для заполнСния этого Π²Π°ΠΆΠ½ΠΎΠ³ΠΎ Ρ„Π°ΠΉΠ»Π°.

 

Π£Π΄Π°Ρ‡Π½ΠΎΠ³ΠΎ Π’Π°ΠΌ продвиТСния своих сайтов!

 

Π—Π½Π°ΠΊ (#) β€” Ρ€Π΅ΡˆΡ‘Ρ‚ΠΊΠ°, ΠΎΠΊΡ‚ΠΎΡ‚ΠΎΡ€ΠΏ (ΠΎΡ‚ Π»Π°Ρ‚Ρ‹Π½ΠΈ octothorpe β€” восСмь ΠΊΠΎΠ½Ρ†ΠΎΠ²), Ρ…Π΅Ρˆ, Π·Π½Π°ΠΊ Π½ΠΎΠΌΠ΅Ρ€Π°, Π΄ΠΈΠ΅Π· (ΠΈΠ»ΠΈ ΡˆΠ°Ρ€ΠΏ (английскоС sharp), ΠΈΠ·-Π·Π° внСшнСго сходства этих Π΄Π²ΡƒΡ… символов), Π·Π½Π°ΠΊ Ρ„ΡƒΠ½Ρ‚Π° (Π·Π½Π°ΠΊ # часто ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚, Ссли отсутствуСт тСхничСская Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π²Π²ΠΎΠ΄Π° символа Ρ„ΡƒΠ½Ρ‚Π°).

Π€Π°ΠΉΠ» robots.txt для joomla 2.5 ОписаниС ΠΈ Π½Π°Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΏΡ€Π°Π²ΠΈΠ» Ρ„Π°ΠΉΠ»Π°.

 

 

Π’Π°ΠΆΠ½Ρ‹ΠΌ ΠΌΠΎΠΌΠ΅Π½Ρ‚ΠΎΠΌ ΠΏΡ€ΠΈ ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎΠΌ ΠΏΡ€ΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΠΈ ΠΈ раскруткС сайта являСтся ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΠ΅ показатСля индСксации сайта. ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Π΄ΠΎΠΌΠΈΠ½ΠΈΡ€ΡƒΡŽΡ‚ Π² Ρ€ΡƒΠ½Π΅Ρ‚Π΅ поисковыС систСмы ЯндСкс ΠΈ Google,  ΠΏΠΎΡΡ‚ΠΎΠΌΡƒ стоит ΡƒΠ΄Π΅Π»ΠΈΡ‚ΡŒ особоС Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ индСксации сайта Π² ЯндСксС ΠΈ Google. Π’Π°ΠΊ ΠΊΠ°ΠΊ ΠΎΡ‚ этого Π±ΡƒΠ΄Π΅Ρ‚ Π·Π°Π²ΠΈΡΠ΅Ρ‚ΡŒ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎΠ΅ ΠΏΡ€ΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΠ΅ сайта Π² Ρ†Π΅Π»ΠΎΠΌ комплСксС этапа раскрутки.

ΠŸΡ€ΠΈ ΠΎΠ±Ρ…ΠΎΠ΄Π΅ поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ сайтов с Ρ†Π΅Π»ΡŒΡŽ индСксации, Π²Π½Π°Ρ‡Π°Π»Π΅ происходит ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Ρ„Π°ΠΉΠ»Π° robots.txt, ΠΈ Π² зависимости ΠΎΡ‚ прописанных Π² Π½Π΅ΠΌ ΠΏΡ€Π°Π²ΠΈΠ», ΠΎΡΡƒΡ‰Π΅ΡΡ‚Π²Π»ΡΡŽΡ‚ΡΡ дальнСйшиС дСйствия поискового Ρ€ΠΎΠ±ΠΎΡ‚Π°.

ΠŸΡ€ΠΈ отсутствии Ρ„Π°ΠΉΠ»Π° robots.txt для joomla, дСйствия поискового Ρ€ΠΎΠ±ΠΎΡ‚Π° ΠΊ сайту ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ самыС Ρ€Π°Π·Π½Ρ‹Π΅: ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, частично ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΠ»ΠΈ Π²ΠΎΠΎΠ±Ρ‰Π΅ ΠΏΡ€ΠΎΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. ΠŸΡ€ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠΈ Ρ„Π°ΠΉΠ»Π° robots.txt, ΠΏΡ€ΠΈΡ‡Π΅ΠΌ Π³Ρ€Π°ΠΌΠΎΡ‚Π½ΠΎ составлСнного, поисковый Ρ€ΠΎΠ±ΠΎΡ‚ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΡΡƒΡ‰Π΅ΡΡ‚Π²Π»ΡΡ‚ΡŒ Ρ†Π΅Π»Π΅Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½Π½ΡƒΡŽ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ сайта.

Π’ΠΎΡ‚ Ρ‚Π°ΠΊ выглядит стандартный Ρ„Π°ΠΉΠ» robots. txt Π² дистрибутивС Joomla 2.5, послС установки сайта Π½Π° сСрвСр.

Π”Π°Π½Π½Ρ‹ΠΉ Ρ„Π°ΠΉΠ» robots.txt для joomla Ρ€Π°Π±ΠΎΡ‚оспособСн, Π½ΠΎ Π² Π½Π΅ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ произвСсти измСнСния, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ сущСствСнно повысят ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒ индСксации сайта поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ.

Π’ΠΎΡ‚ ΠΊΠ°ΠΊΠΈΠ΅ Π½ΡƒΠΆΠ½ΠΎ произвСсти ΠΏΠΎΠΏΡ€Π°Π²ΠΊΠΈ для Ρ„Π°ΠΉΠ»Π°.

ΠŸΡ€Π°Π²ΠΈΠ»ΠΎ Disallow: /images/ создаСт Π·Π°ΠΏΡ€Π΅Ρ‚ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΠΊ ΠΏΠ°ΠΏΠΊΠ΅ для ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΎΠΊ Π½Π° сайтС. Π—Π°ΠΊΡ€Ρ‹Ρ‚ΠΈΠ΅ ΠΏΠ°ΠΏΠΊΠΈ images ΠΎΡ‚ индСксирования ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ ΠΎΡ‚ΠΊΠ°Π· ΠΎΡ‚ участия Π² поискС ΠΏΠΎ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°ΠΌ ЯндСкса ΠΈ Google. Π­Ρ‚Ρƒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ ΠΈΠ· Ρ„Π°ΠΉΠ»Π° robots.txt.

Для участия ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Π² поискС ΠΏΠΎ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°ΠΌ ЯндСкса ΠΈ Google Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡ€ΠΎΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚Ρ‹ Alt ΠΈ Title. Π’Π°ΠΊ ΠΊΠ°ΠΊ эти Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚Ρ‹ Π±ΡƒΠ΄ΡƒΡ‚ ΡΠ²Π»ΡΡ‚ΡŒΡΡ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹ΠΌΠΈ словами для поиска ΠΏΠΎ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°ΠΌ ЯндСкса ΠΈ Google.

ΠŸΡ€ΠΈ Ρ€Π°Π±ΠΎΡ‚Π΅ Π² ΠΏΠ°Π½Π΅Π»ΠΈ ЯндСкс – ВСбмастСр Ρ€Π°Π·Π΄Π΅Π» β€œΠ˜ΡΠΊΠ»ΡŽΡ‡Π΅Π½Π½Ρ‹Π΅ страницы” выдаСтся сообщСниС: HTTP-статус: РСсурс Π½Π΅ Π½Π°ΠΉΠ΄Π΅Π½ (404) ΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π½Ρ‹ страницы Π½Π°ΠΌΠ΅Ρ€Π΅Π½Π½ΠΎ Π·Π°ΠΏΡ€Π΅Ρ‰Π΅Π½Ρ‹ ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ. Одной ΠΈΠ· ΠΏΡ€ΠΈΡ‡ΠΈΠ½ Ρ‚Π°ΠΊΠΎΠ³ΠΎ сообщСния являСтся отсутствиС ΠΏΡ€Π°Π²ΠΈΠ»Π° ΡƒΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‰Π΅Π³ΠΎ ΠΏΡƒΡ‚ΡŒ ΠΊ Ρ„Π°ΠΉΠ»Ρƒ Sitemap. Π­Ρ‚ΠΎΡ‚ Π½Π΅Π΄ΠΎΡ‡Π΅Ρ‚ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ восстановлСн.
Как ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚Ρƒ сайта ΠΈ Ρ„Π°ΠΉΠ» Sitemap смотритС Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅: ΠšΠ°Ρ€Ρ‚Π° сайта для Joomla 2.5

Π’Π°ΠΊ ΠΆΠ΅ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ слСдуСт Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² Ρ„Π°ΠΉΠ» robots.txt ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ
User-agent: Yandex для вставки Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Host, ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‰Π΅ΠΉ Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ сайта для ЯндСкса (Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ сайта – это URL сайта с www ΠΈΠ»ΠΈ Π±Π΅Π·).

Для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ± Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΡŽ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ, Π½ΡƒΠΆΠ½ΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ:
ΠŸΡ€ΠΈΠΌΠ΅Ρ€:
Disallow: */10-kategoriya.html
β€˜*’ – Π·Π²Π΅Π·Π΄ΠΎΡ‡ΠΊΠ° ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ Π»ΡŽΠ±Ρ‹Π΅ символы, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ всС Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ стоит Π΄ΠΎ слэша (позиция Π·Π²Π΅Π·Π΄ΠΎΡ‡ΠΊΠΈ Π΄ΠΎ слэша */  ΠΈΠ»ΠΈ послС /* β€” это ΠΈΠΌΠ΅Π΅Ρ‚ большоС Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅)
β€˜10’ – это id ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ
β€˜kategoriya’ – это алиас ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ (ΠΏΡ€ΠΈΠ½Π°Π΄Π»Π΅ΠΆΠ°Ρ‰Π΅ΠΉ id 10)

Каким ΠΏΡ€Π°Π²ΠΈΠ»ΠΎΠΌ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ:

  • страницы для ΠΏΠ΅Ρ‡Π°Ρ‚ΠΈ
  • ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ новостных ΠΊΠ°Π½Π°Π»ΠΎΠ²
  •  PDF Ρ„Π°ΠΉΠ»Ρ‹
  •  Π΄ΠΈΠ½Π°ΠΌΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ ссылки
  •  ΡΡ‚Ρ€Π°Π½ΠΈΡ†Ρ‹ поиска ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ страницы

пояснСно Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅  robots. txt Как ΡƒΡΡ‚Ρ€Π°Π½ΠΈΡ‚ΡŒ Π΄ΡƒΠ±Π»ΠΈ для сайта Joomla 2.5

Для прСдпочтСния поисковика ЯндСкс, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ User-agent: Yandex ΡΡ‚Π°Π²ΠΈΡ‚ΡŒ Π² Π½Π°Ρ‡Π°Π»Π΅ Ρ„Π°ΠΉΠ»Π°. Π’ ΠΈΡ‚ΠΎΠ³Π΅ Ρ„Π°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Ρ‚Π°ΠΊ:

Π”Π°Π½Π½Ρ‹ΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ Π½Π΅ являСтся эталоном, Π½ΠΎ Π΅Π³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠ½ΡΡ‚ΡŒ Π·Π° основу.

ПослС ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΠΎΠ²ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° (Π²Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²Π»ΡΡ‚ΡŒ свои ΠΏΡ€Π°Π²ΠΈΠ»Π° Π² robots.txt), ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Ρ„Π°ΠΉΠ»Π° robots.txt для joomla ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Π°. Π’Π°ΠΊ ΠΊΠ°ΠΊ Π² случаС ошибки, истинныС страницы ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Π·Π°ΠΊΡ€Ρ‹Ρ‚Ρ‹ для Ρ€ΠΎΠ±ΠΎΡ‚Π°, ΠΈ исчСзнут ΠΈΠ· поиска.

Для удобства ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ страниц сайта Π½Π° Ρ€Π°Π±ΠΎΡ‚ΠΎΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ, Π½ΡƒΠΆΠ½ΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ тСкстовый Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ ΠΈ Π² Π½Π΅Π³ΠΎ ΡΠΊΠΎΠΏΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ со своСй страницы β€œΠšΠ°Ρ€Ρ‚Π° сайта” всС ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠ΅ url-адрСса, Π² ΡƒΠ΄ΠΎΠ±ΠΎΡ‡ΠΈΡ‚Π°Π΅ΠΌΠΎΠΌ Π²ΠΈΠ΄Π΅ (ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ url-адрСс с Π½ΠΎΠ²ΠΎΠΉ стрки).

Π”Ρ€ΡƒΠ³ΠΎΠΉ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ составлСния списка url-адрСсов:
Π’ ПанСли управлСния: ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠšΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹ ->Xmap -> Π½Π°ΠΆΠ°Ρ‚ΡŒ Π½Π° ссылку XML Sitemap. ΠžΡ‚ΠΊΡ€ΠΎΠ΅Ρ‚ΡΡ ΠΎΠΊΠ½ΠΎ ΠΊΠ°Ρ€Ρ‚Π° сайта со всСми ссылками, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½ΡƒΠΆΠ½ΠΎ ΡΠΊΠΎΠΏΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π² тСкстовый Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚.

 Π”Π°Π»Π΅Π΅:

Π’  Google ВСбмастСр:  (ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ ΠΏΠΎ ссылкам) β€œΠ—Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ URL” -> β€œΠ£ΠΊΠ°ΠΆΠΈΡ‚Π΅ URL-адрСса ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² User Agent для провСрки”.

Π’ ЯндСкс ВСбмастСр:  (ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ ΠΏΠΎ ссылкам) β€œΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ robots.txt”-> β€œΠ‘ΠΏΠΈΡΠΎΠΊ URL”

Π½ΡƒΠΆΠ½ΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ  ΠΏΡ€ΠΈΠ³ΠΎΡ‚ΠΎΠ²Π»Π΅Π½Π½Ρ‹ΠΉ список  ΠΈ Π½Π°ΠΆΠ°Ρ‚ΡŒ ΠΊΠ½ΠΎΠΏΠΊΡƒ β€œΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒβ€
И Π²Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½Π½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹.

ΠšΡΡ‚Π°Ρ‚ΠΈ, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΏΡ€ΠΎΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ свой Ρ„Π°ΠΉΠ» robots.txt, Ρ‚ΠΎ достаточно Π΄ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ Π² ΠΊΠΎΠΌΠ°Π½Π΄Π½ΠΎΠΉ строкС Π±Ρ€Π°ΡƒΠ·Π΅Ρ€Π° ΠΊ url слово: robots.txt

Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€:  http://usersite/robots.txt.

 

По Π΄Π°Π½Π½ΠΎΠΉ Ρ‚Π΅ΠΌΠ΅ Ρ‡ΠΈΡ‚Π°ΠΉΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ ΡΡ‚Π°Ρ‚ΡŒΠΈ:
Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ redirect-301
Π”ΡƒΠ±Π»ΠΈ страниц Joomla 2.5 
robots.txt Π£Π΄Π°Π»Π΅Π½ΠΈΠ΅ Π΄ΡƒΠ±Π»Π΅ΠΉ Π² Joomla 2.5
robots.txt Ошибки ΠΈ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊΠΈ Π΄ΡƒΠ±Π»Π΅ΠΉ Joomla

Как Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΈ ΡƒΠ²Π°ΠΆΠ°Ρ‚ΡŒ Robots.txt

Robots.txt β€” это Ρ„Π°ΠΉΠ», ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹ΠΉ Π²Π΅Π±-сайтами, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠΎΠ±Ρ‰ΠΈΡ‚ΡŒ «поисковым Π±ΠΎΡ‚Π°ΠΌΒ», Π΄ΠΎΠ»ΠΆΠ΅Π½ Π»ΠΈ ΠΈ ΠΊΠ°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ сайт ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ поисковой систСмой. МногиС сайты просто Π·Π°ΠΏΡ€Π΅Ρ‰Π°ΡŽΡ‚ сканированиС, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ сайт Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ поисковыми систСмами ΠΈΠ»ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠΌΠΈ поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. Когда Π²Ρ‹ ΠΏΡ‹Ρ‚Π°Π΅Ρ‚Π΅ΡΡŒ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ ΠΈΠ· Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π°, ΠΎΡ‡Π΅Π½ΡŒ Π²Π°ΠΆΠ½ΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ robots. txt ΠΈ ΠΊΠ°ΠΊ Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΈ ΡƒΠ²Π°ΠΆΠ°Ρ‚ΡŒ robots.txt , Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ ΡŽΡ€ΠΈΠ΄ΠΈΡ‡Π΅ΡΠΊΠΈΡ… послСдствий.

ΠŸΠΎΡ‡Π΅ΠΌΡƒ Π²Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΈ ΡƒΠ²Π°ΠΆΠ°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» Robots.txt?

Π£Π²Π°ΠΆΠ΅Π½ΠΈΠ΅ ΠΊ robots.txt нСльзя ΡΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ Π½Π° Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ Ρƒ Π½Π°Ρ€ΡƒΡˆΠΈΡ‚Π΅Π»Π΅ΠΉ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡƒΡ‚ ΡŽΡ€ΠΈΠ΄ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ ослоТнСния. Π’ΠΎΡ‡Π½ΠΎ Ρ‚Π°ΠΊ ΠΆΠ΅, ΠΊΠ°ΠΊ Π²Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡΠΎΠ±Π»ΡŽΠ΄Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»Π° Π΄ΠΎΡ€ΠΎΠΆΠ½ΠΎΠ³ΠΎ двиТСния Π²ΠΎ врСмя двиТСния ΠΏΠΎ шоссС, Π²Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡƒΠ²Π°ΠΆΠ°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π²Π΅Π±-сайта, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ сканируСтС. Π­Ρ‚ΠΎ считаСтся стандартным ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ΠΌ Π² Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅ ΠΈ ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ интСрСсам Π²Π΅Π±-ΠΈΠ·Π΄Π°Ρ‚Π΅Π»Π΅ΠΉ.

МногиС Π²Π΅Π±-сайты ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡ΠΈΡ‚Π°ΡŽΡ‚ Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ ΠΈΡ… ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ носит ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΉ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€ ΠΈ ΠΌΠ°Π»ΠΎ ΠΏΠΎΠ»Π΅Π·Π΅Π½ для ΠΏΡƒΠ±Π»ΠΈΠΊΠΈ. Если это нСдостаточно вСская ΠΏΡ€ΠΈΡ‡ΠΈΠ½Π° для соблюдСния ΠΏΡ€Π°Π²ΠΈΠ» robots.txt, ΠΎΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ сканированиС Π²Π΅Π±-сайта, Π·Π°ΠΏΡ€Π΅Ρ‰Π°ΡŽΡ‰Π΅Π³ΠΎ Π±ΠΎΡ‚ΠΎΠ², ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ судСбному иску ΠΈ ΠΏΠ»ΠΎΡ…ΠΎ Π·Π°ΠΊΠΎΠ½Ρ‡ΠΈΡ‚ΡŒΡΡ для Ρ„ΠΈΡ€ΠΌΡ‹ ΠΈΠ»ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ Π»ΠΈΡ†Π°. Π’Π΅ΠΏΠ΅Ρ€ΡŒ Π΄Π°Π²Π°ΠΉΡ‚Π΅ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄Π΅ΠΌ ΠΊ Ρ‚ΠΎΠΌΡƒ, ΠΊΠ°ΠΊ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΠ»Π΅Π΄ΠΈΡ‚ΡŒ Π·Π° Ρ„Π°ΠΉΠ»ΠΎΠΌ robots.txt, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΡΡ‚Π°Π²Π°Ρ‚ΡŒΡΡ Π² бСзопасной Π·ΠΎΠ½Π΅.

ΠŸΡ€Π°Π²ΠΈΠ»Π° Robots.
txt

1. Π Π°Π·Ρ€Π΅ΡˆΠΈΡ‚ΡŒ ΠΏΠΎΠ»Π½Ρ‹ΠΉ доступ

АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: *
Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ:

, Π²Π°ΠΌ ΠΏΠΎΠ²Π΅Π·Π»ΠΎ. Π­Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ всС страницы сайта ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ просканированы Π±ΠΎΡ‚Π°ΠΌΠΈ.

2. Π—Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ вСсь доступ

User-agent: *

Disallow: /

Π’Π°ΠΌ слСдуСт Π΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒΡΡ подальшС ΠΎΡ‚ сайта с этим Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt. Π’ Π½Π΅ΠΌ говорится, Ρ‡Ρ‚ΠΎ никакая Ρ‡Π°ΡΡ‚ΡŒ сайта Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Π° ΠΏΠΎΡΠ΅Ρ‰Π°Ρ‚ΡŒΡΡ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ автоматичСского поискового Ρ€ΠΎΠ±ΠΎΡ‚Π°, ΠΈ Π½Π°Ρ€ΡƒΡˆΠ΅Π½ΠΈΠ΅ этого ΠΏΡ€Π°Π²ΠΈΠ»Π° ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°ΠΌ с Π·Π°ΠΊΠΎΠ½ΠΎΠΌ.

3. Частичный доступ

ΠŸΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ Π°Π³Π΅Π½Ρ‚: *

DISLANGE: /Папка /

ΠŸΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ Π°Π³Π΅Π½Ρ‚: *

DISLAIL сканированиС Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… Ρ€Π°Π·Π΄Π΅Π»ΠΎΠ² ΠΈΠ»ΠΈ Ρ„Π°ΠΉΠ»ΠΎΠ² Π½Π° своСм сайтС. Π’ Ρ‚Π°ΠΊΠΈΡ… случаях Π²Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΠΏΡ€ΠΈΠΊΠ°Π·Π°Ρ‚ΡŒ своим Π±ΠΎΡ‚Π°ΠΌ ΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ области Π½Π΅Ρ‚Ρ€ΠΎΠ½ΡƒΡ‚Ρ‹ΠΌΠΈ.

4. ΠžΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠ΅ скорости сканирования

Π—Π°Π΄Π΅Ρ€ΠΆΠΊΠ° сканирования: 11

Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для ограничСния слишком частого посСщСния сайта сканСрами. ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ частыС обращСния сканСров ΠΌΠΎΠ³ΡƒΡ‚ Π²Ρ‹Π·Π²Π°Ρ‚ΡŒ Π½Π΅ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π½Π° сСрвСр ΠΈ Π·Π°ΠΌΠ΅Π΄Π»ΠΈΡ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρƒ сайта для посСтитСлСй, ΠΌΠ½ΠΎΠ³ΠΈΠ΅ сайты Π΄ΠΎΠ±Π°Π²Π»ΡΡŽΡ‚ эту строку Π² свой Ρ„Π°ΠΉΠ» robots. Π’ этом случаС сайт ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ с Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ Π² ​​11 сСкунд.

5. ВрСмя посСщСния

ВрСмя посСщСния: 0400-0845

Π­Ρ‚ΠΎ сообщаСт сканСрам ΠΎ часах, ΠΊΠΎΠ³Π΄Π° сканированиС Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΎ. Π’ этом ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ сайт ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ с 04:00 Π΄ΠΎ 08:45 UTC. Π‘Π°ΠΉΡ‚Ρ‹ Π΄Π΅Π»Π°ΡŽΡ‚ это, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ ΠΎΡ‚ Π±ΠΎΡ‚ΠΎΠ² Π² часы ΠΏΠΈΠΊ.

6. Частота запросов

Частота запросов: 1/10

НСкоторыС Π²Π΅Π±-сайты Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ Π±ΠΎΡ‚ΠΎΠ², ΠΏΡ‹Ρ‚Π°ΡŽΡ‰ΠΈΡ…ΡΡ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ нСсколько страниц ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ. Частота запросов ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для ограничСния Ρ‚Π°ΠΊΠΎΠ³ΠΎ повСдСния. 1/10, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ это Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ сайт позволяСт сканСрам Π·Π°ΠΏΡ€Π°ΡˆΠΈΠ²Π°Ρ‚ΡŒ ΠΎΠ΄Π½Ρƒ страницу ΠΊΠ°ΠΆΠ΄Ρ‹Π΅ 10 сСкунд.

Π‘ΡƒΠ΄ΡŒΡ‚Π΅ Ρ…ΠΎΡ€ΠΎΡˆΠΈΠΌ Π±ΠΎΡ‚ΠΎΠΌ

Π₯ΠΎΡ€ΠΎΡˆΠΈΠ΅ Π±ΠΎΡ‚Ρ‹ ΡΠΎΠ±Π»ΡŽΠ΄Π°ΡŽΡ‚ ΠΏΡ€Π°Π²ΠΈΠ»Π°, установлСнныС Π²Π΅Π±-сайтами Π² Ρ„Π°ΠΉΠ»Π΅ robots. txt, ΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‚ рСкомСндациям ΠΏΡ€ΠΈ сканировании ΠΈ очисткС. Π‘Π°ΠΌΠΎ собой разумССтся, Ρ‡Ρ‚ΠΎ Π²Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΠΈΠ·ΡƒΡ‡ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Ρ†Π΅Π»Π΅Π²ΠΎΠ³ΠΎ Π²Π΅Π±-сайта, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ Π²Ρ‹ Π½Π΅ Π½Π°Ρ€ΡƒΡˆΠ°Π΅Ρ‚Π΅ Π½ΠΈΠΊΠ°ΠΊΠΈΡ… ΠΏΡ€Π°Π²ΠΈΠ».

Π—Π°ΠΏΡƒΡ‚Π°Π»ΠΈΡΡŒ?

Π’Π΅ΡΡŒΠΌΠ° слоТный тСхничСский ΠΆΠ°Ρ€Π³ΠΎΠ½ ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π°, связанныС со сканированиСм Π²Π΅Π±-страниц, ΠΏΡƒΠ³Π°ΡŽΡ‚. Если Π²Ρ‹ ΠΎΠΊΠ°ΠΆΠ΅Ρ‚Π΅ΡΡŒ Π² ситуации, ΠΊΠΎΠ³Π΄Π° Π²Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ Π²Π΅Π±-Π΄Π°Π½Π½Ρ‹Π΅, Π½ΠΎ Π²Ρ‹ Π½Π΅ ΡƒΠ²Π΅Ρ€Π΅Π½Ρ‹ Π² вопросах соотвСтствия, ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ Ρ€Π°Π΄Ρ‹ ΡΡ‚Π°Ρ‚ΡŒ вашим ΠΏΠ°Ρ€Ρ‚Π½Π΅Ρ€ΠΎΠΌ ΠΏΠΎ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π²Π·ΡΡ‚ΡŒ Π½Π° сСбя ΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π·Π° процСсс.


Π”Π΅Π»ΠΈΡ‚ΡŒΡΡ Π·Π°Π±ΠΎΡ‚ΠΎΠΉ!

Π‘Π²ΡΠ·Π°Ρ‚ΡŒΡΡ с Π½Π°ΠΌΠΈ

ΠŸΠΎΠΆΠ°Π»ΡƒΠΉΡΡ‚Π°, Π·Π°ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ всС поля для ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠΈ

Shopify Robots.

txt: ΠΊΠ°ΠΊ Π΅Π³ΠΎ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ (ΠΈ Π·Π°Ρ‡Π΅ΠΌ!) Π² Π½Π°ΡˆΠΈΡ… ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°Ρ… Shopify (ΠΊΠ°ΠΊ стандартных, Ρ‚Π°ΠΊ ΠΈ Shopify Plus).

Π’ΠΎΡ‚ ΠΊΠ°ΠΊ Π΅Π³ΠΎ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, ΠΊΠΎΠ³Π΄Π° Π΅Π³ΠΎ слСдуСт Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°Ρ‚ΡŒ ΠΈ Ρ‡Π΅ΠΌ это ΠΏΠΎΠ»Π΅Π·Π½ΠΎ для SEO.

{{potential-cta}}

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Robots.txt?

Robots.txt β€” это Ρ„Π°ΠΉΠ», содСрТащий ΠΏΡ€Π°Π²ΠΈΠ»Π° доступа Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²/ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² ΠΊ Π²Π°ΡˆΠ΅ΠΌΡƒ Π²Π΅Π±-сайту. ΠŸΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠΌ ΠΏΡ€Π°Π²ΠΈΠ»Π° ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Β«Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒΒ», ΠΊΠΎΠ³Π΄Π° Π²Ρ‹ устанавливаСтС ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΉ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ ΠΈΠ»ΠΈ URL-адрСс ΠΊΠ°ΠΊ Π·Π°ΠΏΡ€Π΅Ρ‰Π΅Π½Π½Ρ‹ΠΉ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ всС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ Π½Π΅ ΠΈΠΌΠ΅ΡŽΡ‚ доступа ΠΊ Π½Π΅ΠΌΡƒ.

Π­Ρ‚ΠΎΡ‚ Ρ„Π°ΠΉΠ» всСгда находится ΠΏΠΎ адрСсу:
yourwebsite.com/robots.txt

НаличиС ΠΏΡ€Π°Π²ΠΈΠ» Π² Ρ„Π°ΠΉΠ»Π΅ Robots.txt Π½Π΅ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ Β«ΠΏΡ€ΠΈΠ½ΡƒΠΆΠ΄Π°Π΅Ρ‚Β» Π±ΠΎΡ‚ΠΎΠ², Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΈΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Ρ‚ΡŒΡΡ ΠΈΡ…, Π½ΠΎ Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ Ρ…ΠΎΡ€ΠΎΡˆΠΈΡ… Π±ΠΎΡ‚ΠΎΠ², Π²ΠΊΠ»ΡŽΡ‡Π°Ρ googlebot, ahrefsbot, bingbot, duckduckbot ΠΈ Ρ‚. Π΄., ΠΏΡ€ΠΎΠ²Π΅Ρ€ΡΡŽΡ‚ этот Ρ„Π°ΠΉΠ» ΠΏΠ΅Ρ€Π΅Π΄ сканированиСм.

Как Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ robots.txt Π½Π° Shopify

  1. ΠžΡ‚ΠΊΡ€ΠΎΠΉΡ‚Π΅ свой Dashboard
  2. ΠŸΠ΅Ρ€Π΅ΠΉΡ‚ΠΈ ΠΊ Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚ -ΠΌΠ°Π³Π°Π·ΠΈΠ½Ρƒ > Π’Π΅ΠΌΡ‹
  3. Π² Live Theme .
  4. Π’ Ρ€Π°Π·Π΄Π΅Π»Π΅ шаблонов Π½Π°ΠΆΠΌΠΈΡ‚Π΅ Β«Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π½ΠΎΠ²Ρ‹ΠΉ шаблон»
  5. Π˜Π·ΠΌΠ΅Π½ΠΈΡ‚ΡŒ Β«Π‘ΠΎΠ·Π΄Π°Ρ‚ΡŒ Π½ΠΎΠ²Ρ‹ΠΉ шаблон для» Π½Π° Robots.txt
  6. НаТмитС Β«Π‘ΠΎΠ·Π΄Π°Ρ‚ΡŒ шаблон»

Π‘ΡƒΠ΄Π΅Ρ‚ создан Ρ„Π°ΠΉΠ» Robots.txt.liquid со ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΊΠΎΠ΄ΠΎΠΌ:

Π­Ρ‚ΠΎΡ‚ Ρ„Π°ΠΉΠ» шаблона Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ измСняСт Robots.txt Ρ„Π°ΠΉΠ», Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ этот ΠΊΠΎΠ΄ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ добавляСт всС ΠΏΡ€Π°Π²ΠΈΠ»Π° ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Shopify ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ ΠΈΠ· ΠΊΠΎΡ€ΠΎΠ±ΠΊΠΈ.

ΠŸΡ€ΠΈΠΌΠ΅Ρ‡Π°Π½ΠΈΠ΅: Π― Π½Π°ΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽ Π½Π΅ ΡƒΠ΄Π°Π»ΡΡ‚ΡŒ эти ΠΏΡ€Π°Π²ΠΈΠ»Π°, Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ ΠΈΠ· Π½ΠΈΡ… Ρ…ΠΎΡ€ΠΎΡˆΠΎ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π½Ρ‹ Shopify

Π’Π΅ΠΏΠ΅Ρ€ΡŒ Ρƒ нас Π΅ΡΡ‚ΡŒ Ρ„Π°ΠΉΠ», ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π΅Π³ΠΎ ΠΏΠΎ своСму ΡƒΡΠΌΠΎΡ‚Ρ€Π΅Π½ΠΈΡŽ.

Настройка Robots.txt.liquid

Π’ этот Ρ„Π°ΠΉΠ» ΠΌΠΎΠΆΠ½ΠΎ внСсти 3 измСнСния:

  • Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π½ΠΎΠ²ΠΎΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ Π² ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΡƒΡŽ Π³Ρ€ΡƒΠΏΠΏΡƒ
  • Π£Π΄Π°Π»ΠΈΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ ΠΈΠ· ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰Π΅ΠΉ Π³Ρ€ΡƒΠΏΠΏΡ‹
  • Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»Π°

Π“Ρ€ΡƒΠΏΠΏΠ° относится ΠΊ Π½Π°Π±ΠΎΡ€Ρƒ ΠΏΡ€Π°Π²ΠΈΠ» для ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ².

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π½ΠΎΠ²ΠΎΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ Π² ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΡƒΡŽ Π³Ρ€ΡƒΠΏΠΏΡƒ

Π’ΠΎΡ‚ Ρ„Π°ΠΉΠ», ΠΈΠ·ΠΌΠ΅Π½Π΅Π½Π½Ρ‹ΠΉ для Π²ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΠΏΡ€Π°Π²ΠΈΠ» ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΡ‹ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌ для ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ²:

Π­Ρ‚ΠΎΡ‚ ΠΊΠΎΠ΄ Π³ΠΎΠ²ΠΎΡ€ΠΈΡ‚, Ρ‡Ρ‚ΠΎ Ссли user_agent (Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ name) Ρ€Π°Π²Π½ΠΎ *, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌΠΎ ΠΊΠΎ всСм Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ, Π·Π°Ρ‚Π΅ΠΌ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅:

  • /collections/all β€” это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ ΠΊΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΡŽ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ, ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‰ΡƒΡŽ список всСх Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ² ( ΠŸΠ Π˜ΠœΠ•Π§ΠΠΠ˜Π•: , Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅, Ссли ΠΎΠ½ Ρƒ вас Π΅ΡΡ‚ΡŒ)
  • /collections/vendors*?*q= β€” это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ ΠΎΠ±Ρ…ΠΎΠ΄ ΠΊΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΠΉ поставщиков ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ
  • /collections/types *?*q=  β€” это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ ΠΎΠ±Ρ…ΠΎΠ΄ ΠΊΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΠΉ Ρ‚ΠΈΠΏΠΎΠ² ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ.
  •   /collections/*?*constraint*  β€“ это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ для поставщиков ΠΈ Ρ‚ΠΈΠΏΠΎΠ².
  • /collections/* /* - Π­Ρ‚ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ сканированиС Ρ‚Π΅Π³ΠΎΠ² ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ² ( ΠŸΠ Π˜ΠœΠ•Π§ΠΠΠ˜Π•: Π±ΡƒΠ΄ΡŒΡ‚Π΅ остороТны с этим, это ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠΌΠ΅ΡˆΠ°Ρ‚ΡŒ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ², Π΄Π°ΠΆΠ΅ Ссли Π²Ρ‹ Π½Π΅ настроитС Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠ΅ ссылки )
  • /collections/*?*filter* β€” это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ сканированиС ΠΎΠ±Ρ‰ΠΈΡ… ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°
  • /collections/*?*pf_* - Π­Ρ‚ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ сканированиС ΠΎΠ±Ρ‰Π΅Π³ΠΎ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π° Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°
  • /collections/*?*view* - Π­Ρ‚ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ для измСнСния количСства ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Π΅ΠΌΡ‹Ρ… ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ²
  • /collections /*?*grid_list* β€” Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ для измСнСния способа отобраТСния ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ²
  • /collections/?page=* β€” это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ сканированиС ΠΏΠ°Π³ΠΈΠ½Π°Ρ†ΠΈΠΈ ΠΊΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΠΈ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒΡΡ ΠΊ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ Ρ€Π°Π·Π±ΠΈΠ²ΠΊΠ΅ Π½Π° страницы ΠΊΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΠΈ)
  • /blogs/*/tagged β€” это Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΡƒΠ΅Ρ‚ сканированиС Ρ‚Π΅Π³ΠΎΠ² Π±Π»ΠΎΠ³Π°

"Ρ‡Ρ‚ΠΎ-Π½ΠΈΠ±ΡƒΠ΄ΡŒ здСсь" Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€. /collections/anything?constraint=anything Π±ΡƒΠ΄Π΅Ρ‚ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½.

Π£Π΄Π°Π»ΠΈΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ ΠΈΠ· ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰Π΅ΠΉ Π³Ρ€ΡƒΠΏΠΏΡ‹

НС рСкомСндуСтся, Π½ΠΎ ΠΏΡ€ΠΈ нСобходимости ΠΏΡ€Π°Π²ΠΈΠ»Π° ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ ΠΌΠΎΠΆΠ½ΠΎ ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ ΠΈΠ· Ρ„Π°ΠΉΠ»Π° Robots.txt.

Π’ΠΎΡ‚ стандартный Shopify Robots.txt ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π° для справки:

Допустим, ΠΌΡ‹ Ρ…ΠΎΡ‚Π΅Π»ΠΈ ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ, Π±Π»ΠΎΠΊΠΈΡ€ΡƒΡŽΡ‰Π΅Π΅ /policies/, Π²ΠΎΡ‚ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ ΠΊΠΎΠ΄Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π½ΡƒΠΆΠ½ΠΎ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Ρ‡Ρ‚ΠΎ:

ВсС, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Π΄Π΅Π»Π°Π΅ΠΌ, это Π³ΠΎΠ²ΠΎΡ€ΠΈΠΌ, Ρ‡Ρ‚ΠΎ Ссли Π΅ΡΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ Β«Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒΒ» со Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ Β«/policies/Β», Π½Π΅ ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ это. Или, Ρ‚ΠΎΡ‡Π½Π΅Π΅, ΠΏΠΎΠΊΠ°Π·Π°Ρ‚ΡŒ всС ΠΏΡ€Π°Π²ΠΈΠ»Π°, ΠΊΡ€ΠΎΠΌΠ΅ этого.

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»Π°

Если Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ ΠΊ Π³Ρ€ΡƒΠΏΠΏΠ΅ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ (*, adsbot-google, Nutch, AhrefsBot, AhrefsSiteAudit, MJ12bot ΠΈ Pinterest), Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΈΡ… Π²Π½ΠΈΠ·Ρƒ Ρ„Π°ΠΉΠ»Π° шаблона.

НапримСр, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ WayBackMachine, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅:

Или, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ ΠΊΠ°Ρ€Ρ‚Ρƒ сайта, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ это:

{{potential-cta}}

Π—Π°Ρ‡Π΅ΠΌ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°Ρ‚ΡŒ Robots.

тСкст?

Если Π²Ρ‹ Π½Π΅ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€, Π²Π°ΠΌ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ интСрСсно, ΠΏΠΎΡ‡Π΅ΠΌΡƒ это Π²ΠΎΠΎΠ±Ρ‰Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. Позволь ΠΌΠ½Π΅ ΠΎΠ±ΡŠΡΡΠ½ΠΈΡ‚ΡŒ.

Π­Ρ‚ΠΎ сводится ΠΊ ΠΎΠ±ΠΎΠΈΠΌ:

  1. Π‘ΡŽΠ΄ΠΆΠ΅Ρ‚ сканирования
  2. Π’ΠΎΠ½ΠΊΠΈΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚

Π‘ΡŽΠ΄ΠΆΠ΅Ρ‚ сканирования

БущСствуСт тСхничСская концСпция SEO, извСстная ΠΊΠ°ΠΊ Π‘ΡŽΠ΄ΠΆΠ΅Ρ‚ сканирования , это Ρ‚Π΅Ρ€ΠΌΠΈΠ½, ΠΎΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‰ΠΈΠΉ количСство рСсурсов, выдСляСмых поисковыми систСмами для сканирования. ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Π²Π΅Π±-сайт.

ΠšΠΎΡ€ΠΎΡ‡Π΅ говоря:

ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ систСмы Π½Π΅ ΠΌΠΎΠ³ΡƒΡ‚ рСгулярно ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΆΠ΄ΡƒΡŽ страницу всСго Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π° (ΠΈΡ… слишком ΠΌΠ½ΠΎΠ³ΠΎ!). ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ ΠΎΠ½ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ€Π΅ΡˆΠΈΡ‚ΡŒ, сколько рСсурсов Π²Ρ‹Π΄Π΅Π»ΠΈΡ‚ΡŒ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡƒ Π²Π΅Π±-сайту.

Если Π²Π°ΡˆΠ΅ΠΌΡƒ Π²Π΅Π±-сайту трСбуСтся большС рСсурсов, Ρ‡Π΅ΠΌ Π΅ΠΌΡƒ Π²Ρ‹Π΄Π΅Π»Π΅Π½ΠΎ, Ρ‚ΠΎΠ³Π΄Π° страницы Π±ΡƒΠ΄ΡƒΡ‚ рСгулярно ΠΏΡ€ΠΎΠΏΡƒΡΠΊΠ°Ρ‚ΡŒ сканированиС .

Для поисковой ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ поисковыС систСмы, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ Google, рСгулярно сканировали ваш Π²Π΅Π±-сайт, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΡ‚ΡΠ»Π΅ΠΆΠΈΠ²Π°Ρ‚ΡŒ ваши ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΡ. Если ΠΎΠ½ΠΈ Π½Π΅ ΡΠΊΠ°Π½ΠΈΡ€ΡƒΡŽΡ‚ эти страницы, ΠΎΠ½ΠΈ понятия Π½Π΅ ΠΈΠΌΠ΅ΡŽΡ‚, ΠΊΠ°ΠΊ ΠΎΠ½ΠΈ измСнились ΠΈΠ»ΠΈ ΡƒΠ»ΡƒΡ‡ΡˆΠΈΠ»ΠΈΡΡŒ, поэтому Π²Ρ‹ Π½Π΅ ΡƒΠ²ΠΈΠ΄ΠΈΡ‚Π΅ Π½ΠΈΠΊΠ°ΠΊΠΈΡ… ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΠΉ Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³Π°.

Π­Ρ‚ΠΎ ΠΈΠΌΠ΅Π΅Ρ‚ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅, ΠΊΠΎΠ³Π΄Π° страницы Π½ΠΈΠ·ΠΊΠΎΠ³ΠΎ качСства ΡΠΊΠ°Π½ΠΈΡ€ΡƒΡŽΡ‚ΡΡ, Π° Π²Π°ΠΆΠ½Ρ‹Π΅ ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚ΡΡ.

Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, ΠΊΠΎΠ³Π΄Π° SEO-спСциалисты ΠΎΠ±ΡΡƒΠΆΠ΄Π°ΡŽΡ‚ Β«ΠΊΡ€ΠΎΡƒΠ»ΠΈΠ½Π³-Π±ΡŽΠ΄ΠΆΠ΅Ρ‚Β», ΠΎΠ½ΠΈ ΠΈΠΌΠ΅ΡŽΡ‚ Π² Π²ΠΈΠ΄Ρƒ, ΠΊΠ°ΠΊ Π»ΡƒΡ‡ΡˆΠ΅ всСго ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΡ€Π°ΡƒΠ»ΠΈΠ½Π³-Π±ΡŽΠ΄ΠΆΠ΅Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Ρƒ нас Π΅ΡΡ‚ΡŒ.

Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ Robots.txt, ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΎΡ‚ΠΎΠ² ΠΎΡ‚ сканирования ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… страниц ΠΈΠ»ΠΈ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΎΠ², Ρ‡Ρ‚ΠΎ сокращаСт ΠΏΠΎΡ‚Ρ€Π°Ρ‡Π΅Π½Π½Ρ‹ΠΉ Π²ΠΏΡƒΡΡ‚ΡƒΡŽ Π±ΡŽΠ΄ΠΆΠ΅Ρ‚ сканирования.

Π”ΠΎ этого СдинствСнным Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ Ρƒ нас Π±Ρ‹Π»ΠΎ, Π±Ρ‹Π»Π° настройка страниц Π½Π° noindex, Ρ‡Ρ‚ΠΎ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ для Ρ‚ΠΎΠ½ΠΊΠΎΠ³ΠΎ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° (ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ Ρ€Π°Π·Π΄Π΅Π») , Π½ΠΎ ΠΏΠΎ-ΠΏΡ€Π΅ΠΆΠ½Π΅ΠΌΡƒ Ρ‚Ρ€Π΅Π±ΡƒΠ΅Ρ‚, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ сканировали страницы.

Π’ΠΎΠ½ΠΊΠΈΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚

Π’ΠΎΠ½ΠΊΠΈΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ β€” это Ρ‚Π΅Ρ€ΠΌΠΈΠ½ SEO, относящийся ΠΊ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Ρƒ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π½Π΅ добавляСт Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ цСнности для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ поисковых систСм.

Если Π²Ρ‹ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄Π΅Ρ‚Π΅ Π½Π° YOURSTORE.COM/collections/vendors?q=BRAND, Π²Ρ‹ ΡƒΠ²ΠΈΠ΄ΠΈΡ‚Π΅ страницу ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ, ΡΠΎΠ·Π΄Π°Π½Π½ΡƒΡŽ для всСх поставщиков, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π²Ρ‹ установили Π² своСй ΠΏΠ°Π½Π΅Π»ΠΈ управлСния Shopify.

На этой страницС Π½Π΅Ρ‚ Π½ΠΈ содСрТания, Π½ΠΈ описания, ΠΈ Π΅Π΅ нСльзя ΠΊΠ°ΠΊΠΈΠΌ-Π»ΠΈΠ±ΠΎ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ. НС говоря ΡƒΠΆΠ΅ ΠΎΠ± ΡƒΡ€ΠΎΠ΄Π»ΠΈΠ²ΠΎΠΌ URL.

ΠœΡ‹ Π±Ρ‹ Π½Π°Π·Π²Π°Π»ΠΈ это Β«Ρ‚ΠΎΠ½ΠΊΠΈΠΌ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ΠΎΠΌΒ», вряд Π»ΠΈ ΠΎΠ½ Π±ΡƒΠ΄Π΅Ρ‚ Π·Π°Π½ΠΈΠΌΠ°Ρ‚ΡŒ ΠΊΠ°ΠΊΠΎΠ΅-Π»ΠΈΠ±ΠΎ мСсто Π² Google со всСми этими нСдостатками.

Π›ΡƒΡ‡ΡˆΠΈΠΌ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ Π±Ρ‹Π»ΠΎ Π±Ρ‹ ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ ΠΈΠ»ΠΈ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ эту страницу, Π° Π·Π°Ρ‚Π΅ΠΌ Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Π½ΠΎΠ²ΡƒΡŽ ΠΊΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΡŽ Shopify для этого поставщика/Ρ‚ΠΎΡ€Π³ΠΎΠ²ΠΎΠΉ ΠΌΠ°Ρ€ΠΊΠΈ, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ.

ΠŸΡ€Π΅ΠΆΠ΄Π΅ Ρ‡Π΅ΠΌ ΠΌΡ‹ смогли ΠΎΡ‚Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Robots.txt, нашим СдинствСнным Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ Π±Ρ‹Π»ΠΎ ΡƒΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ для этих страниц Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ noindex, follow. По сути, проситС поисковыС систСмы ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΏΠΎ ссылкам Π½Π° этой страницС, Π½ΠΎ Π½Π΅ добавляйтС эту страницу Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ своих поисковых систСм.

Π­Ρ‚ΠΎΡ‚ Ρ€Π°Π±ΠΎΡ‚Π°Π» , Π½ΠΎ это всС Ρ€Π°Π²Π½ΠΎ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΠ»ΠΎ ΠΊ ΠΏΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠΌΡƒ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ сотСн страниц Π² ΠΏΠ΅Ρ€Π²ΡƒΡŽ ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ.

Π’Π΅ΠΏΠ΅Ρ€ΡŒ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΡ… сканированиС, Ρ‡Ρ‚ΠΎ ΡƒΠΌΠ΅Π½ΡŒΡˆΠΈΡ‚ объСм нСкачСствСнного ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° ΠΈ сэкономит ΠΊΡ€Π°ΡƒΠ»ΠΈΠ½Π³ΠΎΠ²Ρ‹ΠΉ Π±ΡŽΠ΄ΠΆΠ΅Ρ‚.

Π—Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅

НадСюсь, послСдний Ρ€Π°Π·Π΄Π΅Π» Π½ΠΈΠΊΠΎΠ³ΠΎ Π½Π΅ потСрял, это ΠΌΠΎΠΆΠ΅Ρ‚ ΡΡ‚Π°Ρ‚ΡŒ довольно тСхничСским.

Shopify, Π½Π°ΠΊΠΎΠ½Π΅Ρ†, Π΄ΠΎΠ²Π΅Ρ€ΠΈΠ»ΠΈ Π½Π°ΠΌ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ наш собствСнный Ρ„Π°ΠΉΠ» Robots.txt β€” это ΠΎΠ³Ρ€ΠΎΠΌΠ½ΠΎΠ΅ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ для ΠΌΠ°Π³Π°Π·ΠΈΠ½ΠΎΠ² Shopify, ΠΎΠ΄Π½Π°ΠΊΠΎ я ΠΏΡ€ΠΈΠ·Ρ‹Π²Π°ΡŽ ΠΊ остороТности Ρ‚Π΅Ρ…, ΠΊΡ‚ΠΎ Π½Π΅ занимаСтся SEO ΠΈ Π½Π΅ являСтся Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠΌ, дСлая это.

Π’ΠΏΠΎΠ»Π½Π΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ вСсь ваш Π²Π΅Π±-сайт ΠΈ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΡΠ΅Ρ€ΡŒΠ΅Π·Π½Ρ‹Π΅ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ с этой Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ.

Π’Π°ΠΊ Ρ‡Ρ‚ΠΎ, Π²ΠΎ Ρ‡Ρ‚ΠΎ Π±Ρ‹ Ρ‚ΠΎ Π½ΠΈ стало, настройтС Π΅Π³ΠΎ, ΠΌΡ‹ вносим измСнСния для всСх Π½Π°ΡˆΠΈΡ… ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ², Π½ΠΎ Π±ΡƒΠ΄ΡŒΡ‚Π΅ остороТны, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ это ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ.

Π’Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»Π° с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ инструмСнта Google Robots Tester Π²Π½ΡƒΡ‚Ρ€ΠΈ GSC.

Π― надСюсь, Ρ‡Ρ‚ΠΎ это руководство Π±Ρ‹Π»ΠΎ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΌ, Ссли Π²Π°ΠΌ Π½ΡƒΠΆΠ½Π° ΠΏΠΎΠΌΠΎΡ‰ΡŒ с этим, Π½Π΅ ΡΡ‚Π΅ΡΠ½ΡΠΉΡ‚Π΅ΡΡŒ ΡΠ²ΡΠΆΠΈΡ‚Π΅ΡΡŒ с Π½Π°ΠΌΠΈ .

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Π’Π°Ρˆ адрСс email Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½. ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ поля ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Ρ‹ *