Robots.txt Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google
ΠΡΠ°Π²ΠΈΠ»ΡΠ½Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° ΡΠ°ΠΉΠ»Π° robots.txt ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ ΠΈΡΠΊΠ»ΡΡΠΈΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΡΠ΅ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ, Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡΠΈΠ΅ ΠΏΡΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ.
Π ΡΠ°ΡΡΠ½ΠΎΡΡΠΈ, Ρ Π²Π»Π°Π΄Π΅Π»ΡΡΠ° ΡΠ°ΠΉΡΠ° ΠΈΠΌΠ΅Π΅ΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ»ΡΠΆΠ΅Π±Π½ΡΡ ΠΈ Π»ΠΈΡΠ½ΡΡ ΡΠ°Π·Π΄Π΅Π»ΠΎΠ² ΡΠ΅ΡΡΡΡΠ°. ΠΠ°ΠΊ ΡΠΎΠ·Π΄Π°ΡΡ ΡΠ°ΠΉΠ» ΠΈ Π½Π°ΡΡΡΠΎΠΈΡΡ Π΅Π³ΠΎ ΠΏΠΎΠ΄ ΡΠ°Π·Π½ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠ΅ CMS β ΠΏΠΎΠ³ΠΎΠ²ΠΎΡΠΈΠΌ Π² ΡΡΠΎΠΉ ΠΏΡΠ±Π»ΠΈΠΊΠ°ΡΠΈΠΈ.
ΠΠ»Ρ ΡΠ΅Π³ΠΎ Π½ΡΠΆΠ΅Π½ ΡΠ°ΠΉΠ» robots.txt
ΠΠ°ΠΊ Π½Π΅ ΡΡΡΠ΄Π½ΠΎ Π΄ΠΎΠ³Π°Π΄Π°ΡΡΡΡ, ΡΡΠΎΡ ΡΠ°ΠΉΠ» ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ, ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π½ΡΠ΅ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ Π±ΠΎΡΠΎΠ². Π Π°Π·ΠΌΠ΅ΡΠ°Π΅ΡΡΡ ΠΎΠ½ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎ Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΉ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ, Π±Π»Π°Π³ΠΎΠ΄Π°ΡΡ ΡΠ΅ΠΌΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ Π±ΠΎΡΡ Π½Π°ΡΠ½ΡΡ ΠΈΠΌΠ΅Π½Π½ΠΎ Ρ ΡΡΠ΅Π½ΠΈΡ ΡΡΠ»ΠΎΠ²ΠΈΠΉ, ΠΈΠ·Π»ΠΎΠΆΠ΅Π½Π½ΡΡ Π² robots.txt.
Π’Π°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΡΠ°ΠΉΠ» ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌ ΡΠΎΠ±ΠΎΡΠ°ΠΌ, ΠΊΠ°ΠΊΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ ΡΠ°ΠΉΡΠ° ΡΠ°Π·ΡΠ΅ΡΠ΅Π½Ρ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΠΈ ΠΊΠ°ΠΊΠΈΠ΅ ΡΡΠΎΠΌΡ ΠΏΡΠΎΡΠ΅ΡΡΡ Π½Π΅ ΠΏΠΎΠ΄Π»Π΅ΠΆΠ°Ρ.
Π£ΡΠΈΡΡΠ²Π°Ρ, ΡΡΠΎ Π½Π° ΠΏΡΠΎΡΠ΅ΡΡ ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π½Π°Π»ΠΈΡΠΈΠ΅ ΡΠ°ΠΉΠ»Π° Π½Π΅ Π²Π»ΠΈΡΠ΅Ρ, ΠΌΠ½ΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠΎΠ² Π½Π΅ ΡΠΎΠ΄Π΅ΡΠΆΠ°Ρ robots.txt. ΠΠΎ ΡΡΠΎ Π½Π΅ ΡΠΎΠ²ΡΠ΅ΠΌ Π²Π΅ΡΠ½ΡΠΉ ΠΏΡΡΡ. Π Π°ΡΡΠΌΠΎΡΡΠΈΠΌ ΠΏΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ²Π° robots.txt, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΎΠ½ Π΄Π°Π΅Ρ ΡΠ΅ΡΡΡΡΡ.
ΠΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΡΠ΅ΡΠΈΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ΅ΡΡΡΡΠ° ΡΠ΅Π»ΠΈΠΊΠΎΠΌ ΠΈΠ»ΠΈ ΡΠ°ΡΡΠΈΡΠ½ΠΎ, ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΡΡ ΠΊΡΡΠ³ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ², ΠΊΠΎΡΠΎΡΡΠ΅ Π±ΡΠ΄ΡΡ ΠΈΠΌΠ΅ΡΡ ΠΏΡΠ°Π²ΠΎ Π½Π° ΠΏΡΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ. ΠΠΎΠΆΠ½ΠΎ Π²ΠΎΠ²ΡΠ΅ ΠΎΠ³ΡΠ°Π΄ΠΈΡΡ ΡΠ΅ΡΡΡΡ ΠΎΡ ΡΡΠΎΠ³ΠΎ ΠΏΡΠΎΡΠ΅ΡΡΠ° (Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΡΠΈ ΡΠΎΠ·Π΄Π°Π½ΠΈΠΈ ΠΈΠ»ΠΈ ΡΠ΅ΠΊΠΎΠ½ΡΡΡΡΠΊΡΠΈΠΈ ΡΠ°ΠΉΡΠ°).
ΠΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, ΡΠ°ΠΉΠ» ΡΠΎΠ±ΠΎΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΠ²Π°Π΅Ρ Π΄ΠΎΡΡΡΠΏ Π½Π° ΡΠ΅ΡΡΡΡ Π²ΡΠ΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΡΡ ΡΠΏΠ°ΠΌ-ΡΠΎΠ±ΠΎΡΠΎΠ², ΡΠ΅Π»Ρ ΠΊΠΎΡΠΎΡΡΡ β ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΡΠ° Π½Π° Π½Π°Π»ΠΈΡΠΈΠ΅ ΡΠ»Π΅ΠΊΡΡΠΎΠ½Π½ΡΡ Π°Π΄ΡΠ΅ΡΠΎΠ², ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΡΠΎΠΌ Π±ΡΠ΄ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ Π΄Π»Ρ ΡΠ°ΡΡΡΠ»ΠΊΠΈ ΡΠΏΠ°ΠΌΠ°. ΠΠ΅ Π±ΡΠ΄Π΅ΠΌ ΠΎΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°ΡΡΡΡ Π½Π° ΡΠΎΠΌ, ΠΊ ΡΠ΅ΠΌΡ ΡΡΠΎ ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠΈΠ²Π΅ΡΡΠΈ β ΠΈ ΡΠ°ΠΊ ΠΏΠΎΠ½ΡΡΠ½ΠΎ.
ΠΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΡΡΡΡ ΡΠ°Π·Π΄Π΅Π»Ρ ΡΠ°ΠΉΡΠ°, ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π½ΡΠ΅ Π½Π΅ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΠΌΠ°ΡΠΈΠ½, Π° Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠ³ΠΎ ΠΊΡΡΠ³Π° ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ, ΡΠ°Π·Π΄Π΅Π»Ρ, ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠΈΠ΅ ΠΏΡΠΈΠ²Π°ΡΠ½ΡΡ ΠΈ ΠΏΡΠΎΡΡΡ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ.
ΠΠ°ΠΊ ΡΠΎΠ·Π΄Π°ΡΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ robots.txt
ΠΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ robots Π»Π΅Π³ΠΊΠΎ Π½Π°ΠΏΠΈΡΠ°ΡΡ Π²ΡΡΡΠ½ΡΡ, Π½Π΅ ΠΏΡΠΈΠ±Π΅Π³Π°Ρ ΠΊ ΠΏΠΎΠΌΠΎΡΠΈ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΠΊΠΎΠ½ΡΡΡΡΠΊΡΠΎΡΠΎΠ². ΠΡΠΎΡΠ΅ΡΡ ΡΠ²ΠΎΠ΄ΠΈΡΡΡ ΠΊ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°Π½ΠΈΡ Π½ΡΠΆΠ½ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Π² ΠΎΠ±ΡΡΠ½ΠΎΠΌ ΡΠ°ΠΉΠ»Π΅ Π±Π»ΠΎΠΊΠ½ΠΎΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΡΠΎΠΌ Π½ΡΠΆΠ½ΠΎ ΡΠΎΡ ΡΠ°Π½ΠΈΡΡ ΠΏΠΎΠ΄ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ Β«robotsΒ» ΠΈ Π·Π°ΠΊΠ°ΡΠ°ΡΡ Π² ΠΊΠΎΡΠ½Π΅Π²ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΡ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎΠ³ΠΎ ΡΠ΅ΡΡΡΡΠ°. ΠΠ»Ρ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ° Π½ΡΠΆΠ΅Π½ ΠΎΠ΄ΠΈΠ½ ΡΠ°ΠΊΠΎΠΉ ΡΠ°ΠΉΠ». Π Π½Π΅ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ Π±ΠΎΡΠΎΠ² Π²ΡΠ΅Ρ Π½ΡΠΆΠ½ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ. Π’ΠΎ Π΅ΡΡΡ, Π΄Π΅Π»Π°ΡΡ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠΉ ΡΠ°ΠΉΠ» ΠΏΠΎΠ΄ ΠΊΠ°ΠΆΠ΄ΡΠΉ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊ Π½Π΅ ΠΏΠΎΠ½Π°Π΄ΠΎΠ±ΠΈΡΡΡ.
Π§ΡΠΎ Π½ΡΠΆΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡ Π² ΡΠ°ΠΉΠ»Π΅? ΠΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎ ΡΠΏΠΎΡΡΠ΅Π±Π»Π΅Π½ΠΈΠ΅ Π΄Π²ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²: User-agent ΠΈ Disallow. ΠΠ΅ΡΠ²Π°Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ, ΠΊΠ°ΠΊΠΎΠΌΡ Π±ΠΎΡΡ Π°Π΄ΡΠ΅ΡΠΎΠ²Π°Π½ΠΎ Π΄Π°Π½Π½ΠΎΠ΅ ΠΏΠΎΡΠ»Π°Π½ΠΈΠ΅, Π²ΡΠΎΡΠ°Ρ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°Π΅Ρ, ΠΊΠ°ΠΊΡΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΈΠ»ΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΡ ΡΠ΅ΡΡΡΡΠ° Π·Π°ΠΏΡΠ΅ΡΠ΅Π½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ.
Π§ΡΠΎΠ±Ρ Π·Π°Π΄Π°ΡΡ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ Π²ΡΠ΅Ρ
Π±ΠΎΡΠΎΠ², ΠΌΠΎΠΆΠ½ΠΎ Π² Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π΅ User-agent Π²ΠΌΠ΅ΡΡΠΎ Π½Π°Π·Π²Π°Π½ΠΈΡ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ ΡΠΈΠΌΠ²ΠΎΠ» Β«Π·Π²Π΅Π·Π΄ΠΎΡΠΊΡΒ».
Π€Π°ΠΉΠ» robots.txt Π² ΡΠ°ΠΊΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ Π±ΡΠ΄Π΅Ρ Π²ΡΠ³Π»ΡΠ΄Π΅ΡΡ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ:
ΠΠ°ΠΊ ΠΌΠΎΠΆΠ½ΠΎ Π΄ΠΎΠ³Π°Π΄Π°ΡΡΡΡ, /file.html β ΡΡΠΎ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎΠ³ΠΎ ΡΠ°ΠΉΠ»Π°, ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½Π°, Π° /papka/ β Π½Π°Π·Π²Π°Π½ΠΈΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ. Π ΡΠ°ΠΊΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ Π½Π΅ Π±ΡΠ΄Π΅Ρ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΡΡΡΡ Π½Π° Π²ΡΠ΅ ΡΠ°ΠΉΠ»Ρ, ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠΈΠ΅ΡΡ Π² Π½Π΅ΠΉ.
ΠΡΠ»ΠΈ Π½ΡΠΆΠ½ΠΎ ΡΠ½ΡΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΡ ΠΈ ΡΠ°Π·ΡΠ΅ΡΠΈΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ Π²ΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡ, ΡΠ°ΠΉΠ» Π±ΡΠ΄Π΅Ρ Π²ΡΠ³Π»ΡΠ΄Π΅ΡΡ ΡΠ°ΠΊ:
ΠΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ robots.txt Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡ ΠΈ Google
Π€Π°ΠΉΠ» robots.txt Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΡ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ host. ΠΡΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ ΠΈΠ·Π±Π΅ΠΆΠ°ΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ΅ΡΡΡΡΠ° ΠΈΠ»ΠΈ ΠΈΠ½ΡΡ Π΄ΡΠ±Π»Π΅ΠΉ Π΅Π³ΠΎ ΡΡΡΠ°Π½ΠΈΡ.
Host β Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π°, ΠΊΠΎΡΠΎΡΡΡ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π±ΠΎΡΡ Π―Π½Π΄Π΅ΠΊΡΠ°. ΠΠΎΡΡΠΎΠΌΡ ΠΏΡΠΈ ΡΠΎΠ·Π΄Π°Π½ΠΈΠΈ ΡΠ°ΠΉΠ»Π° robots.txt ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ°, ΠΡΠ³Π»Π° ΠΈ Π΄ΡΡΠ³ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ, ΡΠ»Π΅Π΄ΡΠ΅Ρ ΡΠ°Π·Π΄Π΅Π»ΠΈΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ.
Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΠ»Π° robots.txt Π΄Π»Ρ Google Π½ΠΈΡΠ΅ΠΌ Π½Π΅ ΠΎΡΠ»ΠΈΡΠ°Π΅ΡΡΡ ΠΎΡ ΠΎΠΏΠΈΡΠ°Π½Π½ΠΎΠΉ Π²ΡΡΠ΅ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ. Π Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π΅ User-agent Π½ΡΠΆΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ Π±ΠΎΡΠ° ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°: Googlebot, Googlebot-Image (Π΄Π»Ρ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΉ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ),Googlebot-Mobile (Π΄Π»Ρ Π²Π΅ΡΡΠΈΠΉ ΡΠ°ΠΉΡΠΎΠ², ΡΠ°ΡΡΡΠΈΡΠ°Π½Π½ΡΡ Π½Π° ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΠ΅ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ) ΠΈ Ρ.ΠΏ.
ΠΠ΅Π»Π°ΡΠ΅Π»ΡΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ Π² ΡΠ°ΠΉΠ»Π΅ ΠΏΡΡΡ ΠΊ ΠΊΠ°ΡΡΠ΅ ΡΠ°ΠΉΡΠ° β (Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° sitemap). ΠΠ»Π°Π³ΠΎΠ΄Π°ΡΡ ΡΡΠΎΠΌΡ ΡΠΎΠ±ΠΎΡ Π±ΡΠ΄Π΅Ρ Π±ΡΡΡΡΠ΅Π΅ ΠΎΡΠΈΠ΅Π½ΡΠΈΡΠΎΠ²Π°ΡΡΡΡ Π½Π° ΡΡΡΠ°Π½ΠΈΡΠ°Ρ
ΡΠ΅ΡΡΡΡΠ°, ΡΡΠΎ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΡΠΊΠΎΡΠΈΡ ΠΏΡΠΎΡΠ΅ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ.
ΠΡΡΠ°ΡΠΈ, ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΈ ΠΡΠ³Π» Π½Π΅ΠΎΠ΄Π½ΠΎΠΊΡΠ°ΡΠ½ΠΎ Π½Π°ΠΏΠΎΠΌΠΈΠ½Π°Π»ΠΈ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΠ°ΠΌ, ΡΡΠΎ ΡΠ°ΠΉΠ» robots.txt Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΏΡΠ΅Π²ΡΡΠ°ΡΡ ΠΏΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ°ΠΌ 500 ΠΠ±. ΠΡΠΎ Π½Π΅ΠΏΡΠ΅ΠΌΠ΅Π½Π½ΠΎ ΠΏΡΠΈΠ²Π΅Π΄Π΅Ρ ΠΊ ΠΎΡΠΈΠ±ΠΊΠ°ΠΌ ΠΏΡΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. ΠΡΠ»ΠΈ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ ΡΠ°ΠΉΠ» Π²ΡΡΡΠ½ΡΡ, ΡΠΎ Β«Π΄ΠΎΡΡΠΈΡΡΒ» ΡΠ°ΠΊΠΎΠ³ΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ°, ΠΊΠΎΠ½Π΅ΡΠ½ΠΎ, Π½Π΅ΡΠ΅Π°Π»ΡΠ½ΠΎ. ΠΠΎ Π²ΠΎΡ Π½Π΅ΠΊΠΎΡΠΎΡΡΠ΅ CMS, Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΡΠΎΡΠΌΠΈΡΡΡΡΠΈΠ΅ ΡΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΠ΅ robots.txt, ΠΌΠΎΠ³ΡΡ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π΅Π³ΠΎ Β«ΡΡΡΠΆΠ΅Π»ΠΈΡΡΒ».
ΠΡΠΎΡΡΠΎΠ΅ ΡΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΠ»Π° Π΄Π»Ρ Π»ΡΠ±ΠΎΠ³ΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°
ΠΡΠ»ΠΈ ΡΡΡΠ°ΡΠ½ΠΎ Π½Π°Π΄Π΅Π»Π°ΡΡ ΠΎΡΠΈΠ±ΠΎΠΊ ΠΏΡΠΈ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΠΈ ΡΠ°ΠΉΠ»Π° (ΠΈΠ»ΠΈ ΠΏΡΠΎΡΡΠΎ Π»Π΅Π½Ρ ΡΡΠΈΠΌ Π·Π°Π½ΠΈΠΌΠ°ΡΡΡΡ), ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΡΡΡΠΈΡΡ ΡΠΎΠ·Π΄Π°Π½ΠΈΠ΅ Π½ΡΠΆΠ½ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² ΠΊΠΎΠ½ΡΡΡΡΠΊΡΠΎΡΡ. ΠΠ½ ΠΏΡΠΎΡΡ, ΠΊΠ°ΠΊ Π΄Π²Π°ΠΆΠ΄Ρ Π΄Π²Π°, Π½ΠΎ Π½Π΅Π±ΠΎΠ»ΡΡΠΎΠ΅ ΠΎΠ±ΡΡΡΠ½Π΅Π½ΠΈΠ΅ ΠΏΠΎ ΡΠ°Π±ΠΎΡΠ΅ Ρ Π½ΠΈΠΌ Π²ΡΠ΅ ΠΆΠ΅ ΠΏΡΠΈΠ²Π΅Π΄Π΅ΠΌ.
Π ΠΏΠ΅ΡΠ²ΠΎΠΌ ΠΏΠΎΠ»Π΅ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°Π΅ΡΡΡ Π°Π΄ΡΠ΅Ρ ΡΠ΅ΡΡΡΡΠ°. Π’ΠΎΠ»ΡΠΊΠΎ ΠΏΠΎΡΠ»Π΅ ΡΡΠΎΠ³ΠΎ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π²ΡΠ±ΡΠ°ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌΡ, Π΄Π»Ρ ΠΊΠΎΡΠΎΡΠΎΠΉ ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°ΡΡΡΡ Π΄Π°Π½Π½ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° (ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ Π²ΡΠ±ΡΠ°ΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠΎΠ²). ΠΠ°Π»Π΅Π΅ Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ ΠΏΠ°ΠΏΠΊΠΈ ΠΈ ΡΠ°ΠΉΠ»Ρ, Π΄ΠΎΡΡΡΠΏ ΠΊ ΠΊΠΎΡΠΎΡΡΠΌ Π±ΡΠ΄Π΅Ρ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½, ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π°Π΄ΡΠ΅Ρ Π·Π΅ΡΠΊΠ°Π»Π° ΡΠ°ΠΉΡΠ°, ΡΠΊΠ°Π·Π°ΡΡ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΊΠ°ΡΡΡ ΡΠ΅ΡΡΡΡΠ°.
ΠΠΎ ΠΌΠ΅ΡΠ΅ Π·Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΏΠΎΠ»Π΅ΠΉ Π² Π½ΠΈΠΆΠ½Π΅ΠΌ ΠΏΠΎΠ»Π΅ Π±ΡΠ΄ΡΡ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡΡΡ Π½ΡΠΆΠ½ΡΠ΅ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΈ. ΠΡΠ΅, ΡΡΠΎ Π½ΡΠΆΠ½ΠΎ Π² ΠΈΡΠΎΠ³Π΅ β ΡΠΊΠΎΠΏΠΈΡΠΎΠ²Π°ΡΡ ΠΈΡ Π² txt-ΡΠ°ΠΉΠ» ΠΈ ΠΏΡΠΈΡΠ²ΠΎΠΈΡΡ Π΅ΠΌΡ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ robots.
ΠΠ°ΠΊ ΠΏΡΠΎΠ²Π΅ΡΠΈΡΡ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΡΡΡ ΡΠ°ΠΉΠ»Π° robots.txt
ΠΠ»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΏΡΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ ΡΠ°ΠΉΠ»Π° Π² Π―Π½Π΄Π΅ΠΊΡΠ΅, ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΏΠ΅ΡΠ΅ΠΉΡΠΈ Π½Π° ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΡΡΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Π² ΡΠ°Π·Π΄Π΅Π»Π΅ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ΅Π±ΠΌΠ°ΡΡΠ΅Ρ. Π Π΄ΠΈΠ°Π»ΠΎΠ³ΠΎΠ²ΠΎΠΌ ΠΎΠΊΠ½Π΅ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΡΠΊΠ°Π·Π°ΡΡ ΠΈΠΌΡ ΡΠ°ΠΉΡΠ° ΠΈ Π½Π°ΠΆΠ°ΡΡ ΠΊΠ½ΠΎΠΏΠΊΡ Β«Π·Π°Π³ΡΡΠ·ΠΈΡΡΒ».
Π‘ΠΈΡΡΠ΅ΠΌΠ° ΠΏΡΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡΡΠ΅Ρ ΡΠ°ΠΉΠ» robots.txt ΠΈ ΡΠΊΠ°ΠΆΠ΅Ρ, Π±ΡΠ΄Π΅Ρ Π»ΠΈ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ ΠΎΠ±Ρ ΠΎΠ΄ΠΈΡΡ ΡΡΡΠ°Π½ΠΈΡΡ, Π·Π°ΠΏΡΠ΅ΡΠ΅Π½Π½ΡΠ΅ ΠΊ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. ΠΡΠ»ΠΈ Π²ΠΎΠ·Π½ΠΈΠΊΠ»ΠΈ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ, Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΡΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΠΈ ΠΏΡΠΎΠ²Π΅ΡΠΈΡΡ ΠΏΡΡΠΌΠΎ Π² Π΄ΠΈΠ°Π»ΠΎΠ³ΠΎΠ²ΠΎΠΌ ΠΎΠΊΠ½Π΅, ΠΏΠΎΡΠ»Π΅ ΡΠ΅Π³ΠΎ ΡΠΊΠΎΠΏΠΈΡΠΎΠ²Π°ΡΡ ΠΎΡΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ ΡΠ΅ΠΊΡΡ ΠΈ Π²ΡΡΠ°Π²ΠΈΡΡ Π² ΡΠ²ΠΎΠΉ ΡΠ°ΠΉΠ» robots.txt Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅.
ΠΠ½Π°Π»ΠΎΠ³ΠΈΡΠ½ΡΡ ΡΡΠ»ΡΠ³Ρ ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ ΡΠ΅ΡΠ²ΠΈΡ Β«ΠΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ Π΄Π»Ρ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΠΎΠ²Β» ΠΎΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ° Google
Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ robots.txt Π΄Π»Ρ WordPress , Joomla ΠΈ Ucoz
Π Π°Π·Π»ΠΈΡΠ½ΡΠ΅ CMS, ΠΏΠΎΠ»ΡΡΠΈΠ²ΡΠΈΠ΅ ΡΠΈΡΠΎΠΊΡΡ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΠΎΡΡΡ Π½Π° Π½Π°ΡΠΈΡ ΠΏΡΠΎΡΡΠΎΡΠ°Ρ , ΠΏΡΠ΅Π΄Π»Π°Π³Π°ΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΠΌ ΡΠ²ΠΎΠΈ Π²Π΅ΡΡΠΈΠΈ ΡΠ°ΠΉΠ»ΠΎΠ² robots.txt (ΠΈΠ»ΠΈ ΠΆΠ΅ Π½Π΅ ΠΈΠΌΠ΅ΡΡ ΠΈΡ Π²ΠΎΠ²ΡΠ΅). ΠΠ°ΡΠ°ΡΡΡΡ ΡΡΠΈ ΡΠ°ΠΉΠ»Ρ Π»ΠΈΠ±ΠΎ ΡΠ΅ΡΠ΅ΡΡΡΡ ΡΠ½ΠΈΠ²Π΅ΡΡΠ°Π»ΡΠ½Ρ ΠΈ Π½Π΅ ΡΡΠΈΡΡΠ²Π°ΡΡ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠ΅ΠΉ ΡΠ΅ΡΡΡΡΠ° ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ, Π»ΠΈΠ±ΠΎ ΠΈΠΌΠ΅ΡΡ ΡΡΠ΄ ΡΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ Π½Π΅Π΄ΠΎΡΡΠ°ΡΠΊΠΎΠ².
ΠΠΎΠΆΠ½ΠΎ ΠΏΡΡΠ°ΡΡΡΡ Π²Π½Π΅ΡΡΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΡ Π² Π½ΠΈΡ Π²ΡΡΡΠ½ΡΡ (ΡΡΠΎ ΠΏΡΠΈ Π½Π΅Π΄ΠΎΡΡΠ°ΡΠΊΠ΅ Π·Π½Π°Π½ΠΈΠΉ Π½Π΅ ΠΎΡΠ΅Π½Ρ-ΡΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎ), Π° ΠΌΠΎΠΆΠ½ΠΎ Π²ΠΎΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ ΠΎΠΏΡΡΠΎΠΌ Π±ΠΎΠ»Π΅Π΅ ΠΏΡΠΎΡΠ΅ΡΡΠΈΠΎΠ½Π°Π»ΡΠ½ΡΡ ΠΊΠΎΠ»Π»Π΅Π³. ΠΠ°ΠΊ Π³ΠΎΠ²ΠΎΡΠΈΡΡΡ, Π²ΡΠ΅ ΡΠΆΠ΅ ΡΠ΄Π΅Π»Π°Π½ΠΎ Π΄ΠΎ Π½Π°Ρ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, robots.txt Π΄Π»Ρ WordPress ΠΌΠΎΠΆΠ΅Ρ Π²ΡΠ³Π»ΡΠ΄Π΅ΡΡ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ:
Π‘ΡΡΠΎΠΊΡ www.site.ru, ΡΠ°ΠΌΠΎ ΡΠΎΠ±ΠΎΠΉ, ΡΠ»Π΅Π΄ΡΠ΅Ρ Π·Π°ΠΌΠ΅Π½ΠΈΡΡ Π½Π° Π°Π΄ΡΠ΅Ρ ΡΠ°ΠΉΡΠ° ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ.
Π€Π°ΠΉΠ» robots.txt Π΄Π»Ρ Ucoz ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²Π»ΡΠ΅ΡΡΡ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ. ΠΠ½ ΠΈΠΌΠ΅Π΅Ρ ΠΎΠΏΡΠΈΠΌΠ°Π»ΡΠ½ΡΠ΅ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ, Π½ΠΎ Π΅Π΄ΠΈΠ½ΡΡΠ²Π΅Π½Π½ΡΠΉ Π΅Π³ΠΎ Π½Π΅Π΄ΠΎΡΡΠ°ΡΠΎΠΊ β ΡΠΈΡΡΠ΅ΠΌΠ° ΡΠΎΠ·Π΄Π°ΡΡ Π΅Π³ΠΎ ΡΠΏΡΡΡΡ ΠΏΡΠΈΠΌΠ΅ΡΠ½ΠΎ ΠΌΠ΅ΡΡΡ ΠΏΠΎΡΠ»Π΅ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΡΠ΅ΡΡΡΡΠ°. ΠΡΠ»ΠΈ Π½Π΅ΠΎΡ ΠΎΡΠ° ΠΆΠ΄Π°ΡΡ, ΠΌΠΎΠΆΠ½ΠΎ Π½Π°ΠΏΠΈΡΠ°ΡΡ ΡΠ°ΠΉΠ» ΡΠ°ΠΌΠΎΡΡΠΎΡΡΠ΅Π»ΡΠ½ΠΎ. ΠΡΠ³Π»ΡΠ΄Π΅ΡΡ ΠΎΠ½ Π±ΡΠ΄Π΅Ρ ΡΠ°ΠΊ:
Joomla! ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΠΌ URL ΡΡΡΠ»Π°ΡΡΡΡ Π½Π° ΠΎΠ΄Π½Ρ ΠΈ ΡΡ ΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, ΡΠΎΠ·Π΄Π°Π²Π°Ρ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ ΡΡΡΠ΅ΠΊΡ Π΄ΡΠ±Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ°. ΠΠ·Π±Π΅ΠΆΠ°ΡΡ ΡΡΠΎΠ³ΠΎ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΡΡΡΠ°Π½ΠΎΠ²ΠΊΠ° robots.txt Π΄Π»Ρ Joomla ΡΠ°ΠΊΠΎΠ³ΠΎ ΡΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΡ:
Π ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΡ Π΄Π²ΡΡ ΡΡΡΠΎΡΠΊΠ°Ρ , ΠΊΠ°ΠΊ Π½Π΅ΡΠ»ΠΎΠΆΠ½ΠΎ Π΄ΠΎΠ³Π°Π΄Π°ΡΡΡΡ, Π½ΡΠΆΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π΄Π°Π½Π½ΡΠ΅ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎΠ³ΠΎ ΡΠ΅ΡΡΡΡΠ°.
wildo.ru
Β«ΠΠ°ΡΠ΅ΠΌ Π½ΡΠΆΠ΅Π½ robots.txt?Β» β Π―Π½Π΄Π΅ΠΊΡ.ΠΡΡ
SEO ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡ. ΠΡΠ°Π²ΠΈΡΡΡ ΠΏΠΎΠΌΠΎΠ³Π°ΡΡ Π»ΡΠ΄ΡΠΌ — ΡΡΠΎ ΡΠ°Π·Π²ΠΈΠ²Π°Π΅Ρ ΠΏΡΠ΅ΠΆΠ΄Π΅ Π²ΡΠ΅Π³ΠΎ ΠΌΠ΅Π½Ρ…Β Β Β·Β Β antonvelichko.ruΠΠΎΠ΄ΠΏΠΈΡΠ°ΡΡΡΡrobots.txt Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌ, ΡΡΠΎΠ±Ρ ΠΏΡΠΎΠΏΠΈΡΡΠ²Π°ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΡ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ².
ΠΡΠΈ ΡΡΠΎΠΌ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΡΡΠΈΡΡΠ²Π°ΡΡ, ΡΡΠΎ ΠΎΠ½ΠΈ Π½ΠΎΡΡΡ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠ΅Π»ΡΠ½ΡΠΉ Ρ Π°ΡΠ°ΠΊΡΠ΅Ρ.
ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π΅ΡΠ»ΠΈ Π²Ρ Ρ ΠΎΡΠΈΡΠ΅ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΡΠ°Π½ΠΈΡΡ, ΡΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½Π΅Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ΅Π³ robots ΠΈ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π΅Π³ΠΎ Π² head ΡΡΡΠ°Π½ΠΈΡΡ. ΠΡΠΈ ΡΡΠΎΠΌ Π·Π°ΠΏΡΠ΅Ρ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΡΠ΄Π°Π»ΠΈΡΡ ΠΈΠ· robots.txt
1Β Β Β·Β Β Π₯ΠΎΡΠΎΡΠΈΠΉ ΠΎΡΠ²Π΅ΡΠΠ°ΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ
ΠΠΎΠΌΠΎΠ³Π°Π΅ΠΌ ΠΊΠ»ΠΈΠ΅Π½ΡΠ°ΠΌ ΡΠ²Π΅Π»ΠΈΡΠΈΠ²Π°ΡΡ ΠΏΡΠΎΠ΄Π°ΠΆΠΈ ΠΈ ΡΡΠ°ΡΠΈΠΊ Ρ 1999 Π³ΠΎΠ΄Π° https://seo.ru/
ΠΠΎΠ΄ΠΏΠΈΡΠ°ΡΡΡΡΠ€Π°ΠΉΠ» Robots.txt ΡΠ°ΡΠΏΠΎΠ»Π°Π³Π°Π΅ΡΡΡ Π² ΠΊΠΎΡΠ½Π΅Π²ΠΎΠΉ ΠΏΠ°ΠΏΠΊΠ΅ ΡΠ°ΠΉΡΠ° ΠΈ ΡΠ»ΡΠΆΠΈΡ Π² ΠΏΠ΅ΡΠ²ΡΡ ΠΎΡΠ΅ΡΠ΅Π΄Ρ Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ². Π ΡΡΠΎΠΌ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ΅ Π΅ΡΡΡ ΡΠ²ΠΎΡ ΡΡΡΡΠΊΡΡΡΠ° ΠΈ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ, ΡΡΠΎΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ Π²ΡΠΏΠΎΠ»Π½ΡΠ΅Ρ ΡΡΠ½ΠΊΡΠΈΡ Β«ΡΠΈΠ»ΡΡΡΠ°Β». Π Robots.txt Π²Π»Π°Π΄Π΅Π»ΡΡΡ ΡΠ°ΠΉΡΠ° ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡ, ΠΊΠ°ΠΊΠΎΠΉ ΠΊΠΎΠ½ΡΠ΅Π½Ρ ΠΎΠ½ΠΈ Ρ ΠΎΡΡΡ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π»ΠΈ, Π° ΠΊΠ°ΠΊΠΎΠΉ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΏΠΎΠΏΠ°ΡΡΡ Π² ΠΎΠ±ΡΠΈΠΉ ΠΈΠ½Π΄Π΅ΠΊΡ. ΠΠ°ΠΊΡΡΡΡ ΡΡΡΠ°Π½ΠΈΡΡ ΠΌΠΎΠΆΠ½ΠΎ Ρ… Π§ΠΈΡΠ°ΡΡ Π΄Π°Π»Π΅Π΅
Π‘ΠΏΠ°ΡΠΈΠ±ΠΎ, Π½Π°ΠΊΠΎΠ½Π΅Ρ-ΡΠΎ ΠΎΡΠ²Π΅Ρ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊΠΎΠΏΠΎΠ½ΡΡΠ½ΡΠΌ ΡΠ·ΡΠΊΠΎΠΌ
ΠΡΡ 2 ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΠΠ°ΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ
Π‘Π΅ΡΡΡΠ·Π½ΠΎ ΡΠ²Π»Π΅ΠΊΠ°ΡΡΡ ΠΊΠΎΠΌΠΏΡΡΡΠ΅ΡΠ°ΠΌΠΈ ΠΈ Π²ΡΠ΅ΠΌ ΡΡΠΎ Ρ Π½ΠΈΠΌΠΈ ΡΠ²ΡΠ·Π°Π½ΠΎ. Π Π΅ΡΡΠΎΠ³Π΅ΠΉΠΌΠ΅Ρ.
ΠΠΎΠ΄ΠΏΠΈΡΠ°ΡΡΡΡΠΠ»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ, Π² Π½Π΅ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΡ Π² Π΄ΠΎΡΡΡΠΏΠ° ΠΊ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΠΌ ΡΡΡΠ°Π½ΠΈΡΠ°ΠΌ, ΡΠ°Π·Π΄Π΅Π»Π°ΠΌ, ΠΈΠ»ΠΈ ΡΠ°ΠΉΡΡ ΡΠ΅Π»ΠΈΠΊΠΎΠΌ Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ².
3Β Β Β·Β Β Π₯ΠΎΡΠΎΡΠΈΠΉ ΠΎΡΠ²Π΅Ρ3ΠΠ°ΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ
Π‘Π΅ΡΠ²ΠΈΡΡ Π΄Π»Ρ ΠΌΠ°ΡΠΊΠ΅ΡΠΎΠ»ΠΎΠ³ΠΎΠ². 1000+ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠ², 10000+ ΠΎΡΠ·ΡΠ²ΠΎΠ² ΡΠΊΡΠΏΠ΅ΡΡΠΎΠ², ΠΊΠ΅ΠΉΡΡ ΠΈ…Β Β Β·Β Β otzyvmarketing.ruΠΠΎΠ΄ΠΏΠΈΡΠ°ΡΡΡΡΠΠ»Ρ ΠΏΡΠΎΡΡΡΡ ΡΠ°ΠΉΡΠΎΠ² robots.txt Π½Π΅ Π½ΡΠΆΠ΅Π½. Π Π²ΠΎΡ Π΄Π»Ρ Π±ΠΎΠ»ΡΡΠΈΡ ΡΠ°ΠΉΡΠΎΠ², Π³Π΄Π΅ ΠΌΠ½ΠΎΠ³ΠΎ Π΄ΡΠ±Π»Π΅ΠΉ ΠΈ ΡΠ΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠΈΡ ΡΠ°Π·Π΄Π΅Π»ΠΎΠ² β ΡΡΠΎΡ ΡΠ°ΠΉΠ» ΠΏΡΠΎΡΡΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌ. ΠΠΈΡΠ½ΠΎ Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ robots.txt Π΄Π»Ρ ΡΠΎΠΊΡΡΡΠΈΡ ΡΡΠ΄Π° ΡΡΠ±ΡΠΈΠΊ, Π³Π΄Π΅ Π΄ΡΠ±Π»ΠΈΡΡΠ΅ΡΡΡ ΠΊΠΎΠ½ΡΠ΅Π½Ρ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΠΎΠΈΡΠΊ ΠΏΠΎ ΡΠ°ΠΉΡΡ β ΡΡΠΎ ΡΡΠ±ΡΠΈΠΊΠ°, Π³Π΄Π΅ Π²ΡΠ²ΠΎΠ΄ΡΡΡΡ ΡΠΆΠ΅ ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΡΠ΅ Π½Π° ΡΠ°ΠΉΡΠ΅ ΡΡΠ°ΡΡΠΈ ΠΈΠ»ΠΈ ΡΡΡΠ»ΠΊΠΈ Π½Π° Π½ΠΈΡ . Π Π°Π·ΡΠΌΠ΅Π΅ΡΡΡ, ΡΡΠΎ Π΄ΡΠ±Π»Ρ. ΠΠΎΡΡΠΎΠΌΡ ΠΆΠ΅Π»Π°ΡΠ΅Π»ΡΠ½ΠΎ ΡΠΊΡΡΡΡ… Π§ΠΈΡΠ°ΡΡ Π΄Π°Π»Π΅Π΅
5Β Β Β·Β Β Π₯ΠΎΡΠΎΡΠΈΠΉ ΠΎΡΠ²Π΅Ρ1ΠΠ°ΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ
Frontend-ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊ ΡΠΎΠ·Π΄Π°ΡΠ΅Π»Ρ ΠΏΠΎΠ»Π΅Π·Π½ΡΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ² Π΄Π»Ρ Π²Π΅ΡΡΡΠ°Π»ΡΡΠΈΠΊΠΎΠ²Β Β Β·Β Β tele.click/tpverstakΠΠΎΠ΄ΠΏΠΈΡΠ°ΡΡΡΡ Π€Π°ΠΉΠ» robots.txt β ΠΎΠ±ΡΡΠ½ΡΠΉ ΡΠ΅ΠΊΡΡΠΎΠ²ΡΠΉ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ Π² ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ΅ UTF-8, Π΄Π΅ΠΉΡΡΠ²ΡΠ΅Ρ Π΄Π»Ρ ΠΏΡΠΎΡΠΎΠΊΠΎΠ»ΠΎΠ² http, https, Π° ΡΠ°ΠΊΠΆΠ΅ FTP. Π€Π°ΠΉΠ» Π΄Π°Π΅Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΌ ΡΠΎΠ±ΠΎΡΠ°ΠΌ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΈ: ΠΊΠ°ΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ/ΡΠ°ΠΉΠ»Ρ ΡΡΠΎΠΈΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°ΡΡ.Β ΠΡΠ»ΠΈ ΡΠ°ΠΉΠ» Π±ΡΠ΄Π΅Ρ ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΡ ΡΠΈΠΌΠ²ΠΎΠ»Ρ Π½Π΅ Π² UTF-8, Π° Π² Π΄ΡΡΠ³ΠΎΠΉ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ΅, ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΎΠ±ΠΎΡΡ ΠΌΠΎΠ³ΡΡ Π½Π΅ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΠΈΡ ΠΎΠ±ΡΠ°Π±ΠΎΡΠ°ΡΡ. ΠΡΠ°Π²ΠΈΠ»Π°, ΠΏΠ΅ΡΠ΅ΡΠΈΡΠ»Π΅Π½Π½ΡΠ΅ Π² ΡΠ°ΠΉΠ»Π΅ robots.txt, Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½Ρ… Π§ΠΈΡΠ°ΡΡ Π΄Π°Π»Π΅Π΅3Β Β Β·Β Β Π₯ΠΎΡΠΎΡΠΈΠΉ ΠΎΡΠ²Π΅Ρ3Π’Π°ΠΊ ΠΊΠ°ΠΊ Π² robots.txt ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ ASCII ΡΠΈΠΌΠ²ΠΎΠ»Ρ, ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ° ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ Π½Π΅ Π²Π°ΠΆΠ½Π°, Ρ ΠΎΡΡ ANSI, Ρ ΠΎΡΡ UTF-8. ΠΠΎ… Π§ΠΈΡΠ°ΡΡ Π΄Π°Π»ΡΡΠ΅
ΠΠ°ΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΉ
yandex.ru
ΠΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ Robots.txt Π΄Π»Ρ WordPress (2020) — ΠΊΠ°ΠΊ ΡΠ΄Π΅Π»Π°ΡΡ?
Π ΠΈΠ½ΡΠ΅ΡΠ½Π΅ΡΠ΅ ΠΌΠΎΠΆΠ½ΠΎ Π½Π°ΠΉΡΠΈ ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΡΠ±Π»ΠΈΠΊΠ°ΡΠΈΠΉ Π½Π° ΡΠ΅ΠΌΡ, ΠΊΠ°ΠΊ ΡΠΎΡΡΠ°Π²ΠΈΡΡ Π»ΡΡΡΠΈΠΉ (ΠΈΠ»ΠΈ Π΄Π°ΠΆΠ΅ ΡΠ°ΠΌΡΠΉ Π»ΡΡΡΠΈΠΉ) ΡΠ°ΠΉΠ» robots.txt Π΄Π»Ρ WordPress. ΠΡΠΈ ΡΡΠΎΠΌ Π² ΡΡΠ΄Π΅ ΡΠ°ΠΊΠΈΡ
ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΡ
ΡΡΠ°ΡΠ΅ΠΉ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π½Π΅ ΠΎΠ±ΡΡΡΠ½ΡΡΡΡΡ ΠΈ, ΠΊΠ°ΠΊ ΠΌΠ½Π΅ ΠΊΠ°ΠΆΠ΅ΡΡΡ, Π²ΡΡΠ΄ Π»ΠΈ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡΡΡ ΡΠ°ΠΌΠΈΠΌΠΈ Π°Π²ΡΠΎΡΠ°ΠΌΠΈ. ΠΠ΄ΠΈΠ½ΡΡΠ²Π΅Π½Π½ΡΠΉ ΠΎΠ±Π·ΠΎΡ, ΠΊΠΎΡΠΎΡΡΠΉ Ρ Π½Π°ΡΠ΅Π» ΠΈ ΠΊΠΎΡΠΎΡΡΠΉ Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ Π·Π°ΡΠ»ΡΠΆΠΈΠ²Π°Π΅Ρ Π²Π½ΠΈΠΌΠ°Π½ΠΈΡ, β ΡΡΠΎ ΡΡΠ°ΡΡΡ Π² Π±Π»ΠΎΠ³Π΅ wp-kama. ΠΠ΄Π½Π°ΠΊΠΎ ΠΈ ΡΠ°ΠΌ Ρ Π½Π°ΡΠ΅Π» Π½Π΅ ΡΠΎΠ²ΡΠ΅ΠΌ ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΡΠ΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΈ. ΠΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ ΡΠ°ΠΉΡΠ΅ Π±ΡΠ΄ΡΡ ΡΠ²ΠΎΠΈ Π½ΡΠ°Π½ΡΡ ΠΏΡΠΈ ΡΠΎΡΡΠ°Π²Π»Π΅Π½ΠΈΠΈ ΡΠ°ΠΉΠ»Π° robots.txt. ΠΠΎ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ ΡΡΠ΄ ΠΎΠ±ΡΠΈΡ
ΠΌΠΎΠΌΠ΅Π½ΡΠΎΠ² Π΄Π»Ρ ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π½ΠΎ ΡΠ°Π·Π½ΡΡ
ΡΠ°ΠΉΡΠΎΠ², ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΠΎΠΆΠ½ΠΎ Π²Π·ΡΡΡ Π·Π° ΠΎΡΠ½ΠΎΠ²Ρ. Robots.txt, ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΡΠΉ Π² ΡΡΠΎΠΉ ΡΡΠ°ΡΡΠ΅, ΠΌΠΎΠΆΠ½ΠΎ Π±ΡΠ΄Π΅Ρ ΠΏΡΠΎΡΡΠΎ ΠΊΠΎΠΏΠΈΡΠΎΠ²Π°ΡΡ ΠΈ Π²ΡΡΠ°Π²Π»ΡΡΡ Π½Π° Π½ΠΎΠ²ΡΠΉ ΡΠ°ΠΉΡ ΠΈ Π΄Π°Π»Π΅Π΅ Π΄ΠΎΡΠ°Π±Π°ΡΡΠ²Π°ΡΡ Π² ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠΈ ΡΠΎ ΡΠ²ΠΎΠΈΠΌΠΈ Π½ΡΠ°Π½ΡΠ°ΠΌΠΈ.
ΠΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄ΡΠΎΠ±Π½ΠΎ ΠΎ ΡΠΎΡΡΠ°Π²Π»Π΅Π½ΠΈΠΈ robots.txt ΠΈ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ Π²ΡΠ΅Ρ Π΅Π³ΠΎ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² Ρ ΠΏΠΈΡΠ°Π» Π·Π΄Π΅ΡΡ. ΠΠΈΠΆΠ΅ Ρ Π½Π΅ Π±ΡΠ΄Ρ ΠΏΠΎΠ΄ΡΠΎΠ±Π½ΠΎ ΠΎΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°ΡΡΡΡ Π½Π° Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΏΡΠ°Π²ΠΈΠ»Π°. ΠΠ³ΡΠ°Π½ΠΈΡΡΡΡ ΡΠ΅ΠΌ, ΡΡΠΎ ΠΊΡΠ°ΡΠΊΠΎ ΠΏΡΠΎΠΊΠΎΠΌΠΌΠ΅Π½ΡΠΈΡΡΡ ΡΡΠΎ Π΄Π»Ρ ΡΠ΅Π³ΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ.
ΠΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ Robots.txt Π΄Π»Ρ WordPress
ΠΠ΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΠ°ΠΌΡΠΉ Π»ΡΡΡΠΈΠΉ robots.txt, ΠΊΠΎΡΠΎΡΡΠΉ Ρ Π²ΠΈΠ΄Π΅Π» Π½Π° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ, ΡΡΠΎ ΡΠΎΠ±ΠΎΡΡ, ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½Π½ΡΠΉ Π² Π±Π»ΠΎΠ³Π΅ wp-kama. Π ΡΠ΄ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² ΠΈ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π² Ρ Π²ΠΎΠ·ΡΠΌΡ ΠΈΠ· Π΅Π³ΠΎ ΠΎΠ±ΡΠ°Π·ΡΠ° + Π²Π½Π΅ΡΡ ΡΠ²ΠΎΠΈ ΠΊΠΎΡΡΠ΅ΠΊΡΠΈΡΠΎΠ²ΠΊΠΈ. ΠΠΎΡΡΠ΅ΠΊΡΠΈΡΠΎΠ²ΠΊΠΈ ΠΊΠΎΡΠ½ΡΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ ΠΏΡΠ°Π²ΠΈΠ», ΠΏΠΎΡΠ΅ΠΌΡ ΡΠ°ΠΊ Π½Π°ΠΏΠΈΡΡ Π½ΠΈΠΆΠ΅. ΠΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, Π½Π°ΠΏΠΈΡΠ΅ΠΌ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡΠ°Π»ΡΠ½ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ Π²ΡΠ΅Ρ ΡΠΎΠ±ΠΎΡΠΎΠ², Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Π΄Π»Ρ Google.
ΠΠΈΠΆΠ΅ ΠΏΡΠΈΠ²ΠΎΠΆΡ ΠΊΠΎΡΠΎΡΠΊΠΈΠΉ ΠΈ ΡΠ°ΡΡΠΈΡΠ΅Π½Π½ΡΠΉ Π²Π°ΡΠΈΠ°Π½Ρ. ΠΠΎΡΠΎΡΠΊΠΈΠΉ Π½Π΅ Π²ΠΊΠ»ΡΡΠ°Π΅Ρ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠ΅ Π±Π»ΠΎΠΊΠΈ Π΄Π»Ρ Google ΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°. Π Π°ΡΡΠΈΡΠ΅Π½Π½ΡΠΉ ΡΠΆΠ΅ ΠΌΠ΅Π½Π΅Π΅ Π°ΠΊΡΡΠ°Π»Π΅Π½, Ρ.ΠΊ. ΡΠ΅ΠΏΠ΅ΡΡ Π½Π΅Ρ ΠΏΡΠΈΠ½ΡΠΈΠΏΠΈΠ°Π»ΡΠ½ΡΡ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠ΅ΠΉ ΠΌΠ΅ΠΆΠ΄Ρ Π΄Π²ΡΠΌΡ ΠΊΡΡΠΏΠ½ΡΠΌΠΈ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΈΠΊΠ°ΠΌΠΈ: ΠΎΠ±Π΅ΠΈΠΌ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌ Π½ΡΠΆΠ½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΡΠ°ΠΉΠ»Ρ ΡΠΊΡΠΈΠΏΡΠΎΠ² ΠΈ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ, ΠΎΠ±Π΅ Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ Host. Π’Π΅ΠΌ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅, Π΅ΡΠ»ΠΈ Π² ΡΡΠΎΠΌ ΠΌΠΈΡΠ΅ ΡΠ½ΠΎΠ²Π° ΡΡΠΎ-ΡΠΎ ΠΈΠ·ΠΌΠ΅Π½ΠΈΡΡΡ, Π»ΠΈΠ±ΠΎ Π²Π°ΠΌ ΠΏΠΎΡΡΠ΅Π±ΡΠ΅ΡΡΡ Π²ΡΠ΅-ΡΠ°ΠΊΠΈ ΠΊΠ°ΠΊ-ΡΠΎ ΠΏΠΎ-ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠΌΡ ΡΠΏΡΠ°Π²Π»ΡΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΠ°ΠΉΠ»ΠΎΠ² Π½Π° ΡΠ°ΠΉΡΠ΅ Π―Π½Π΄Π΅ΠΊΡΠΎΠΌ ΠΈ ΠΡΠ³Π», ΡΠΎΡ ΡΠ°Π½Ρ Π² ΡΡΠΎΠΉ ΡΡΠ°ΡΡΠ΅ ΠΈ Π²ΡΠΎΡΠΎΠΉ Π²Π°ΡΠΈΠ°Π½Ρ.
ΠΡΠ΅ ΡΠ°Π· ΠΎΠ±ΡΠ°ΡΠ°Ρ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ ΡΡΠΎ Π±Π°Π·ΠΎΠ²ΡΠΉ ΡΠ°ΠΉΠ» robots.txt. Π ΠΊΠ°ΠΆΠ΄ΠΎΠΌ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ Π½ΡΠΆΠ½ΠΎ ΡΠΌΠΎΡΡΠ΅ΡΡ ΡΠ΅Π°Π»ΡΠ½ΡΠΉ ΡΠ°ΠΉΡ ΠΈ ΠΏΠΎ-Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ Π²Π½ΠΎΡΠΈΡΡ ΠΊΠΎΡΡΠ΅ΠΊΡΠΈΡΠΎΠ²ΠΊΠΈ. ΠΠΎΡΡΡΠ°ΠΉΡΠ΅ ΡΡΠΎ Π΄Π΅Π»ΠΎ ΠΎΠΏΡΡΠ½ΡΠΌ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠ°ΠΌ!
ΠΠΎΡΠΎΡΠΊΠΈΠΉ Π²Π°ΡΠΈΠ°Π½Ρ (ΠΎΠΏΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ)
User-agent: * # ΠΎΠ±ΡΠΈΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ², ΠΊΡΠΎΠΌΠ΅ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google, # Ρ.ΠΊ. Π΄Π»Ρ Π½ΠΈΡ ΠΏΡΠ°Π²ΠΈΠ»Π° Π½ΠΈΠΆΠ΅ Disallow: /cgi-bin # ΠΏΠ°ΠΏΠΊΠ° Π½Π° Ρ ΠΎΡΡΠΈΠ½Π³Π΅ Disallow: /? # Π²ΡΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ Π·Π°ΠΏΡΠΎΡΠ° Π½Π° Π³Π»Π°Π²Π½ΠΎΠΉ Disallow: /wp- # Π²ΡΠ΅ ΡΠ°ΠΉΠ»Ρ WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # Π΅ΡΠ»ΠΈ Π΅ΡΡΡ ΠΏΠΎΠ΄ΠΊΠ°ΡΠ°Π»ΠΎΠ³ /wp/, Π³Π΄Π΅ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Π° CMS (Π΅ΡΠ»ΠΈ Π½Π΅Ρ, # ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π°Π»ΠΈΡΡ) Disallow: *?s= # ΠΏΠΎΠΈΡΠΊ Disallow: *&s= # ΠΏΠΎΠΈΡΠΊ Disallow: /search/ # ΠΏΠΎΠΈΡΠΊ Disallow: /author/ # Π°ΡΡ ΠΈΠ² Π°Π²ΡΠΎΡΠ° Disallow: /users/ # Π°ΡΡ ΠΈΠ² Π°Π²ΡΠΎΡΠΎΠ² Disallow: */trackback # ΡΡΠ΅ΠΊΠ±Π΅ΠΊΠΈ, ΡΠ²Π΅Π΄ΠΎΠΌΠ»Π΅Π½ΠΈΡ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ ΠΎ ΠΏΠΎΡΠ²Π»Π΅Π½ΠΈΠΈ ΠΎΡΠΊΡΡΡΠΎΠΉ # ΡΡΡΠ»ΠΊΠΈ Π½Π° ΡΡΠ°ΡΡΡ Disallow: */feed # Π²ΡΠ΅ ΡΠΈΠ΄Ρ Disallow: */rss # rss ΡΠΈΠ΄ Disallow: */embed # Π²ΡΠ΅ Π²ΡΡΡΠ°ΠΈΠ²Π°Π½ΠΈΡ Disallow: */wlwmanifest.xml # xml-ΡΠ°ΠΉΠ» ΠΌΠ°Π½ΠΈΡΠ΅ΡΡΠ° Windows Live Writer (Π΅ΡΠ»ΠΈ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΠ΅, # ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π°Π»ΠΈΡΡ) Disallow: /xmlrpc.php # ΡΠ°ΠΉΠ» WordPress API Disallow: *utm*= # ΡΡΡΠ»ΠΊΠΈ Ρ utm-ΠΌΠ΅ΡΠΊΠ°ΠΌΠΈ Disallow: *openstat= # ΡΡΡΠ»ΠΊΠΈ Ρ ΠΌΠ΅ΡΠΊΠ°ΠΌΠΈ openstat Allow: */uploads # ΠΎΡΠΊΡΡΠ²Π°Π΅ΠΌ ΠΏΠ°ΠΏΠΊΡ Ρ ΡΠ°ΠΉΠ»Π°ΠΌΠΈ uploads # Π£ΠΊΠ°ΠΆΠΈΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΈΠ»ΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ°ΠΉΠ»ΠΎΠ² Sitemap (Π΄ΡΠ±Π»ΠΈΡΠΎΠ²Π°ΡΡ Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ User-agent # Π½Π΅ Π½ΡΠΆΠ½ΠΎ). Google XML Sitemap ΡΠΎΠ·Π΄Π°Π΅Ρ 2 ΠΊΠ°ΡΡΡ ΡΠ°ΠΉΡΠ°, ΠΊΠ°ΠΊ Π² ΠΏΡΠΈΠΌΠ΅ΡΠ΅ Π½ΠΈΠΆΠ΅. Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz # Π£ΠΊΠ°ΠΆΠΈΡΠ΅ Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ ΡΠ°ΠΉΡΠ°, ΠΊΠ°ΠΊ Π² ΠΏΡΠΈΠΌΠ΅ΡΠ΅ Π½ΠΈΠΆΠ΅ (Ρ WWW / Π±Π΅Π· WWW, Π΅ΡΠ»ΠΈ HTTPS # ΡΠΎ ΠΏΠΈΡΠ΅ΠΌ ΠΏΡΠΎΡΠΎΠΊΠΎΠ», Π΅ΡΠ»ΠΈ Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ ΠΏΠΎΡΡ, ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΠΌ). ΠΠΎΠΌΠ°Π½Π΄Π° ΡΡΠ°Π»Π° Π½Π΅ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎΠΉ. Π Π°Π½Π΅Π΅ Host ΠΏΠΎΠ½ΠΈΠΌΠ°Π» # Π―Π½Π΄Π΅ΠΊΡ ΠΈ Mail.RU. Π’Π΅ΠΏΠ΅ΡΡ Π²ΡΠ΅ ΠΎΡΠ½ΠΎΠ²Π½ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Host Π½Π΅ ΡΡΠΈΡΡΠ²Π°ΡΡ. Host: www.site.ru
Π Π°ΡΡΠΈΡΠ΅Π½Π½ΡΠΉ Π²Π°ΡΠΈΠ°Π½Ρ (ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ Google ΠΈ Π―Π½Π΄Π΅ΠΊΡΠ°)
User-agent: * # ΠΎΠ±ΡΠΈΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ ΡΠΎΠ±ΠΎΡΠΎΠ², ΠΊΡΠΎΠΌΠ΅ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google, # Ρ.ΠΊ. Π΄Π»Ρ Π½ΠΈΡ ΠΏΡΠ°Π²ΠΈΠ»Π° Π½ΠΈΠΆΠ΅ Disallow: /cgi-bin # ΠΏΠ°ΠΏΠΊΠ° Π½Π° Ρ ΠΎΡΡΠΈΠ½Π³Π΅ Disallow: /? # Π²ΡΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ Π·Π°ΠΏΡΠΎΡΠ° Π½Π° Π³Π»Π°Π²Π½ΠΎΠΉ Disallow: /wp- # Π²ΡΠ΅ ΡΠ°ΠΉΠ»Ρ WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # Π΅ΡΠ»ΠΈ Π΅ΡΡΡ ΠΏΠΎΠ΄ΠΊΠ°ΡΠ°Π»ΠΎΠ³ /wp/, Π³Π΄Π΅ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Π° CMS (Π΅ΡΠ»ΠΈ Π½Π΅Ρ, # ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π°Π»ΠΈΡΡ) Disallow: *?s= # ΠΏΠΎΠΈΡΠΊ Disallow: *&s= # ΠΏΠΎΠΈΡΠΊ Disallow: /search/ # ΠΏΠΎΠΈΡΠΊ Disallow: /author/ # Π°ΡΡ ΠΈΠ² Π°Π²ΡΠΎΡΠ° Disallow: /users/ # Π°ΡΡ ΠΈΠ² Π°Π²ΡΠΎΡΠΎΠ² Disallow: */trackback # ΡΡΠ΅ΠΊΠ±Π΅ΠΊΠΈ, ΡΠ²Π΅Π΄ΠΎΠΌΠ»Π΅Π½ΠΈΡ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ ΠΎ ΠΏΠΎΡΠ²Π»Π΅Π½ΠΈΠΈ ΠΎΡΠΊΡΡΡΠΎΠΉ # ΡΡΡΠ»ΠΊΠΈ Π½Π° ΡΡΠ°ΡΡΡ Disallow: */feed # Π²ΡΠ΅ ΡΠΈΠ΄Ρ Disallow: */rss # rss ΡΠΈΠ΄ Disallow: */embed # Π²ΡΠ΅ Π²ΡΡΡΠ°ΠΈΠ²Π°Π½ΠΈΡ Disallow: */wlwmanifest.xml # xml-ΡΠ°ΠΉΠ» ΠΌΠ°Π½ΠΈΡΠ΅ΡΡΠ° Windows Live Writer (Π΅ΡΠ»ΠΈ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΠ΅, # ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π°Π»ΠΈΡΡ) Disallow: /xmlrpc.php # ΡΠ°ΠΉΠ» WordPress API Disallow: *utm*= # ΡΡΡΠ»ΠΊΠΈ Ρ utm-ΠΌΠ΅ΡΠΊΠ°ΠΌΠΈ Disallow: *openstat= # ΡΡΡΠ»ΠΊΠΈ Ρ ΠΌΠ΅ΡΠΊΠ°ΠΌΠΈ openstat Allow: */uploads # ΠΎΡΠΊΡΡΠ²Π°Π΅ΠΌ ΠΏΠ°ΠΏΠΊΡ Ρ ΡΠ°ΠΉΠ»Π°ΠΌΠΈ uploads User-agent: GoogleBot # ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ Google (ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ Π½Π΅ Π΄ΡΠ±Π»ΠΈΡΡΡ) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Allow: /*/*.js # ΠΎΡΠΊΡΡΠ²Π°Π΅ΠΌ js-ΡΠΊΡΠΈΠΏΡΡ Π²Π½ΡΡΡΠΈ /wp- (/*/ - Π΄Π»Ρ ΠΏΡΠΈΠΎΡΠΈΡΠ΅ΡΠ°) Allow: /*/*.css # ΠΎΡΠΊΡΡΠ²Π°Π΅ΠΌ css-ΡΠ°ΠΉΠ»Ρ Π²Π½ΡΡΡΠΈ /wp- (/*/ - Π΄Π»Ρ ΠΏΡΠΈΠΎΡΠΈΡΠ΅ΡΠ°) Allow: /wp-*.png # ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ Π² ΠΏΠ»Π°Π³ΠΈΠ½Π°Ρ , cache ΠΏΠ°ΠΏΠΊΠ΅ ΠΈ Ρ.Π΄. Allow: /wp-*.jpg # ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ Π² ΠΏΠ»Π°Π³ΠΈΠ½Π°Ρ , cache ΠΏΠ°ΠΏΠΊΠ΅ ΠΈ Ρ.Π΄. Allow: /wp-*.jpeg # ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ Π² ΠΏΠ»Π°Π³ΠΈΠ½Π°Ρ , cache ΠΏΠ°ΠΏΠΊΠ΅ ΠΈ Ρ.Π΄. Allow: /wp-*.gif # ΠΊΠ°ΡΡΠΈΠ½ΠΊΠΈ Π² ΠΏΠ»Π°Π³ΠΈΠ½Π°Ρ , cache ΠΏΠ°ΠΏΠΊΠ΅ ΠΈ Ρ.Π΄. Allow: /wp-admin/admin-ajax.php # ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΠΏΠ»Π°Π³ΠΈΠ½Π°ΠΌΠΈ, ΡΡΠΎΠ±Ρ Π½Π΅ Π±Π»ΠΎΠΊΠΈΡΠΎΠ²Π°ΡΡ JS ΠΈ CSS User-agent: Yandex # ΠΏΡΠ°Π²ΠΈΠ»Π° Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° (ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ Π½Π΅ Π΄ΡΠ±Π»ΠΈΡΡΡ) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Π―Π½Π΄Π΅ΠΊΡ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅Ρ Π½Π΅ Π·Π°ΠΊΡΡΠ²Π°ΡΡ # ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ, Π° ΡΠ΄Π°Π»ΡΡΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΠΌΠ΅ΡΠΎΠΊ, # Google ΡΠ°ΠΊΠΈΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅Ρ Clean-Param: openstat # Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΠΎ # Π£ΠΊΠ°ΠΆΠΈΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΈΠ»ΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ°ΠΉΠ»ΠΎΠ² Sitemap (Π΄ΡΠ±Π»ΠΈΡΠΎΠ²Π°ΡΡ Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ User-agent # Π½Π΅ Π½ΡΠΆΠ½ΠΎ). Google XML Sitemap ΡΠΎΠ·Π΄Π°Π΅Ρ 2 ΠΊΠ°ΡΡΡ ΡΠ°ΠΉΡΠ°, ΠΊΠ°ΠΊ Π² ΠΏΡΠΈΠΌΠ΅ΡΠ΅ Π½ΠΈΠΆΠ΅. Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz # Π£ΠΊΠ°ΠΆΠΈΡΠ΅ Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ ΡΠ°ΠΉΡΠ°, ΠΊΠ°ΠΊ Π² ΠΏΡΠΈΠΌΠ΅ΡΠ΅ Π½ΠΈΠΆΠ΅ (Ρ WWW / Π±Π΅Π· WWW, Π΅ΡΠ»ΠΈ HTTPS # ΡΠΎ ΠΏΠΈΡΠ΅ΠΌ ΠΏΡΠΎΡΠΎΠΊΠΎΠ», Π΅ΡΠ»ΠΈ Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ ΠΏΠΎΡΡ, ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΠΌ). ΠΠΎΠΌΠ°Π½Π΄Π° ΡΡΠ°Π»Π° Π½Π΅ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎΠΉ. Π Π°Π½Π΅Π΅ Host ΠΏΠΎΠ½ΠΈΠΌΠ°Π» # Π―Π½Π΄Π΅ΠΊΡ ΠΈ Mail.RU. Π’Π΅ΠΏΠ΅ΡΡ Π²ΡΠ΅ ΠΎΡΠ½ΠΎΠ²Π½ΡΠ΅ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Host Π½Π΅ ΡΡΠΈΡΡΠ²Π°ΡΡ. Host: www.site.ru
Π ΠΏΡΠΈΠΌΠ΅ΡΠ΅ Ρ Π½Π΅ Π΄ΠΎΠ±Π°Π²Π»ΡΡ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ Crawl-Delay, Ρ.ΠΊ. Π² Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π΅ ΡΠ»ΡΡΠ°Π΅Π² ΡΡΠ° Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Π½Π΅ Π½ΡΠΆΠ½Π°. ΠΠ΄Π½Π°ΠΊΠΎ Π΅ΡΠ»ΠΈ Ρ Π²Π°Ρ ΠΊΡΡΠΏΠ½ΡΠΉ Π½Π°Π³ΡΡΠΆΠ΅Π½Π½ΡΠΉ ΡΠ΅ΡΡΡΡ, ΡΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΡΠΎΠΉ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΡΠ½ΠΈΠ·ΠΈΡΡ Π½Π°Π³ΡΡΠ·ΠΊΡ Π½Π° ΡΠ°ΠΉΡ ΡΠΎ ΡΡΠΎΡΠΎΠ½Ρ ΡΠΎΠ±ΠΎΡΠΎΠ² Π―Π½Π΄Π΅ΠΊΡΠ°, Mail.Ru, Bing, Yahoo ΠΈ Π΄ΡΡΠ³ΠΈΡ (Google Π½Π΅ ΡΡΠΈΡΡΠ²Π°Π΅Ρ). ΠΠΎΠ΄ΡΠΎΠ±Π½Π΅Π΅ ΠΏΡΠΎ ΡΡΠΎ ΡΠΈΡΠ°ΠΉΡΠ΅ Π² ΡΡΠ°ΡΡΠ΅ Robots.txt.
ΠΡΠΈΠ±ΠΎΡΠ½ΡΠ΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΈ Π΄ΡΡΠ³ΠΈΡ Π±Π»ΠΎΠ³Π΅ΡΠΎΠ² Π΄Π»Ρ Robots.txt Π½Π° WordPress
- ΠΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΠΏΡΠ°Π²ΠΈΠ»Π° ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ User-agent: *
ΠΠ»Ρ ΠΌΠ½ΠΎΠ³ΠΈΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ Π½Π΅ ΡΡΠ΅Π±ΡΠ΅ΡΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ JS ΠΈ CSS Π΄Π»Ρ ΡΠ»ΡΡΡΠ΅Π½ΠΈΡ ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΠΊΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, Π΄Π»Ρ ΠΌΠ΅Π½Π΅Π΅ Π·Π½Π°ΡΠΈΠΌΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ² Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ Π½Π°ΡΡΡΠΎΠΈΡΡ Π±ΠΎΠ»ΡΡΠ΅Π΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ Crawl-Delay ΠΈ ΡΠ½ΠΈΠ·ΠΈΡΡ Π·Π° ΠΈΡ ΡΡΠ΅Ρ Π½Π°Π³ΡΡΠ·ΠΊΡ Π½Π° Π²Π°Ρ ΡΠ°ΠΉΡ. - ΠΡΠΎΠΏΠΈΡΡΠ²Π°Π½ΠΈΠ΅ Sitemap ΠΏΠΎΡΠ»Π΅ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ User-agent
ΠΡΠΎ Π΄Π΅Π»Π°ΡΡ Π½Π΅ Π½ΡΠΆΠ½ΠΎ. ΠΠ΄ΠΈΠ½ sitemap Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±ΡΡΡ ΡΠΊΠ°Π·Π°Π½ ΠΎΠ΄ΠΈΠ½ ΡΠ°Π· Π² Π»ΡΠ±ΠΎΠΌ ΠΌΠ΅ΡΡΠ΅ ΡΠ°ΠΉΠ»Π° robots.txt - ΠΠ°ΠΊΡΡΡΡ ΠΏΠ°ΠΏΠΊΠΈ wp-content, wp-includes, cache, plugins, themes
ΠΡΠΎ ΡΡΡΠ°ΡΠ΅Π²ΡΠΈΠ΅ ΡΡΠ΅Π±ΠΎΠ²Π°Π½ΠΈΡ. ΠΠ΄Π½Π°ΠΊΠΎ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΠ΅ ΡΠΎΠ²Π΅ΡΡ Ρ Π½Π°Ρ ΠΎΠ΄ΠΈΠ» Π΄Π°ΠΆΠ΅ Π² ΡΡΠ°ΡΡΠ΅ Ρ ΠΏΠ°ΡΠΎΡΠ½ΡΠΌ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ Β«Π‘Π°ΠΌΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΡΠΉ robots Π΄Π»Ρ WordPress 2018Β»! ΠΠ»Ρ Π―Π½Π΄Π΅ΠΊΡΠ° ΠΈ Google Π»ΡΡΡΠ΅ Π±ΡΠ΄Π΅Ρ ΠΈΡ Π²ΠΎΠΎΠ±ΡΠ΅ Π½Π΅ Π·Π°ΠΊΡΡΠ²Π°ΡΡ. ΠΠ»ΠΈ Π·Π°ΠΊΡΡΠ²Π°ΡΡ Β«ΠΏΠΎ ΡΠΌΠ½ΠΎΠΌΡΒ», ΠΊΠ°ΠΊ ΡΡΠΎ ΠΎΠΏΠΈΡΠ°Π½ΠΎ Π²ΡΡΠ΅. - ΠΠ°ΠΊΡΡΠ²Π°ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠ΅Π³ΠΎΠ² ΠΈ ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΉ
ΠΡΠ»ΠΈ Π²Π°Ρ ΡΠ°ΠΉΡ Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΈΠΌΠ΅Π΅Ρ ΡΠ°ΠΊΡΡ ΡΡΡΡΠΊΡΡΡΡ, ΡΡΠΎ Π½Π° ΡΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡΠ°Ρ ΠΊΠΎΠ½ΡΠ΅Π½Ρ Π΄ΡΠ±Π»ΠΈΡΡΠ΅ΡΡΡ ΠΈ Π² Π½ΠΈΡ Π½Π΅Ρ ΠΎΡΠΎΠ±ΠΎΠΉ ΡΠ΅Π½Π½ΠΎΡΡΠΈ, ΡΠΎ Π»ΡΡΡΠ΅ Π·Π°ΠΊΡΡΡΡ. ΠΠ΄Π½Π°ΠΊΠΎ Π½Π΅ΡΠ΅Π΄ΠΊΠΎ ΠΏΡΠΎΠ΄Π²ΠΈΠΆΠ΅Π½ΠΈΠ΅ ΡΠ΅ΡΡΡΡΠ° ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΠ΅ΡΡΡ Π² ΡΠΎΠΌ ΡΠΈΡΠ»Π΅ Π·Π° ΡΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡ ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΉ ΠΈ ΡΠ΅Π³ΠΈΡΠΎΠ²Π°Π½ΠΈΡ. Π ΡΡΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΡΠ΅ΡΡΡΡ ΡΠ°ΡΡΡ ΡΡΠ°ΡΠΈΠΊΠ° - ΠΠ°ΠΊΡΡΠ²Π°ΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠ°Π³ΠΈΠ½Π°ΡΠΈΠΈ /page/
ΠΡΠΎ Π΄Π΅Π»Π°ΡΡ Π½Π΅ Π½ΡΠΆΠ½ΠΎ. ΠΠ»Ρ ΡΠ°ΠΊΠΈΡ ΡΡΡΠ°Π½ΠΈΡ Π½Π°ΡΡΡΠ°ΠΈΠ²Π°Π΅ΡΡΡ ΡΠ΅Π³ rel=Β»canonicalΒ», ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΡΠ°ΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΡΠΎΠΆΠ΅ ΠΏΠΎΡΠ΅ΡΠ°ΡΡΡΡ ΡΠΎΠ±ΠΎΡΠΎΠΌ ΠΈ Π½Π° Π½ΠΈΡ ΡΡΠΈΡΡΠ²Π°ΡΡΡΡ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½Π½ΡΠ΅ ΡΠΎΠ²Π°ΡΡ/ΡΡΠ°ΡΡΠΈ, Π° ΡΠ°ΠΊΠΆΠ΅ ΡΡΠΈΡΡΠ²Π°Π΅ΡΡΡ Π²Π½ΡΡΡΠ΅Π½Π½ΡΡ ΡΡΡΠ»ΠΎΡΠ½Π°Ρ ΠΌΠ°ΡΡΠ°. - ΠΡΠΎΠΏΠΈΡΠ°ΡΡ Crawl-Delay
ΠΠΎΠ΄Π½ΠΎΠ΅ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ. ΠΠ΄Π½Π°ΠΊΠΎ Π΅Π³ΠΎ Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·ΡΠ²Π°ΡΡ ΡΠΎΠ»ΡΠΊΠΎ ΡΠΎΠ³Π΄Π°, ΠΊΠΎΠ³Π΄Π° Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ Π΅ΡΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΡ ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΡΡ ΠΏΠΎΡΠ΅ΡΠ΅Π½ΠΈΠ΅ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°. ΠΡΠ»ΠΈ ΡΠ°ΠΉΡ Π½Π΅Π±ΠΎΠ»ΡΡΠΎΠΉ ΠΈ ΠΏΠΎΡΠ΅ΡΠ΅Π½ΠΈΡ Π½Π΅ ΡΠΎΠ·Π΄Π°ΡΡ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ Π½Π°Π³ΡΡΠ·ΠΊΠΈ Π½Π° ΡΠ΅ΡΠ²Π΅Ρ, ΡΠΎ ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΠ²Π°ΡΡ Π²ΡΠ΅ΠΌΡ Β«ΡΡΠΎΠ±Ρ Π±ΡΠ»ΠΎΒ» Π±ΡΠ΄Π΅Ρ Π½Π΅ ΡΠ°ΠΌΠΎΠΉ ΡΠ°Π·ΡΠΌΠ½ΠΎΠΉ Π·Π°ΡΠ΅Π΅ΠΉ. - ΠΡΠΏΡ
ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΡΠ°Π²ΠΈΠ»Π° Ρ ΠΌΠΎΠ³Ρ ΠΎΡΠ½Π΅ΡΡΠΈ ΡΠΎΠ»ΡΠΊΠΎ ΠΊ ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ Β«Π±Π»ΠΎΠ³Π΅Ρ Π½Π΅ ΠΏΠΎΠ΄ΡΠΌΠ°Π»Β». ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ:Disallow: /20
β ΠΏΠΎ ΡΠ°ΠΊΠΎΠΌΡ ΠΏΡΠ°Π²ΠΈΠ»Ρ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ Π·Π°ΠΊΡΠΎΠ΅ΡΠ΅ Π²ΡΠ΅ Π°ΡΡ ΠΈΠ²Ρ, Π½ΠΎ ΠΈ Π·Π°ΠΎΠ΄Π½ΠΎ Π²ΡΠ΅ ΡΡΠ°ΡΡΠΈ ΠΎ 20 ΡΠΏΠΎΡΠΎΠ±Π°Ρ ΠΈΠ»ΠΈ 200 ΡΠΎΠ²Π΅ΡΠ°Ρ , ΠΊΠ°ΠΊ ΡΠ΄Π΅Π»Π°ΡΡ ΠΌΠΈΡ Π»ΡΡΡΠ΅ π
Π‘ΠΏΠΎΡΠ½ΡΠ΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΈ Π΄ΡΡΠ³ΠΈΡ Π±Π»ΠΎΠ³Π΅ΡΠΎΠ² Π΄Π»Ρ Robots.txt Π½Π° WordPress
- ΠΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ
ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ΅Π±ΡΡΠ° ΡΠΎΠ²Π΅ΡΡΡΡ Π·Π°ΠΊΡΡΠ²Π°ΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈDisallow: /comments
ΠΈDisallow: */comment-*
. - ΠΡΠΊΡΡΡΡ ΠΏΠ°ΠΏΠΊΡ uploads ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ Googlebot-Image ΠΈ YandexImages
User-agent: Googlebot-Image
Π‘ΠΎΠ²Π΅Ρ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ ΡΠΎΠΌΠ½ΠΈΡΠ΅Π»ΡΠ½ΡΠΉ, Ρ.ΠΊ. Π΄Π»Ρ ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ°Π½ΠΈΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠ° ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊΠΈΠ΅ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ ΠΈ ΡΠ°ΠΉΠ»Ρ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½Ρ Π½Π° Π½Π΅ΠΉ.
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
Π‘ΠΏΠ°ΡΠΈΠ±ΠΎ Π·Π° Π²Π°ΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅! ΠΡΠ»ΠΈ Ρ Π²Π°Ρ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡΡ Π²ΠΎΠΏΡΠΎΡΡ ΠΈΠ»ΠΈ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΡ, ΠΏΠΈΡΠΈΡΠ΅ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ !
ΠΡΠ΅Π½ΠΈΡΠ΅ ΡΡΠ°ΡΡΡ
ΠΠ°Π³ΡΡΠ·ΠΊΠ°…ΠΡΡΠ·ΡΡ, Π±ΡΠ΄Ρ Π±Π»Π°Π³ΠΎΠ΄Π°ΡΠ΅Π½ Π·Π° Π²Π°ΡΠΈ Π²ΠΎΠΏΡΠΎΡΡ, Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΈ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΠΈ ΠΏΠΎ ΡΠ΅ΠΌΠ΅ ΡΡΠ°ΡΡΠΈ. ΠΠΈΡΠΈΡΠ΅ Π½ΠΈΠΆΠ΅ Π² ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΡΡ
.
ΠΡΠ΄Ρ Π±Π»Π°Π³ΠΎΠ΄Π°ΡΠ΅Π½, Π΅ΡΠ»ΠΈ ΠΏΠΎΡΡΠ°Π²ΠΈΡΠ΅ ΠΎΡΠ΅Π½ΠΊΡ ΡΡΠ°ΡΡΠ΅.
seogio.ru