Как заставить Яндекс проиндексировать сайт?
Чтобы на вашем сайте были посетители, вы должны позаботиться о том, чтобы ваш ресурс можно было найти в интернете. И первое, что вам необходимо сделать – это заявить о сайте с помощью поисковых систем. Но чтобы ваш ресурс был в выдаче, нужно, чтобы поисковик его проиндексировал. Итак, как заставить Яндекс проиндексировать свой сайт?
В первую очередь вы должны добавить сайт в поисковую систему Яндекс, пройдя на следующую страницу http://webmaster.yandex.ru/addurl.xml. Конечно, это вовсе не обязательно, так как поисковая система и сама может найти новые сайты по ссылкам в интернете. Правда, иногда это происходит не так быстро, как бы этого хотелось. Существует мнение о том, что если Яндекс найдет сайт самостоятельно, то он будет иметь лучшие позиции в выдаче. Безусловно, логики в этом мало, ведь есть и более важные показатели. Итак, когда вы будете уверены в том, что ваш сайт готов для индексации, можете добавить его в поисковик Яндекс.
Для того чтобы ваши веб-страницы находились как можно выше в поисковой выдаче, им необходимо получить «вес», который распределяется благодаря количеству ссылок на страницы сайта. Поэтому очень важно продумать правильную перелинковку. Кстати, если вы хотите, чтобы ваш сайт был полностью проиндексированным, проследите за тем, чтобы на все страницы были ссылки. Также важно разместить ссылку на свой сайт в различных каталогах (вполне достаточно нескольких авторитетных ресурсов). Приобретите ссылки с других тематических сайтов. Благодаря таким операциям ваш сайт проиндексируется гораздо быстрее.
Вы должны понимать, что далеко не все страницы сайта тут же попадут в поисковую выдачу. Чем больше входящих ссылок на них будет, тем быстрее это произойдет. Чтобы ускорить процесс индексации, добавляйте ссылки на новые статьи из сервисов социальных закладок или социальных сетей. Хотя делать слишком много входящих ссылок на сайт тоже неправильно, так как поисковики могут расценить это как спам.
В том случае, если ваш сайт достаточно долго не индексируется Яндексом, возможно, он попал под фильтр. Если вы уверены в том, что ваш сайт качественный и полезный, напишите в службу поддержки поисковой системы Яндекса, где вам предоставят ответы на ваши вопросы.
Читать комментарии (5)
02 августа 2012,
9848
SEO оптимизация сайта, Яндекс, Индексация
Грязные общественные тайны Яндекс слил внутренние документы Google, которыми, по-видимому, поделились российские банки, госчиновники и интернет-тролли — Meduza
Casimiro PT / Shutterstock
Вечером 4 июля российские интернет-пользователи поняли, что поисковая система Яндекс индексирует удивительное количество информации, хранящейся в Документах Google, включая файлы, содержащие пароли, номера кредитных карт и корпоративные документы. В пресс-службе Яндекса говорят, что действия компании были совершенно законными, но через несколько часов после обнаружения в среду поисковая система перестала выдавать какие-либо гиперссылки на Google Docs. «Медуза » подробно разбирает, какая информация просочилась в общественность из-за этой непреднамеренной лазейки.
Как такое могло случиться? Гиперссылки на Документы Google в результатах интернет-поиска — это нормально, но не так. те документы. Другими словами, документ, которым никто не поделился (или документ, которым поделились только с определенными людьми по электронной почте или в мессенджере), не должен отображаться в результатах поиска (даже если автор не ограничил публичный доступ).За последнее десятилетие Google, Mail.ru, Yahoo, Bing и другие проиндексировали десятки тысяч общедоступных документов в Google Docs. Ситуация с Яндексом особенная из-за того, насколько тщательно компания проиндексировала эту информацию, возвращая результаты поиска с гиперссылками на файлы, содержащие особо важные данные.
В других поисковых системах вы также можете найти документы с личной информацией, но простые поисковые запросы, такие как «пароль», не дадут гиперссылок на электронные таблицы с паролями. Вместо этого вы получите ссылки на кучу документов-ловушек. Используя Google, даже вводя полные имена людей, «Медузе» не удалось найти те самые частные документы, которые появились на первой странице результатов в Яндексе.
Пример ловушки для документов, размещенной в Google Docs, созданной для привлечения пользователей Интернета на другие веб-сайты.
5 июля в своем русскоязычном корпоративном блоге Google опубликовала заявление, подтверждающее правила индексации. В тексте не упоминается Яндекс.
Яндекс не объясняет, что произошлоТехнически говоря, ответственность за утечку информации в первую очередь ложится на всех людей, которые выбрали неправильные настройки конфиденциальности для своих Google Docs. (Если не хотите, чтобы ваши данные были доступны всему миру, не ставьте доступ «Общедоступно в Сети»!) Но до сих пор непонятно, как вся эта информация оказалась в результатах поиска Яндекса.
Пока Яндекс ответов не дает. Единственный комментарий компании с начала скандала был такой: «Яндекс индексирует только открытую часть Интернета, то есть страницы, доступные по гиперссылке без логина и пароля. Яндекс не индексирует сайты, администраторы которых добавили стандарт исключения роботов, даже если эти сайты находятся в открытом доступе. В среду вечером пользователи Интернета подали в нашу службу поддержки жалобы на проблемы с доступом к файлам на docs.google.com. Наша служба безопасности сейчас связывается с нашими коллегами из Google, чтобы обратить их внимание на тот факт, что эти файлы могут содержать личную информацию».
Стандарт исключения роботов — это специальный файл с именем «Robots.txt», хранящийся в корне иерархии веб-сайта, который сообщает поисковым роботам и другим веб-роботам, какие файлы и пути на сервере следует сканировать, а какие игнорировать. Документы Google используют стандарт исключения роботов, сообщая поисковым роботам индексировать гиперссылки, начинающиеся с «docs. google.com/document». Другими словами, Яндекс имел право индексировать документы, которые пользователи Google Docs выложили в открытый доступ, и в любом случае компания не могла получить доступ к закрытым Google Docs. Однако получить доступ к этим общедоступным документам было бы непросто, поскольку эти гиперссылки состоят из длинных строк случайных символов. Чтобы проиндексировать эти файлы, Яндексу нужно было где-то найти гиперссылки.
Роскомнадзор направил официальный запрос в Яндекс в ответ на утечку данных, но ведомство не уточнило, что именно оно попросило Яндекс сделать.
Проблема может заключаться в Яндекс.Браузере, но это не точноМожно с уверенностью предположить, что люди, создающие файлы с паролями или финансовыми отчетами, не публикуют общедоступные гиперссылки на эту информацию. Некоторые интернет-пользователи предполагают, что Яндекс индексирует гиперссылки, открытые через Яндекс Браузер или отправленные по электронной почте через Яндекс Почту.
За опасениями по поводу Яндекс.Браузера стоит история. В 2015 году интернет-пользователи обнаружили, что Яндекс.Браузер передавал данные истории веб-поиска пользователей на серверы Яндекса (одна из задокументированных функций приложения). Затем эти гиперссылки попали в базу данных, которая была проиндексирована поисковыми роботами компании. В результате Яндекс даже проиндексировал гиперссылки, которые пользователи посещали в частном порядке, и смог посещать веб-сайты без паролей пользователей. Теоретически эти приватные страницы (доступные только по прямой гиперссылке) могли бы оказаться в результатах поиска Яндекса, но тогда этого не произошло. Компания опубликовала заявление, в котором утверждалось, что ее веб-робот по ошибке получил доступ к истории поиска Яндекс.Браузера, и это больше не повторится.
Яндекс не ответил на вопрос Meduza о том, могли ли файлы, проиндексированные его поисковой системой, быть получены пользователями Яндекс Браузера или Яндекс Почты, которые открыли или поделились прямыми гиперссылками на контент в Google Документах.
Какая информация просочилась? Тинькофф Банк, по-видимому, не берет на работу северокавказцев или геевНесколько пользователей Интернета обратили внимание на документ, который, по-видимому, является инструкцией для отдела кадров Тинькофф Банка. Согласно тексту, банк проводит политику против приема на работу мужчин «северокавказских национальностей» и людей «с неславянскими именами», кроме армян и дагестанцев, ранее работавших в банковской сфере. Судя по всему, существует строгий запрет на прием на работу представителей ЛГБТ-сообщества и «представителей негроидной расы».
Утром 5 июля представители Тинькофф Банка сообщили сайту TJournal , что в банке нет ограничений по приему на работу, и отрицали, что он когда-либо распространял такие инструкции. Рассматриваемый документ Google был быстро удален. Через несколько часов банк выпустил новое заявление, в котором говорилось: «Сотрудник создал этот текст по неизвестным нам причинам и поделился им в Интернете». По словам представителей Тинькофф Банка, автор по-прежнему работает в банке и никаких немедленных дисциплинарных взысканий не будет. На данный момент сотрудник, как сообщается, получает «дополнительные инструкции» о корпоративных ценностях банка.
Московские городские власти якобы уже заняты повышением явки на сентябрьские выборы мэраУчастники мониторингового движения «Сонар» обнаружили в Google Docs файлы с личными данными московских избирателей. В сообщении на Facebook группа утверждает, что Светлана Истомина, глава Управления социальной защиты населения Северного административного округа Москвы, 27 июня создала документ Google под названием «Карта ресурсов избирательного участка», который содержит информацию об избирателях, отдавших свои голоса. бюллетени из дома (инвалиды и другие лица, зависящие от государственного благосостояния). В документе также определены лица, ответственные за «мероприятия по мобилизации ресурсов». Активисты предполагают, что именно так городские власти предлагают мобилизовать электорат на сентябрьские выборы мэра.
Участники «Сонара» также говорят, что нашли список из 23 тысяч избирателей, зарегистрированных по округу Восточное Дегунино. В электронной таблице некоторые имена указаны «Звоните», а другие избиратели помечены как «Проживает в сельской местности», «Отказывается голосовать», «Отказывается участвовать в выборах» и так далее.
Московская городская избирательная комиссия сообщила «Медузе» , что ей ничего не известно об утечке персональных данных избирателей в сеть и «ничего не думает» об информации, раскрытой «Сонаром». Представители мэрии оказались недоступны для комментариев.
Ритейлер «Леруа Мерлен» отслеживает своих публичных критиковОбозреватель «Эхо Москвы » Александр Плющев обнаружил в Google таблицу негативных отзывов о выступлениях Галины Паниной, директора по связям с общественностью российского отделения дома магазин благоустройства и садоводства «Леруа Мерлен».
Плющев догадался, что документ является частью пиар-кампании против Паниной. Позже представители Leroy Merlin подтвердили подлинность таблицы, объяснив, что компания отслеживала негативные комментарии в собственных аналитических целях.
Госчиновники в Екатеринбурге, по-видимому, воюют с блогером Ильей ВарламовымИлья Варламов говорит, что нашел отчет, составленный чиновниками в Екатеринбурге, в котором подробно описывается кампания возмездия против него в ответ на его сообщения в блоге, критикующие ландшафт города и городское развитие . Документ, по-видимому, призывает к публикации подставных историй под именем «местный житель и блогер» в восхвалении городских парков и улиц. С другой стороны, городские власти также якобы хотели разместить в социальных сетях посты, в которых проблемы Екатеринбурга возлагаются на бывшего мэра Евгения Ройзмана, усиливая сообщение о том, что избранные к власти «популисты» являются неэффективными менеджерами, которые «не могут поддерживать городскую экономику или крупные федеральные проекты».
Представитель мэрии Екатеринбурга сообщил Meduza , что документ, которым поделился Варламов, является фейком, утверждая, что «город не работает в Google Docs из-за требований безопасности».
«Тролли» могут работать по инструкцииНапример, в таблице есть запись для случая, когда «посол России в Ливии категорически возражал против молчаливого попустительства Москвы свержению Каддафи», предлагая следующий готовый ответ: «Строго говоря, Медведев тогда руководил. По крайней мере, судя по его публичным заявлениям, Путин был против». В соответствии с тактикой фабрики троллей таблица также рекомендует запрограммированные «контраргументы», которые намеренно слабы.