Яндекс.Вебмастер — 2021: полное руководство

Мы подготовили пошаговое руководство по настройке сервиса «Яндекс.Вебмастер». Вы узнаете, как работать с запросами, индексированием, ссылками, получать всю информацию о своем сайте и многое другое.

Как добавить сайт в «Яндекс.Вебмастер»

Чтобы начать работу, необходимо добавить сайт. Для этого открываем «Яндекс.Вебмастер» и нажимаем кнопку с «плюсиком»:

Выбираем сайт из выпадающего списка

Появится новое окно, где нужно будет указать доменное имя сайта:

Указываем доменное имя своего сайта. Обязательно условие — он должен быть доступен и отдавать 200-й код. Добавлять нужно только основной домен

Нажимаем кнопку «Добавить». Помните: указывать необходимо исключительно главное зеркало сайта. После указания домена «Яндекс.Вебмастер» предложит подтвердить на него права.

Как подтвердить права на сайт в «Яндекс.Вебмастер»

Подтвердить права можно тремя способами:

1. HTML-файлом: его нужно загрузить в корень сайта.
2. DNS-записью: TXT-код добавляется в DNS домена.
3. Метатегом: он добавляется на главную страницу сайта.

Рассмотрим каждый способ подробнее.

HTML-файл в корневом каталоге

Один из самых простых способов подтвердить права на сайт в «Яндекс.Вебмастер». Открываем у себя на компьютере любой текстовой редактор и копируем туда код, полученный из раздела «Подтверждение прав»:

HTML-код для подтверждения прав на сайт

Сохраняем файл в с расширением .html и даем ему имя, которое предложит «Яндекс.Вебмастер»:

Создание файла для подтверждения прав

Загружаем созданный файл в корневую директорию сайта через FTP. Еще удобнее сделать это через файловый менеджер используемого хостинга. Например, у хостинга Beget загрузить файл можно следующим образом:

Загрузка файлов на корневую директорию сайта при помощи файлового менеджера Beget

После того как HTML-файл загружен в корень сайта, возвращаемся на страницу подтверждения прав «Яндекс.Вебмастера» и нажимаем кнопку «Проверить»:

Подтверждаем добавление кода

TXT-запись в DNS

Для подтверждения прав этим способом вы должны иметь доступ настройкам DNS своего домена. В зависимости от используемого вами регистратора, процесс добавления TXT-записи может несколько отличаться. Например, у регистратора REG.RU процесс добавления TXT-записи в DNS домена выглядит следующим образом:

Добавление TXT-записи в DNS

У регистратора Beget добавить TXT-запись можно через Раздел «DNS» → «Управление записями DNS»:

Управление записями DNS в панели хостинга Beget

После добавления TXT-записи в DNS домена возвращаемся в «Яндекс.Вебмастер» и кликаем «Проверить»:

Подтверждаем добавление кода

Метатег на главной странице сайта

Этот способ подтверждения подойдет для более опытных пользователей, которые знакомы с основами HTML.

«Яндекс.Вебмастер» генерирует код метатега :

Метатег «Яндекс.Вебмастера»

Его нужно вставить на главную страницу сайта. Для этого придется отредактировать код страницы.

Рассмотрим, как его добавить на примере сайта на WP. У себя на сайте откройте административную панель → раздел «Внешний вид», далее — выбираем «Редактор тем» и здесь находим файл Header. В вашей теме он может называться немного по-другому, но смысл один — нам нужен файл, который формирует заголовок сайта. Вставляем в самый верх полученный из «Яндекс.Вебмастера» код:

Добавление кода в хедер сайта

После возвращаемся в «Яндекс.Вебмастер» и кликаем «Проверить»:

Подтверждаем добавление кода

Права подтверждены успешно, и мы видим экран сводки:

Подробное представление элементов сводки: проблемы сайта, Турбо-страницы, заголовки и описания, индекс скорости сайта, обновления индекса

Сводка данных в «Яндекс.Вебмастере»

На экране сводки содержится самая важная информация по вашему сайту. Состоит сводка из нескольких блоков.

Проблемы сайта. В этом блоке содержится информация о количестве фатальных, критических и возможных ошибках:

Здесь мы видим отсутствие фатальных и критических ошибок, но 3 возможные

Что касается возможных ошибок, то это предположения сервиса о том, что можно улучшить на сайте:

Возможные ошибки сведены в три группы

Турбо-страницы. В этом блоке вебмастер может получить информацию о том, как подключить Турбо-страницы. «Яндекс» дает две подробные инструкции: для коммерческих и информационных (контентных) сайтов:

В сводке показываются два типа Турбо-страниц

Заголовки и описания. В этом разделе можно проверить дублирование title/description для всех страниц сайта:

67 страниц имеют дублированный заголовок

Индекс скорости сайта. Специальная метрика, используемая для оценки скорости загрузки страниц при переходе из мобильной выдачи «Яндекса»:

Индекс скорости сайта 3 из 5

Клики в поиске. Здесь вы можете увидеть динамику кликов в течение месяца. Отражаются также самые популярные (с точки зрения показов / кликов) поисковые фразы, по которым находят ваш сайт:

Клики в поиске. Видна отрицательная динамика

В раздел «Статистика запросов» можно попасть не только из сводки, но и через левое навигационное меню:

Статистика запросов доступна из раздела «Поисковые запросы»

Рекламный блок. Здесь «Яндекс.Вебмастер» предлагает запустить автоматизированную рекламную кампанию в поисковой системе, рекламной сети «Яндекса«, на «Яндекс.Услугах», «Яндекс.Картах», «Яндекс.Дзене». Или, к примеру, приобрести подписку «Яндекс.Бизнес»:

Реклама сервисов «Яндекса» внутри «Яндекс.Вебмастера»

Возможные проблемы. Здесь представлены советы, относящиеся к проблемам с индексацией сайта. Например, сервис может предложить связать сайт с «Яндекс.Метрикой» или включить обход по счетчику:

Лучше включить обход по счетчику

Яндекс.Справочник. В этом разделе можно посмотреть, какой рейтинг ваш сайт имеет в «Яндекс.Справочник», и при необходимости сразу перейти к заполнению/редактированию профиля организации в «Яндекс.Справочнике»:

Блок «Яндекс.Справочника»

Обновление поиска. Информация о том, какие страницы добавлялись/удалялись из индекса «Яндекса»:

Блок с обновлениями индекса. Отображаются 10 последних изменений

История обхода. Это график, демонстрирующий ошибки страниц. Можно сразу обнаружить битые страницы:

Для всех страниц можно посмотреть коды ответа

ИКС. Это внутренняя метрика «Яндекса», которая показывает общее качество сайта. Чем больше возраст домена / трафик сайта / лучше поведенческие факторы аудитории, тем выше будет ИКС сайта. ИКС — динамическая характеристика, она может как возрастать, так и понижаться:

ИКС сайта доступен в общей сводке «Яндекса.Вебмастера»

Качество сайта в «Яндекс.Вебмастере»

Показатели качества

Кроме уже рассмотренного показателя ИКС, в сводке можно проследить за прогрессом получения значков «Яндекса»:

Получены 3 из 4 значков

Рассмотрим подробнее, что представляет собой каждый значок:

• Популярный сайт. Выдается за большую посещаемость и регулярную аудиторию у сайта.
• Выбор пользователей. Выдается сайтам с высоким уровнем вовлеченности, когда взаимодействие с контентом не формальное, а добросовестное + продолжительное.
• Защищенное соединение. Чтобы получить этот значок, необходимо установить SSL-сертификат и перейти на HTTPS-протокол. Еще одно условие — основная доля трафика должна приходиться именно на HTTPS-страницы.
• Турбо-страницы. Для получения этого значка на вашем сайте должны быть подключены Турбо-страницы «Яндекс».

На странице «Показатели качества» (напомню, мы находимся в разделе «Качество сайта») вы можете получить доступ к уже рассмотренной нами в сводке «Диагностике проблем» и метрике «Скорость сайта»:

Достижения и статистика

Кроме этого, в «Качестве сайта» имеется сводка по текущему мониторингу важных страниц. Мониторинг важных страниц позволяет следить за коммерчески важными страницами сайта, например карточками товара, если речь идет о коммерческом сайте.

Блок рекомендаций. В этом блоке собраны советы, как сделать ваш сайт наиболее заметным среди конкурентов. Кроме полезных рекомендаций для повышения эффективности сайта, здесь есть реклама сервисов самого «Яндекса» — подключение Турбо-страниц, «Яндекс.Диалогов», «Яндекс.Дзена», «Яндекс.Маркета» и «Яндекс.Услуг»:

Рекомендации по качеству сайта

Отзывы. Здесь можно просматривать отзывы как на сам сайт, так и на организацию, которая к нему привязана. При необходимости на отзыв можно пожаловаться или ответить пользователю прямо из интерфейса «Яндекс.Вебмастера»:

Комментарии и отзывы сайта

Диагностика сайта в «Яндекс.Вебмастере»

Большой раздел. Состоит из двух подразделов: «Диагностика сайта» и «Безопасность и нарушения».

«Диагностика сайта» и «Безопасность и нарушения»

Все ошибки «Яндекс.Вебмастер» делит на фатальные, критичные и возможные. Кроме описания ошибки, вы узнаете и о том, как решить проблему самостоятельно:

На сайте проблемы с описательными метатегами, отключен обход по счетчикам, а файл robots имеет ошибки

Здесь также можно познакомиться с рекомендациями, которые дает сервис для общей оптимизации сайта, например для мобильных устройств:

Отсутствует оптимизация для смартфонов

Безопасность и нарушения

«Яндекс.Вебмастер» отслеживает наличие вредоносного кода на сайте. Если он каким-то образом попал на ваш сайт, то вы увидите сведения об этой проблеме в подразделе «Безопасность».

В разделе «Нарушения» отображаются проблемы, связанные с качеством сайта. Чтобы «Яндекс» не признал ваш веб-сайт некачественным, следите за тем, чтобы там поддерживались:

• Оригинальность контента.
• Высокий уровень вовлеченности при взаимодействии с контентом.
• Разные каналы (источники) трафика.
• Отсутствие переспама контента.
• Отсутствие ссылочного переспама.
• Строгая релевантность запроса / посадочной страницы.

Не вводите посетителей в заблуждение и делайте все возможное, чтобы улучшить их пользовательский опыт: от работы с контентом до юзабилити.

Поисковые запросы в «Яндекс.Вебмастере»

Это большой раздел, состоящий из пяти подразделов:

Раздел включает в себя 5 подразделов

Здесь можно:

1. Определить поисковые фразы, по которым сайт получает наибольший трафик.
2. Получить рейтинг самых трафиковых URL.
3. Узнать, как часто сайт присутствует на странице результатов поиска.
4. Управлять группами запросов, получить рекомендованные запросы.

Статистика поисковых запросов

Здесь находятся данные о содержании поисковых запросов (конкретных ключевых фразах, которые приводят трафик на ваш сайт). Статистика по запросам доступна и в разделе «Управление группами».

График статистики запросов демонстрирует динамику трех главных параметров: показов, кликов, CTR. Дополнительно можно активировать среднюю позицию сайта, среднюю позицию клика. При необходимости изменить эти показатели можно здесь:

Выбираем показатель для отслеживания

Все данные по поисковым запросам можно сегментировать по региональному признаку или типу устройства:

Доступна сегментация статистики поисковых запросов

Чтобы получить статистику по всем запросам сразу, выберите пункт «Группа» → «Все запросы»:

Работа с группами запросов

Под выбором показателей есть поле, где вы можете задать временной интервал:

Выбираем временной интервал

При необходимости доступна детализация по месяцу, кварталу, году.

Статистика страниц в поиске

Этот раздел практически идентичен статистике запросов, но вместо поисковых фраз здесь отображаются конкретные URL’ы страниц.

Статистика страниц в поиске по показам / кликам / CTR

Можно отсортировать все URL по количеству показов, кликов или CTR. Так вы найдете самые популярные и перспективные ключи.

Управление группами

Можно изучить статистику по самым востребованным фразам. Стоит отметить, что все данные здесь приблизительные и собираются в течение последних семи дней. Обратите внимание, что аналитика учитывает данные только по 50 позициям:

Все запросы (управление группами) делятся исходя из 4 характеристик: показы, клики, позиция, CTR

При необходимости можно добавить собственную группу, если нажать в меню слева кнопку «Создать группу»:

Создать группу можно при помощи кнопки внизу

Фразы можно загрузить файлом или ввести их вручную:

Загрузка подготовленных запросов

Загрузить вопросы можно или занесением их по одному в строку, или через файл с запросами.

Загрузка запросов текстом по одному в строке

Кроме этого, чтобы создать группу, можно воспользоваться инструментом «Фильтр»:

Для примера создадим фильтр и назовем его ffg

Тренды

Интересный инструмент, позволяющий сравнить трафик сайта с конкурентами. В иконке выбора группы можно указать отрасль сайта:

Добавление тематики сайта

На графике будет отображена динамика трафика, если сравнивать ее со схожими вашему сайту:

Динамика трафика.

При необходимости можно сегментировать тип устройства:

Выбор типа устройства. Тренды

В идеале полученный график должен быть более или менее равномерным — без резких скачков или спадов. Очень большие скачки могут говорить о неестественных способах продвижения: например, присутствии ботов, симулирующих органический трафик. Спады, наоборот, свидетельствуют о недостатках в контенте, юзабилити и релевантности страниц.

Рекомендованные запросы

Если вам некогда заниматься сбором семантического ядра или отсутствует бюджет на услуги профессиональных оптимизаторов, этот инструмент поможет начать сбор семантики.

Рекомендованные поисковые фразы собираются с учетом тематики сайта и его специфики. Стоит отметить, что фразы собирается не мгновенно, а в течение пары дней, иногда дольше.

Получаем рекомендованные для продвижения сайта запросы

Рекомендованные запросы позволяют найти низкочастотные фразы, способные привести качественный целевой трафик. По всем собранным запросам отображаются приблизительная стоимость клика и приблизительный трафик.

Чтобы получить рекомендованные запросы, необходимо отправить заявку на их сбор и подождать несколько дней.

Индексирование. Страницы в поиске. Проверка URL в «Яндекс.Вебмастере»

Индексирование — один из самых больших разделов сервиса. В нем вы найдете информацию о том, как происходит индексация страниц на вашем сайте, какие страницы присутствуют в поиске, а какие были удалены из индекса.

Здесь же — полезные инструменты: проверка статуса URL, переобход страниц, работа с картой сайта и многое другое.

Статистика обхода

Познакомиться со статистикой обхода можно в одноименном разделе:

«Индексирование» — крупный раздел с множеством полезных инструментов.

На графике видно, какие страницы робот «Яндекса» уже обошел:

Статистика обхода краулера

На графике отображаются дата обхода, URL, статус до обхода, статус после обхода:

Последние изменения в статистике обхода

Для удобства вебмастеров на любой интересующий статус можно добавить фильтр. Например, нам нужно получить все 404-е страницы после обхода:

Использование фильтра. Из списка фильтров выбираем 404 и уже делаем выборку по нему

Страницы в поиске

Здесь находится статистика по страницам, которые уже присутствуют в поиске. Отображаются как добавленные, так и удаленные из индекса страницы:

Новые и удаленные страницы в поиске. Видим, что добавлена была 1 страница, удаленных 0

Так же, как и в предыдущем разделе, доступно фильтрование по определенному признаку. Например, по статусу и URL:

Использование фильтров «URL» и «Статус»

Ценно, что «Яндекс.Вебмастер» отображает точную причину удаления страницы из индекса:

Малоценная страница автоматически удаляются из индекса

Структура сайта

Здесь вы можете увидеть основные разделы сайта так, как их видит поисковый робот «Яндекс».

Чтобы раздел сайта отображался в структуре, необходимо, чтобы он содержал не менее 10 страниц.

При необходимости можно добавить пользовательский раздел вручную. Максимум — пять разделов:

Структура сайта. Добавление нового раздела

Все страницы

Здесь можно получить таблицу со всеми страницами вашего сайта. Удобно, что ее можно загрузить единым архивом в формате .CSV. Затем вы сможете массово проанализировать следующие изменения:

Список отслеживаемых изменений

Проверить статус URL

Этот инструмент предназначен для получения статусов страницы. Проверенные URL’ы имеют следующие статусы:

1. Страница обходится роботом.
2. Страница обходится роботом, но отсутствует в поиске.
3. Страница неизвестна роботу.

По любой проблемной странице можно получить подробную информацию:

По результатам проверки можно сделать выводы о том, есть ли на сайте проблемные страницы

Мониторинг важных страниц

Инструмент уже встречался в сводке, в разделе «Качество сайта». Напомню: он позволяет отслеживать изменение на самых важных страницах сайта. Здесь отображаются параметры последнего обхода и параметры статусов статуса в индексе:

Мониторинг страниц в «Яндекс.Вебмастере»

При необходимости для каждой отслеживаемой страницы можно проанализировать историю всех изменений:

История изменений страниц

После добавления страниц можно настроить уведомления, чтобы не пропускать важные события:

Настройка уведомлений по изменениям на важных страницах

Переобход страниц

Благодаря этому инструменту вы можете сообщить «Яндексу» о том, что на указанных страницах произошли изменения. Страницы в очереди краулер посетит в течение трех суток. Для каждого сайта сервис выделяет собственный лимит по числу URL:

В переобход страниц можно добавить ограниченное число URL. В данном случае 210

Файлы sitemap

Здесь можно добавить карту сайта для ускорения индексации. Перед добавлением карты ее необходимо проверить при помощи «Анализатора файлов sitemap». Прописывается полный путь, например: http://site.ru/sitemap.xml.

Добавить новую карту можно здесь же:

Добавление карты сайта «Яндекс.Вебмастер»

Обход по счетчикам

Обход по счетчикам нужно активировать, чтобы поисковый робот получал данные о новых страницах сайта непосредственно из «Яндекс.Метрики». Чтобы его активировать, включите тумблер обхода:

Счетчик привязан. Обход по счетчикам включен

После этого «Яндекс.Вебмастер» предложит настроить уведомления:

Настройка уведомлений для включения обхода по счетчикам

Переезд сайта в «Яндекс.Вебмастере»

Если ваш сайт переезжает на новое доменное имя, инструмент поможет ускорить индексирование новой версии сайта. Для этого укажите новое доменное имя сайта:

Переезд сайт. Ввод доменного имени

При необходимости можно добавить HTTPS или www:

Можно добавить HTTPS-версию домена

Переезд сайта актуален не только в случае переезда на абсолютно новое доменное имя, но и если вы хотите установить SSL-сертификат и перейти на защищенный HTTPS-протокол, например.

Скорость обхода

Здесь можно ограничить частоту обхода краулеров. Это может косвенно помочь снизить нагрузку на сервер.

Указываемая частота — лишь рекомендация для робота, поэтому нагрузка может оставаться прежней.

Вы можете доверить определение скорости обхода «Яндексу» или задать скорость обхода вручную. Она задается количеством запросов в секунду:

Задаем скорость обхода вручную

Заголовки и описания

Здесь можно проверить уникальность заголовков / описаний страниц. Об этом инструменте мы уже говорили в разделе «Сводка».

Представление в поиске

Раздел позволяет оценить, какие возможности ваш сайт уже использует и какие необходимо подключить для полноценного представления в поиске:

Статус подключения дополнительных сниппетов

Здесь же подробные пояснения по каждому блоку:

В данном примере в блок попадают Турбо-страницы, которые отвечают на вопрос пользователя про рецепты

Подключив все рекомендации, можно рассчитывать на расширенный сниппет в результатах поиска, но не всегда.

Читайте также: Продвижение сайтов в Яндексе в ТОП

Правило простое: чем больше и заметнее сниппет на странице результатов поиска, чем выше его кликабельность.

Сравните обычный сниппет:

Обычный сниппет: заголовок, ссылка и текст

И расширенный:

Расширенный сниппет: прибавляются картинки и отформатированный текст

Расширенный сниппет более удобен с точки зрения навигации + его кликабельности всегда выше, чем у стандартного сниппета.

Ссылки в «Яндекс.Вебмастере»

В этом разделе отображается информация по всем внутренним и внешним URL, которые есть на вашем сайте.

Внутренние ссылки

Здесь собраны данные по внутренним нерабочим ссылкам. Для каждой неработающей ссылки отображается откуда и куда она ведет, а также ее возраст:

Сводка по внутренним ссылкам

При необходимости все URL можно отфильтровать на два вида: страницы, запрещенные к индексации (+ отдающие 404-й код) и страницы с ошибками на стороне сервера:

Можно выбрать один из двух типов неработающих ссылок: ошибки на стороне сервера и запрещенные к индексации

Благодаря инструменту вы без всякого труда обнаружите все битые URL и те ссылки, которые были запрещены пользователем.

Большое количество внутренних нерабочих ссылок отрицательно влияет на ранжирование сайта в поиске. Кроме того, такие ссылки плохо сказываются на юзабилити сайта, потому что усложняют навигацию

Внешние ссылки

Здесь можно проанализировать домены, которые ссылаются на ваш сайт. Для каждого ссылающегося сайта отображается его ИКС. Чем больше ИКС ссылающегося домена, тем авторитетнее будет выглядеть ссылка в глазах «Яндекса».

Кроме текущих ссылок можно посмотреть и удаленные:

Внешние ссылки. Текущие и удаленные

На графике отображается соотношение всех внешних ссылок и всех сайтов со ссылками. Если сайт продвигается белыми способами, график должен быть плавным.

Резкий скачок внешней ссылочной массы

Резкий прирост ссылок может говорить об искусственном приросте ссылочной массы. Такое бывает, когда вы неконтролируемо покупаете ссылки. Также скачок внешних ссылок может свидетельствовать о том, что кто-то скопировал ваш сайт.

При необходимости можно настроить отображение только неработающих внешних ссылок:

Неработающие URL

Так выглядят новые и удаленные внешние ссылки:

Новые и удаленные внешние ссылки

Здесь также доступы суммарные данные по ИКС всех ссылающихся сайтов. Они помогут создать наиболее точное представление о качестве ссылающихся доменов:

Группировка доноров по диапазонам ИКС

Есть и статистика по доменным зонам ссылающихся сайтов (TLD):

Группировка доноров по доменным зонам

Информация о сайте в «Яндекс.Вебмастере»

Относительно небольшой, по сравнению с предыдущими, раздел. В нем можно задать настройки региона сайта, товаров, цен, настроить быстрые ссылки и регистр имени сайта:

Информация о сайте состоит из четырех разделов

Региональность

У каждого сайта есть определенная геопривязка. Особенно важна она для коммерческих сайтов, оказывающих услуги в определенном регионе.

Чтобы «Яндекс» ранжировал ваш сайт с учетом его географической привязки и давал бонусы при вводе геозависимых запросов, необходимо настроить региональность сайта

Если вы уже настраивали свою организацию в «Яндекс.Справочнике», данные в «Яндекс.Вебмастер» привяжутся автоматически:

Настройка регионов сайта

При необходимости можно изменить регион в «Яндекс.Справочнике»:

Изменение региона в настройках «Яндекс.Вебмастер»

Кроме адреса организации в «Яндекс.Справочнике», «Яндекс» учитывает и регион, заданный в настройках «Яндекс.Вебмастера».

Можно задать пользовательский регион. В этом случае понадобится указать ссылку на страницу, где подтверждается региональная привязка сайта:

Указание страницы с подтверждением региона сайта

Регистр имени сайта

Пользовательские настройки регистра никак не влияют на ранжирование, но сказываются на восприятии вашего сайта пользователями «Яндекса».

Допустимо изменить регистр букв в доменном имени сайта:

Настройка регистра доменного имени

Не забудьте указать причину по которой вы хотите изменить регистр имени.

Товары и цены

Этот блок больше не поддерживается. Вместо него «Яндекс» рекомендует использовать сниппеты для интернет-магазинов:

Сниппет для интернет-магазинов

Быстрые ссылки

Этот блок позволяет управлять скрытием быстрых ссылок в сниппете вашего сайта. Даже если вы не задали пользовательские ссылки, они все равно автоматически формируются в результатах поиска:

Быстрые ссылки (страницы) в «Яндекс.Вебмастере»

Если сформированная быстрая ссылка вас не устраивает, ее можно скрыть, кликнув по иконке глаза:

Скрытие быстрой ссылки

Турбо-страницы в «Яндекс.Вебмастере». Общие настройки

В «Яндекс.Вебмастере» доступны два блока по Турбо-страницам: для информационных и контентных сайтов. Подробная инструкция по подключению турбо-страниц доступна в «Яндекс.Справке»для интернет-магазинов и контентных сайтов.

Турбо-страницы для контентных сайтов подключаются через RSS-канал, который нужно загрузить в «Яндекс.Вебмастере». Затем устанавливается счетчик, подключается реклама и проверяются примеры Турбо-страниц. Крупным контентным сайтам Турбо-страницы лучше подключать через API. Мелким — через RSS-канал.

Турбо-страницы для информационных сайтов подключаются при помощи YML-файла. Такой файл формируется из нескольких товарных страниц. Затем он загружается в «Яндекс.Вебмастер», устанавливается счетчик веб-аналитики, настраивается процесс оформления заказа, добавляется информация о магазине. Все эти действия происходят прямо в «Яндекс.Вебмастер», в блоке настроек Турбо-страниц:

Настройки Турбо-страниц для контентных сайтов

Настройки для контентных сайтов

Все настройки Турбо-страниц находятся в этом разделе. Настройки состоят из восьми пунктов:

Блок Турбо-страниц для контентных сайтов

Вот что можно настроить в этом разделе:

Настройки Турбо-страниц для контентных сайтов

Главная страница. Здесь можно настроить автоматическую страницу, которая формируется из последних записей. Чтобы главная выводилась корректно, нужно минимум 10 статей:

Главная не может быть создана, так как недостаточно страниц

Реклама. Здесь настраивается реклама на Турбо-страницах. Чтобы получать рекламный доход на свой аккаунт «Яндекс», вы должны зарегистрировать аккаунт в «РСЯ». Можно настроить отправку дохода вообще на другой аккаунт:

Настройки рекламы Турбо-страниц

Автоматическая лента. Здесь можно выбрать тип ленты — с карточками, полными статьями, вообще без ленты:

Настройки ленты рекомендаций

Авторизация. Здесь проводится настройка параметров автоматической авторизации. Авторизация нужна, чтобы пользователь Турбо-страниц мог оставить комментарий под статьей. В «Яндекс.Справке» доступна подробная инструкция по настройке авторизации:

Настройки авторизации для Турбо-страниц

Комментарии. Эта настройка пригодится для настройки блока комментариев, который выводится сразу после статьи. Чтобы комментировать статью, пользователь должен авторизоваться в сервисах «Яндекса»:

Настройка блока комментариев

Альтернативный вариант — API. В последнем случае пользователь должен будет проходить авторизацию уже на вашем сайте. О том, как подключить комментарии на Турбо-страницах, подробно написано в Яндекс.Справке.

Поиск. Настройка позволяет задать ссылку на страницу результатов поиска:

Указание страницы результатов поиска

CSS. Если вы хотите настраивать основные элементы Турбо-страниц —шапку, лого, шрифты, цвета — через стили самостоятельно:

Указание пользовательских «стилей»

Кастомизация. Если вы не разбираетесь в CSS, то все необходимые настройки Турбо-страниц можно задать в инструменте «Кастомизация». Доступны параметры шрифтов:

Кастомизация шрифтов Турбо-страниц

А также цветов:

Настройки цветов

Кроме того, можно кастомизировать шапку Турбо-страниц:

Кастомизируем шапку: текст, лого, название

Меню. Здесь можно настроить меню Турбо-страниц. Продуманное меню улучшит навигацию и сделает Турбо-страницы более удобными для конечного посетителя. В верхнем меню нужно указывать основные разделы сайта («Добавить пункт меню»):

Настройка меню Турбо-страниц

Обратная связь. В этом блоке можно настроить плавающие кнопки — «Обратный звонок», «Связаться» — или любые другие кнопки:

Настройка виджета обратной связи

Доступны готовые варианты кнопок для следующих функций и сервисов:

Добавление новой кнопки. Есть готовые сценарии, от телефона до мессенджеров и социальных сетей

Веб-аналитика. Здесь нужно указать счетчик «Яндекс.Метрики». При необходимости можно задействовать «Вебвизор»:

Указываем счетчик «Яндекс.Метрики» для Турбо-страниц

При настройке веб-аналитики для Турбо-страниц обязательно учитывайте специфику RSS:

Проблемы элемента turbo:analytics

Подробнее о настройке веб-аналитики для Турбо-страниц можно узнать в Яндекс.Справке.

Доступ. Здесь можно указать логин и пароль, если требуется авторизация для открытия файла, используемого для формирования Турбо-страниц.

Пользовательское соглашение. Здесь вы можете настроить юридическую информацию о принятии оферты вашего сайта, если данные пользователя отправляются через форму:

Настройки пользовательского соглашения. Указываем название компании и даем URL на источник

Сводка по турбо (только для контентных сайтов)

Как видно из названия, раздел доступен только для контентных сайтов. Здесь отображается доля трафика с мобильных устройств на все Турбо-страницы:

Турбо-страницы еще не подключены

При необходимости можно задать интересующий временной отрезок:

Выбираем интересующий диапазон дат

Кроме этого, здесь есть информация о проблемах Турбо-страниц. Отдельно выводятся страницы без Турбо-версий:

Проблемы Турбо-страниц и страницы без Турбо-версий отображаются в отдельных блоках

Блок рекомендаций внизу страницы поможет сделать Турбо-страницы наиболее эффективными и полезными:

Полезные инструменты указаны в блоке рекомендаций

Настройки для интернет-магазинов

Отдельно рассмотрим настройки Турбо-страниц для интернет-магазинов.

Блок Турбо-страниц для интернет-магазинов

О магазине. В разделе настраиваются:

1. Название.
2. Короткое описание.
3. Цвета.
4. Иконки.
5. Контактные данные.

Можно указать название, описание, цветовую схему, иконку

Заполняем блок «О магазине»

Здесь же указываются информационные разделы, которые будут видны на всех страницах магазина, например «Доставка»:

Добавление раздела для интернет-магазина

Оформление заказа. В этом разделе настраивается корзина Турбо-страниц. Чтобы активировать ее, отметьте соответствующий тумблер. При необходимости — настройте опцию «Купить в 1 клик»:

Настройки оформления заказа

Доставка. Здесь настраиваются параметры доставки. Обратите внимание: доставка на Турбо-страницах может быть настроена только при отключенной стандартной корзине (см. раздел «Оформление заказа» выше). Также должен быть указан e-mail. Обязательно активируйте чекбокс «Корзина на Турбо» (либо вместо нее — опцию «Купить в один клик»):

Доставка не будет работать со стандартной корзиной

Оплата. В этом разделе можно настроить онлайн-оплату. Для этого понадобится создать аккаунт «Яндекс.Оплата» и активировать «Корзину Турбо-страниц»:

Настройки оплаты будут недоступны, если активна стандартная корзина

Настройки API. Для работы API должна быть активирована «Корзина для Турбо-страниц». Настройка API пригодится для готовых решений таких как «1С-Битрикс»:

Настройка API не будет работать, если активна стандартная корзина

Все остальные настройки для интернет-магазинов — те же самые, что и в Турбо-страницах для контентных сайтов.

Источники

Здесь вы должны указать ссылку на источник Турбо-страниц.

Напомню: для контентных сайтов — это RSS или API:

Указываем RSS-источника Турбо-страниц

Для интернет-магазинов таким источником является ссылка на YML-файл:

Указываем YML-источника для интернет-магазина

Здесь есть удобная пошаговая инструкция — для подключения своего магазина и дальнейшей настройки Турбо-страниц:

Пошаговая настройка магазина

Комментарии

Блок комментариев под статьей. О них мы уже сказали в разделе «Настройки, комментарии».

Отладка

Инструмент для проверки источника Турбо-страниц. В случае ошибок источника они будут отображаться в окне эмуляции смартфона справа:

Эмуляция отображения Турбо-страниц

Доступна отладка не только RSS, но и пользовательского CSS:

Ошибки в коде RSS не обнаружены

Диагностика

Здесь отображаются ошибки Турбо-страниц — например, ошибки RSS, проблемы с доступностью оригинальной страницы:

Блок с проблемами Турбо-страниц. Ошибки не найдены

Инструменты «Яндекс.Вебмастера»

Анализ robots.txt. Этот инструмент поможет найти ошибки в одноименном файле. В результатах анализа вы увидите все директивы, которые краулер будет иметь в виду при обходе сайта. При необходимости можно выбрать разные версии файла:

Результат анализа robots.txt. Найдена 1 ошибки

Анализ sitemap. Аналогичный предыдущему инструмент, позволяющий найти ошибки в карте сайта. Перед добавлением sitemap в «Яндекс.Вебмастер» обязательно просканируйте его этим инструментом, чтобы избежать ошибок. Проверить можно текст, ссылку или конкретный файл:

Анализ XML-карты сайта. Указываем текст для проверки

Проверка ответа сервера. Инструмент позволяет узнать, доступен ли ваш сайт для краулеров «Яндекса». Проверить доступность можно для каждого робота по отдельности (у каждого из них свой собственный собственный User-agent):

Выбираем поискового робота для проверки ответа сервера

Можно выбрать запрос If-Modified-Since, если ответ сервера изменялся после указанной даты:

Выбор диапазона дат

Удаление страниц из поиска. Если добавить URL в этот инструмент, можно быстро убрать выбранные страницы из результатов поиска:

Для ручного удаления ссылок по URL указываем все адреса

Кроме ввода ссылок, можно удалить и целую группу страниц — по префиксу. Для этого выполните два шага:

Удалить группу страниц можно закрыв их в robots

Проверка мобильных страниц. Это «однокнопочный» инструмент, позволяющий узнать, насколько выбранная страница подходит для просмотра на смартфоне или другом мобильном устройстве.

XML-валидатор. Он потребуется, если вы используете XML-фиды для других сервисов «Яндекса» (например, партнерских программ «Яндекс.Работа», «Яндекс.Видео», «Яндекс.Маркет»). Благодаря этому инструменту ваши данные максимально быстро попадут в базу данных партнерской программы. Сперва выбираем название сервиса:

Выбор схемы валидации

Затем выбираем источник фида (только XML-данные):

Источник фида можно взять из файла, по ссылке или из XML

Валидатор микроразметки. Он встроен в «Яндекс.Вебмастер» и используется, чтобы избежать ошибок разметки, ведь зачастую поисковые роботы не могут получить структурированные данные. Валидатор поддерживает самые популярные форматы разметки (от schema.org до RDF). Указываем ссылку на документ и нажимаем «Проверить»:

Вставляем URL в валидатор микроразметки

Кроме того, можно вставить готовый HTML-код.

Настройки «Яндекс.Вебмастера»

Здесь представлены важные параметры вашего «Яндекс.Вебмастера»: уведомления, права доступа, привязка счетчика метрики.

Уведомления

Настроив уведомления, вы всегда будете в курсе событий, происходящих на сайте. Доступны самые разнообразные типы событий — от регулярных сводок до появления новых отзывов на сайт:

Типы событий для отслеживания

Уведомления о важных страницах:

Уведомления о важных страницах

А также изменения на Турбо-страницах:

Уведомления о Турбо-страницах

Все уведомления «Яндекс.Вебмастере» может отправлять в сервисе, пуш-уведомлениями и по email:

Расшифровка уведомлений в «Яндекс.Вебмастере»

Права доступа

Здесь можно посмотреть пользователей, которые имеют доступ к вашему «Яндекс.Вебмастеру». Отсюда же можно задать нового пользователя или сбросить права у текущих:

Отображается не только логин, но и способ проверки прав, дата проверки и код подтверждения

При необходимости — делегировать права на управление сайта другому пользователю «Яндекса»:

Указываем логин для дальнейшего делегирования прав

Привязка к Яндекс.Метрике

В этом разделе можно добавить счетчик «Яндекс.Метрики» и посмотреть, какие счетчики уже связаны с вашим сайтом:

Счетчик в разделе «Привязка к Яндекс.Метрике»

Иконка ИКС

Если вы хотите чтобы иконка ИКС отображалась в футере вашего сайта, здесь можно получить соответствующий код в двух вариантах цветового исполнения:

Получаем код иконки ИКС сайта

Полученный код нужно вставить в футер сайта.

Полезные сервисы

Здесь вы найдете список ссылок на все сервисы «Яндекса», которые упомянуты в разделах «Вебмастера» и могут использоваться для увеличения эффективности сайта:

Полезные сервисы в «Яндекс.Вебмастере»

Резюме

«Яндекс.Вебмастер» — необходимый инструмент для каждого, кто занимается оптимизацией сайта. При помощи сервиса вы сможете:

1. Получить полные данные по индексации сайта.
2. Ознакомиться с самыми популярными поисковыми запросами.
3. Найти ошибки, мешающие сайту занять лидирующие позиции среди конкурентов, а также приводящие к его частичной или полной неработоспособности.
4. Изучать и работать как с внутренними, так и внешними ссылками.
5. Оценить качество сайта.

Если использовать по-максимуму функциональность «Яндекс.Вебмастера», вы убедитесь, что сервис практически ничем не уступает Google Search Console.

Инструкция по работе с Яндекс.Вебмастер для владельцев сайтов

Яндекс.Вебмастер – инструмент, который является своеобразным посредником между поисковой системой и вашим сайтом. Сервис был запущен в 2007 году и за 8 лет существования стал незаменимым помощником для многих веб-мастеров.

Для чего необходим Яндекс.Вебмастер?

С помощью данного сервиса вы сможете дать сигнал поисковой системе, о том, что появился новый сайт, на который ей необходимо обратить свое внимание.

Как всегда, все начинается с регистрации почтового ящика на Яндексе (если у вас его еще нет). Он будет служить вашим логином для Вебмастера.

После этого задача становится сложнее. Необходимо предоставить доказательства, что сайт действительно ваш. Для этого нужно разместить мета-тег, предложенный сервисом, на главной странице сайта. Однако подробнее на этом моменте мы остановимся позднее, а сейчас продолжим знакомство с остальными функциями.

Для чего необходимо добавлять сайт в Яндекс.Вебмастер?

Первым по счету идет раздел «Общая информация». С помощью него вы сможете узнать о количестве внешних ссылок и страниц в поиске, а также узнать когда в последний раз заходил поисковый робот и сколько ему удалось загрузить страниц. Ну и, естественно, просмотреть данные о тематическом индексе цитирования (ТИЦ).

Так выглядит общая информация о сайте на Яндекс.Вебмастер.

Раздел «Проверить URL»

Здесь вы сможете проверить наличие определенной страницы веб-ресурса в поисковой системе. Для этого просто введите ее адрес и кликните на кнопку «Проверить URL».

Так происходит проверка индексации страницы в Яндекс.Вебмастер.

Несмотря на кажущуюся простоту, данный раздел имеет неочевидные функции, о которых мы поговорим в следующих статьях.

Подраздел «Индексирование сайта»

Очень важно, чтобы все страницы ресурса были правильно проиндексированы и корректно отображались в поисковой выдаче.

Для того, чтобы поисковый робот загрузил страницы сайта нужно, чтобы он на них как-то попал. Чаще всего это происходит после перехода с другой внутренней страницы ресурса. Поэтому стоит уделить огромное внимание грамотной перелинковке статей, а также создать карту сайта (как для роботов так и для пользователей). Посмотреть, как Яндекс видит навигацию вашего сайта можно в разделе «Структура сайта».

Пункт «Структура сайта» в сервисе Яндекс.Вебмастер.

Кроме того, стоит обратить внимание на конкретные страницы отображающиеся в поисковой выдаче.

Подраздел «История»

Сервис способен отражать историю обращений робота к страницам сайта. Открыв вкладку «Количество запросов» вы увидите график доступности сайта.

На вкладке «HTTP коды» вы получите более подробную информацию о том, какой ответ возвращал сервер поисковому роботу. Наиболее распространенные из них:

• 1Зеленый график (ОК) – все работает корректно.
• 2Синий график (3ХХ) – означает, что страница перенаправляет на другой URL.
• 3Красный график (4ХХ) – ошибка доступа клиентского запроса.

В интерфейсе Яндекс.Вебмастера это выглядит следующим образом:

График ответа сервера в Яндекс.Вебмастер.

Раздел «Настройка индексирования»

Чтобы исключить из индекса мусорные страницы (например, страницы постраничной навигации, теги и др.) нужно установить запрет на их индексацию в специальном файле – robots.txt.

Правильно составленный robots.txt – еще один немаловажный шаг, который позволит поисковому роботу корректно проиндексировать ваш сайт. Описание тонкостей работы с robots.txt займет не одну страницу, поэтому более подробно о нем мы расскажем в следующих статьях.

Подраздел «Главное зеркало»

Для того, чтобы не потерять ваш ресурс после склеивания доменов, необходимо определиться с главным зеркалом сайта.

• Для начала нужно выбрать главный домен (стоит помнить, что он может начинаться с префикса WWW). Если этого не сделать, то сервис определит основной домен автоматически. При таком раскладе все ссылки, установленные не на основное зеркало потеряют вес. 
  
• Если у вас есть 2 сайта с одинаковым контентом, которые расположены на разных доменах, то риск применения санкций от Яндекса очень велик. Указание главного зеркала поможет избежать бана в поисковой системе. 

Раздел «Поисковые запросы»

Яндекс.Вебмастер предоставляет возможность просматривать запросы, по которым сайт чаще всего показывался в поисково выдаче Яндекса. Сделать это можно в разделе «Поисковые запросы». Открыв раздел, вы увидите таблицу с запросами, разбитую на 4 колонки. Ее можно отсортировать по показам или кликам. Большим плюсом является возможность сохранения таблицы в файл Excel.

Раздел «География сайта»

Ваш сайт имеет региональную направленность? Тогда данная функция окажется весьма полезной. Раздел «География сайта» может помочь подняться в выдаче определенного региона, так как Яндекс использует особенные методы ранжирования для ресурсов имеющих географическую привязку.

Функция «Оригинальные тексты»

Яндекс.Вебмастер имеет очень полезную функцию, которая позволит защитить контент, размещаемый на страницах вашего сайта.

Функция «Оригинальные тексты»

Загрузив свой текст в специальную форму, вы дадите сигнал Яндексу об истинном авторстве контента. Это обезопасит вас от случаев, когда кто-то нагло ворует ваши труды, до появления их в индексе поисковой системы.

Раздел «Сайт в результатах поиска»

В этом разделе находится пункт «Быстрые ссылки». Они представляют из себя набор популярных ссылок, которые наиболее интересны посетителям.

Быстрые ссылки в поисковой выдаче.

К сожалению, система определяет их автоматически. Указать вручную их невозможно. Однако есть некоторые рекомендации, позволяющие помочь поисковому роботу корректно определить быстрые ссылки для вашего сайта. Опять-таки, их выполнение не дает никаких гарантий, что Яндекс будет их учитывать.

Подраздел «Регистр имени сайта» может пригодится в том случае, если вы захотите подкорректировать название сайта изменив прописные буквы на строчные (или наоборот). Это никак не отразится на позициях в поисковой системе.

Раздел «Безопасность»

На данной странице вы увидите вредоносный код, который Яндекс может обнаружить на сайте. Стоит отметить, что страницы сканируются выборочно и это не гарантирует полной безопасности.

Раздел «Права на управление»

При необходимости передачи прав на управление другому пользователю, вы можете зайти в раздел «права на управление». На странице, вам понадобится указать логин пользователя на Яндексе и кликнуть на кнопку «Делегировать права». Выглядит это следующим образом:

Форма добавления юзера для управления сайтом.

Данная функция пригодится вам, при заказе продвижения сайтов у нашей веб-студии. Это позволит нашим специалистам учесть все нюансы вашего проекта и помочь ему занять высокие места в поисковых системах.

Назад

Google Search Console и Яндекс.Вебмастер. SEO-трилогия, часть 3

В первой части я рассказал про базовую настройку сайта для поискового продвижения, во второй – про оптимизацию контента на сайте. Теперь самое время залезть в настройки двух сервисов, которые имеют самое прямое отношение к продвижению сайтов. Посмотрим, как наши сайты выглядят со стороны поисковых ботов. Какие страницы индексируются, как смотреть историю поисковых запросов и многое другое.

Что это за сервисы?

У Google и Яндекс есть два сервиса, которые позволяют мониторить сайт и отслеживать динамику изменений на нем. И  это не Яндекс.Метрика или Google Analytics – эти двое наиболее известны. В отличие от них, Google Search Console и Яндекс.Вебмастер стоят чуть в стороне, хотя они столь же полезны и нужны.

Вот, например, ваш сайт подключен к этим сервисам? Если да, то отлично. Если нет, то почему не подключен? Не знали про эти сервисы? Или знали, но по какой-то причине не стали их подключать?

Отслеживать количество посещений на сайте – это одна сторона аналитики сайта. Другая – знать, что происходит со страницами, какие из них уже попали в поисковую базу, а какие еще нет. И если не попали, то почему? Именно для этого и нужны Google Search Console и Яндекс.Вебмастер. Как к ним подключиться, я рассказал во второй части трилогии. Сейчас заглянем в их настройки поглубже.

Google Search ConsoleИзображение: скриншот главной страницы сайта search.google.com/search-console.

Что есть такого интересного в этом сервисе, на что стоит обратить внимание? Пройдемся по интерфейсу и посмотрим, какие функции здесь есть. Основные пункты – на скриншоте ниже, все они расположены на левой колонке.

Обзор

Это стартовая страница, аналог главной страницы консоли сайта WordPress. Здесь собрана сводная информация по наиболее значимым показателям. О них ниже и чуть подробнее.

Скриншот страницы оценки эффективности представления в поиске.

Под номером 1 на скриншоте строка, где можно выбрать период показа данных. По умолчанию там стоит за 3 месяца, обратите внимание. Ниже на цветных блоках видно количество кликов за этот период, показов, средний CTR сайта и средняя позиция. CTR – это процент показов, которые привели к кликам. Чем больше, тем лучше. А средняя позиция – это такой относительный показатель по месту в поисковой выдаче, то есть на каком месте находится ваш сайт. Но с учетом наивысшей позиции, когда-либо занятой сайтом.

Под номером 2 можно более детально посмотреть статистику по поисковым запросам, которые ведут на ваш сайт. На вкладке Страницы видно топ страниц сайта по кликам и показам. И вот здесь уже можно смотреть детали индексации. Например, если перейти на вкладку Страницы и напротив нужной нажать на иконку лупы «Проверить URL», то откроется новая страница с подробными сведениями.

Скриншот раздела эффективности показа страниц в поиске.

Будет видно, есть ли эта страница в индексе Google. И если на ней есть изменения, то можно вручную отправить на переиндексацию. Тут же видно, оптимизирована ли страница для мобильных устройств. Эти данные можно получить и с главной страницы. Для этого нужно зайти в пункт «Проверка URL» и ввести нужный адрес.

Покрытие

Скриншот отчетов по ошибкам на страницах сайта.

Здесь все оформлено в цветах, поэтому максимально наглядно. Красный – страницы, которые в поиск не попали. Почему? Нужно разбираться. Чуть ниже на странице нажимаем на строку с ошибкой и смотрим детали. Оранжевый – страница в поиск попала, но есть предупреждение. Тоже смотрим, в чем причина. Зеленый – самый классный пункт и цвет. Все отлично, эти страницы проиндексированы роботом и есть в поисковой базе Google. Серый цвет – эти страницы исключены из поиска. Возможно, это сделано прямым запретом через файл robots.txt.

Файлы Sitemap

Здесь можно указать путь к файлу карты сайта. В ней есть полный перечень всех страниц и постов. И этот самый перечень и попадает в поисковую базу. Если на сайте стоит плагин Yoast SEO, то карта сайта находится по адресу /sitemap_index.xml – допишите эту строку после имени сайта.

На этой же странице видно, когда карта сайта последний раз обновлялась и сколько в ней есть адресов.

Ссылки

Итак, смотрим, сколько есть внутренних и внешних ссылок. Внутренние – это ссылки внутри сайта на свои же страницы. Внешние – совсем другое дело. Их еще называют обратными ссылками. Это когда на каком-то сайте стоит ссылка на ваш. Очень важная штука. По возможности нужно обзаводиться такими ссылками. Они увеличивают трафик на ваш сайт и как следствие поднимают его позиции в поиске.

Но здесь важный момент – обратные ссылки должны стоять на подходящих ресурсах. Из вашей же тематики, в идеале. Потому что когда на ваш сайт ссылается какой-то сомнительный форум с не совсем адекватным контентом (каждый у себя в голове представьте свой вариант), то мало хорошего от такой ссылки. Если же их будет несколько, то еще хуже. И так далее. Google анализирует ссылки и делает свои выводы. Ссылка на другом сайте НКО с большой посещаемостью будет лучшим вариантом.

Краткое заключение по Google Search Console

Пунктом меню в Google Search Console не в пример меньше, чем в Яндекс.Вебмастере (сейчас сами увидите). При этом все, что нужно, делается, настраивается и мониторится. В первую очередь, рекомендую «скормить» сервису карту сайта, проверить страницы на мобильную адаптацию и отсутствие ошибок. Затем уже можно отслеживать динамику показа страниц и кликов. А там можно и оптимизацией заняться, по итогам тех отчетов, что выдаст сервис примерно через пару-тройку недель работы.

Но это работа постоянная, а не просто «поставил и забыл». Нужно смотреть динамику страниц, проверять отсутствие ошибок, вручную отправлять новые и измененные страницы на переиндексацию. Ну, это чтобы не ждать, пока до них вновь доберется поисковый робот.

Яндекс.Вебмастер

Изображение: скриншот главной страницы сайта webmaster.yandex.ru.

Чего-чего, а пунктов меню в левой колонке в Вебмастере гораздо больше, чем в его аналоге от Google. Сейчас пройдемся по ним. Многие понятны уже из своего названия, на некоторых нужно будет остановиться подробнее.

Скриншот главной страницы кабинета Яндекс.Вебмастер.

Индексирование

Внутри есть подпункт «Страницы в поиске», который показывает страницы, как находящиеся в поиске Яндекс, так и исключенные из него. Первым делом можно заглянуть сюда и посмотреть, что тут делается. В соседнем подразделе «Проверить статус URL» можно вручную проверить отдельно взятую страницу. Если в результатах проверки есть «Страница обходится роботом и находится в поиске», то отлично, это и нужно. Там же можно нажать «отслеживать страницу», после чего она появится в разделе «Мониторинг важных страниц».

Скриншот мониторинга важных страниц в кабинете Яндекс.Вебмастер.

Здесь видно более подробное описание работы по индексации страниц. В колонке URL видно ссылку на страницу, ее заголовок и описание. Справа в колонках видно дату последнего изменения на странице, когда ее последний раз обходил робот и какой ответ был получен. Если код 200, то все отлично. Недавно созданные страницы не сразу попадают в поисковую базу, нужно немного времени. На скриншоте выше это первая строка. Этой страницы еще нет в поисковой базе. Но робот на ней был, все считал и дело свое сделал. Скоро появится.

В этом же разделе в пункте «Файлы Sitemap» можно добавить карту сайта. Дальше – по аналогии с сервисом Google, принцип работы такой же. В пункте «Обход по счетчикам» можно подключить Яндекс.Метрику и связать два сервиса.

Информация о сайте

Если ваш/а бизнес/деятельность/работа имеют региональную привязку, то стоит задать регион сайта. Это можно сделать в разделе «Региональность» здесь же в Вебмастере либо в карточке организации в Яндекс.Справочнике.

Другой подраздел здесь – «Оригинальные тексты». Написали новый текст (авторский, конечно), затем закинули его сначала сюда, а потом уже опубликовали на сайте. Этим вы говорите Яндексу, что текст изначально ваш. Если его будут перепечатывать другие ресурсы, то Яндекс будет это учитывать при индексации их страниц с вашим текстом.

Турбо-страницы

Яндекс.Вебмастер может отслеживать трафик с турбо-страниц. Их можно подключить по инструкции Яндекса, а можно воспользоваться плагином Теплицы социальных технологий. Важный момент – турбо-страницы работают по своему, скажем так, шаблону. Если у вашего сайта адаптивный дизайн и скорость загрузки на мобильных устройствах хорошая, то турбо-страницы можно и не использовать. Иначе многие элементы интерфейса с вашего сайта пропадут в режиме турбо-страниц.

Инструменты

Здесь можно проверить на ошибки файл robots.txt, сделать запрос на удаление страниц из поиска, проверить страницы на мобильную адаптацию. Все нужное, полезное. Всем рекомендую пользоваться.

Краткое заключение по Яндекс.Вебмастеру

К чему сводится текущая работа в сервисе? Добавляете важные страницы в список отслеживаемых и регулярно смотрите, что там с ними делается. Вышел новый пост или изменилась страница – отправьте ее на переобход роботу. На главной странице сервиса есть блок с уведомлениями об ошибках. Поэтому смотрим, чтобы там все было чисто и без ошибок. Это такой базовый набор, который помогает держать сайт в тонусе.

Дальше – дело за контентом. Пишете оригинальные тексты, добавляете свои фотографии и смотрите, как вся эта красота индексируется.

Итог по двум сервисам

Если у вас подключена статистика посещений, то это, безусловно, хорошо. Но для полной картины можно подключить еще и оба сервиса мониторинга. Если вы работаете преимущественно на зарубежную аудиторию, то вполне можно обойтись только Google Search Console. Если же ваши читатели пользуются и Яндексом, то тогда точно лучше подключить оба сервиса.

Да, вначале могут вылезти ошибки и предупреждения. Но это все поправимое. После этого, глядишь, и сайт начнет подниматься в результатах поиска. Оно же все взаимосвязано. Поисковые алгоритмы меняются день ото дня и нужно быть в курсе событий. А лучший способ для этого – смотреть на сайт глазами поисковых роботов. Как это делать, вы теперь знаете.

Нестандартные инструменты веб-аналитики и новые функции Яндекс.Метрики. Личный топ Андрея Безрукова, ARDA

Андрей Безруков, ARDA, операционный директор в «Блондинка.Ру», принёс читателям Cossa огненную подборку. Здесь инструменты веб-анализа для тех, кому не хватает стандартных возможностей Яндекс.Метрики и Google Analytics. И новые функции Яндекс.Метрики, о которых вы, скорее всего, не знаете.

Веб-аналитика без ограничений для профессионалов

Продвинутым аналитикам часто не хватает стандартных возможностей Яндекс.Метрики и Google Analytics, включая даже возможности API. Ниже небольшой топ инструментов, позволяющих получить прямой доступ к сырым данным либо новые возможности для анализа любой сложности!

Яндекс.Метрика работает на базе столбчатой СУБД ClickHouse, разработанной в Яндексе. Это OpenSource-решение, которое вы можете развернуть на своём сервере (или в Яндекс.Облаке) и работать с данными при помощи гибкого языка запросов и, разумеется, всей мощи Python. Но мало кто знает, что у Яндекс.Метрики есть нативный коннектор к внешнему ClickHouse, который позволяет в 3 шага мигрировать все данные из Метрики.

Data-driven без чепухи: спецпроект для практиков

Коллеги из E-Promo объясняют, как data-driven подход помогает проектировать сильные маркетинговые стратегии:

• Откуда брать ценные для бизнеса данные;
• Как их корректно агрегировать и анализировать;
• Как устроено data-driven продвижение на примерах свежих кейсов;
• И каких результатов можно достичь, интегрировав ИИ-сервисы в работу маркетологов.

2021 — год умного маркетинга, заряженного технологиями и большими данными, не отставайте →

Реклама

Инструмент для настоящих независимых аналитиков. Проект OpenSource активно развивается, позволяет выстроить полный сбор данных о действиях посетителей на своих мощностях с возможностью модификации кода и тюнингом под ключ не только выборок из хранилища, но и самого сбора данных.

Платная и прекрасная система веб-аналитики. Отличается детальной проработкой инструментов анализа поведения индивидуального пользователя, продвинутый и прозрачный кросс-девайс метчинг. Настоящий must have для мультиплатформенного ecommerce с задачей визуализации Customer Journey Map.

Демодоступ по запросу. Стартовый тарифный план для — 299 $ в месяц.

Возможности Яндекс.Метрики, о которых вы, скорее всего, не знаете

Казалось бы, Яндекс.Метрику все знают, но я часто встречаю пользователей, которые не подозревают о недавно появившихся бесплатных возможностях. Многие из них не имеют аналогов. Ниже мой топ-5 очень крутых возможностей Яндекс.Метрики, о которых ещё не все знают.

Аналитика Контента в Яндекс.Метрике

Если вы пишите большие (более 1500 тысяч знаков) тексты у себя на сайте, этот инструмент поможет понять, насколько они интересны посетителям, какая часть аудитории дочитывает их до конца, переходит ли на другие текстовые материалы. Все эти параметры можно учитывать при настройке ретаргетинга в Директе!

Загрузка офлайн-конверсий

Уже многие компании ведут CRM, где фиксируют все заказы, в том числе совершённые через офлайновые каналы продаж. Но мало кто загружает список офлайн-клиентов в Метрику, чтобы сопоставить с трафиком сайта и учесть эти конверсии как часть омниканальной воронки. Это помогает расширить сегменты для look-alike таргетинга и возврата покупателей для повторных продаж!

Загрузка расходов из Google Ads

Яндекс.Метрика имеет встроенный коннектор, который позволяет автоматически выгружать расходы из рекламного кабинета Google и сопоставлять с трафиком и конверсией. Сегодня анализ рекламных настроек без учёта действий пользователя на посадочной странице — это большое упущение для маркетолога.

Загрузка расходов по другим рекламным каналам

Современный сайт рекламируется не только через контекстную рекламу — площадок великое множество, особняком стоят те самые «ссылки в описании» у видеоблогеров, а также платные посты в социальных сетях знаменитостей и инфлюенсеров. Все эти расходы можно внести в Excel-таблицу на месяц вперёд и загрузить в Метрику, после чего можно будет в реальном времени увидеть ROI по любому рекламному каналу или блогеру.

Клики по контактным данным

Эта цель появилась недавно и она прекрасно работает для определения горячей аудитории. При нажатии на email, номер телефона на сайте, при переходе в мессенджеры компании — все эти события можно отлавливать и учитывать в настройке рекламы и оценке эффективности продвижения сайта. Самое приятное в этом инструменте — не требуется участие разработчика и манипуляции с JavaScript.

Подробнее об этих возможностях можно прочитать в Блоге Метрики.

как Яндекс применил тяжёлые нейросети для поиска по смыслу / Блог компании Яндекс / Хабр

Привет, Хабр. Меня зовут Саша Готманов, я руковожу группой нейросетевых технологий в поиске Яндекса. На YaC 2020 мы впервые рассказали о внедрении трансформера — новой нейросетевой архитектуры для ранжирования веб-страниц. Это наиболее значимое событие в нашем поиске за последние 10 лет.

Сегодня я расскажу читателям Хабра, в чём заключается иллюзия «поиска по смыслу», какой путь прошли алгоритмы и нейросети в ранжировании и какие основные сложности стоят перед теми, кто хочет применить для этой задачи трансформеры и даже заставить их работать в рантайме.

Задача поиска

Чтобы хорошо ранжировать результаты поиска, надо научиться оценивать семантическую (то есть смысловую) связь между запросом пользователя и документом (веб-страницей) из интернета. Иначе говоря, нужно построить алгоритм, который сможет предсказать, содержит ли данный документ ответ на запрос пользователя, есть ли в нём релевантная запросу информация.

С точки зрения пользователя это совершенно естественная задача. Смысл запроса ему очевиден; дальше достаточно лишь прочитать документ, понять его и либо найти в нём нужное содержание (тогда документ релевантен), либо нет (не релевантен).

Алгоритм, в отличие от человека, оперирует словами из запроса и текста документа чисто математически, как строчками из символов. Например, алгоритмически легко посчитать число совпадающих слов в запросе и документе или длину самой длинной подстроки из запроса, которая присутствует и в документе. Можно также воспользоваться накопленной историей поиска и достать из заранее подготовленной таблицы сведения о том, что запрос уже задавался в поиск много раз, а документ получил по нему много кликов (или наоборот, получил их очень мало, или вообще ещё ни разу не был показан). Каждый такой расчёт приносит полезную информацию о наличии семантической связи, но сам по себе не опирается на какое-либо смысловое понимание текста. Например, если документ отвечает на запрос, то правдоподобно, что у запроса и документа должны быть общие слова и подстроки. Алгоритм может использовать этот статистический факт, чтобы лучше оценить вероятность смысловой связи, а на основе большого числа таких расчётов уже можно построить достаточно хорошую модель. При её использовании на практике у человека будет возникать ощущение, что алгоритм «понимает» смысл текста.

По такому принципу и работал поиск Яндекса до 2016 года. За годы разработки для повышения качества было придумано множество остроумных эвристических алгоритмов. Одних только способов посчитать общие слова запроса и документа было предложено и внедрено несколько десятков. Вот так, к примеру, выглядит один из сравнительно простых:

Здесь каждому «хиту» t (то есть вхождению слова из запроса в документ, от англ. hit, попадание) присваивается вес с учётом частотности слова в корпусе (IDF, Inverse Document Frequency) и расстояний до ближайших вхождений других слов запроса в документ слева и справа по тексту (LeftDist и RightDist). Затем полученные значения суммируются по всем найденным хитам. Каждая такая эвристика при внедрении позволяла получить небольшой, но статистически значимый прирост качества модели, то есть чуть лучше приблизить ту самую смысловую связь. Суммарный эффект от простых факторов постепенно накапливался, и внедрения за длительный период (полгода-год) уже заметно влияли на ранжирование.

Немного другой, но тоже хорошо работающий способ принести качество с помощью простого алгоритма — придумать, какие еще тексты можно использовать в качестве «запроса» и «документа» для уже существующих эвристик. Слова запроса можно расширить близкими им по смыслу (синонимичными) словами или фразами. Либо вместо исходного запроса пользователя взять другой, который сформулирован иначе, но выражает схожую информационную потребность. Например, для запроса [отдых на северном ледовитом океане] похожими могут быть:

[можно ли купаться в баренцевом море летом]
[путешествие по северному ледовитому океану]
[города и поселки на побережье северного ледовитого океана]

(Это реальные примеры расширений запроса, взятые из поиска Яндекса.)

Как найти похожие слова и запросы — тема отдельного рассказа. Для этого в нашем поиске тоже есть разные алгоритмы, а решению задачи очень помогают логи запросов, которые нам задают пользователи. Сейчас важно отметить, что если похожий запрос найден, то его можно использовать во всех эвристических расчётах сразу; достаточно взять уже готовый алгоритм и заменить в нём один текст запроса на другой. Таким методом можно получить сразу много полезной информации для ранжирования. Что может быть чуть менее очевидно — аналогично запросу можно «расширять» и документ, собирая для него «альтернативные» тексты, которые в Яндексе называют словом стримы (от англ. stream). Например, стрим для документа может состоять из всех текстов входящих ссылок или из всех текстов запросов в поиск, по которым пользователи часто выбирают этот документ на выдаче. Точно так же стрим можно использовать в любом готовом эвристическом алгоритме, заменив на него исходный текст документа.

Говоря более современным языком, расширения и стримы — это примеры дополнительных контентных признаков, которые поиск Яндекса умеет ассоциировать с запросом и документом. Они ничем не отличаются от обычных числовых или категориальных признаков, кроме того, что их содержимое — это неструктурированный текст. Интересно, что эвристики, для которых эти признаки изначально разрабатывались, уже утратили большую часть своей актуальности и полезности, но сами расширения и стримы продолжают приносить пользу, только теперь уже в качестве входов новых нейронных сетей.

В результате многих лет работы над качеством поиска у нас накопились тысячи самых разных факторов. При решении задачи ранжирования все они подаются на вход одной итоговой модели. Для её обучения мы используем нашу открытую реализацию алгоритма GBDT (Gradient Boosting Decision Trees) — CatBoost.

Нейросети в ранжировании

Современные поисковые системы развиваются и улучшают своё качество за счёт всё более точных приближений семантической связи запроса и документа, так что иллюзия понимания становится полнее, охватывает новые классы запросов и пользовательских задач. Основным инструментом для этого в последние годы стали нейронные сети всё более возрастающей сложности. Впрочем, начало (как нам теперь кажется) было довольно простым.

Первые нейронные сети в поиске обладали простой feed-forward-архитектурой. На вход сети подаётся исходный текст в виде «мешка слов» (bag of words). Каждое слово превращается в вектор, вектора затем суммируются в один, который и используется как представление всего текста. Взаимный порядок слов при этом теряется или учитывается лишь частично с помощью специальных технических трюков. Кроме того, размер «словаря» у такой сети ограничен; неизвестное слово в лучшем случае удаётся разбить на частотные сочетания букв (например, на триграммы) в надежде сохранить хотя бы часть его смысла. Вектор мешка слов затем пропускается через несколько плотных слоёв нейронов, на выходе которых образуется семантический вектор (иначе эмбеддинг, от англ. embedding, вложение; имеется в виду, что исходный объект-текст вкладывается в n-мерное пространство семантических векторов).

Замечательная особенность такого вектора в том, что он позволяет приближать сложные «смысловые» свойства текста с помощью сравнительно простых математических операций. Например, чтобы оценить смысловую связь запроса и документа, можно каждый из них сначала превратить в отдельный вектор-эмбеддинг, а затем вектора скалярно перемножить друг на друга (или посчитать косинусное расстояние).

В этом свойстве семантических векторов нет ничего удивительного, ведь нейронная сеть обучается решать именно такую задачу, то есть приближать смысловую связь между запросом и документом на миллиардах обучающих примеров. В качестве таргета (то есть целевого, истинного значения релевантности) при этом используются предпочтения наших пользователей, которые можно определить по логам поиска. Точнее, можно предположить, что определённый шаблон поведения пользователя хорошо коррелирует с наличием (или, что не менее важно, с отсутствием) смысловой связи между запросом и показанным по нему документом, и собрать на его основе вариант таргета для обучения. Задача сложнее, чем может показаться на первый взгляд, и допускает различные решения. Если в качестве положительного примера обычно подходит документ с «кликом» по запросу, то найти хороший отрицательный пример гораздо труднее. Например, оказывается, что почти бесполезно брать в качестве отрицательных документы, для которых был показ, но не было «клика» по запросу. Здесь снова открывается простор для эвристических алгоритмов, а их правильное использование позволяет на порядок улучшить качество получающейся нейронной сети в задаче ранжирования. Алгоритм, который лучше всего показал себя на практике, называется в Яндексе «алгоритмом переформулировок» и существенно опирается на то, что пользователям свойственно при решении поисковой задачи задавать несколько запросов подряд, постепенно уточняя формулировку, то есть «переформулировать» исходный запрос до тех пор, пока не будет найден нужный документ.

Пример архитектуры сети в подходе с семантическими эмбеддингами. Более подробное описание этого подхода — тут.

Важное ограничивающее свойство такой сети: весь входной текст с самого начала представляется одним вектором ограниченного размера, который должен полностью описывать его «смысл». Однако реальный текст (в основном это касается документа) обладает сложной структурой — его размер может сильно меняться, а смысловое содержание может быть очень разнородным; каждое слово и предложение обладают своим особым контекстом и добавляют свою часть содержания, при этом разные части текста документа могут быть в разной степени связаны с запросом пользователя. Поэтому простая нейронная сеть может дать лишь очень грубое приближение реальной семантики, которое в основном работает для коротких текстов.

Тем не менее, использование плотных feed-forward-сетей в своё время позволило существенно улучшить качество поиска Яндекса, что легло в основу двух крупных релизов: «Палех» и «Королёв». В значительной степени этого удалось добиться за счёт длительных экспериментов с обучающими выборками и подбором правильных контентных признаков на входе моделей. То есть ключевыми вопросами для нас были: «На какой (кликовый) таргет учить?» и «Какие данные и в каком виде подавать на вход?»

Интересно, что хотя нейронная сеть обучается предсказывать связь между запросом и документом, её затем можно легко адаптировать и для решения других смысловых задач. Например, уже готовую сеть можно на сравнительно небольшом числе примеров дообучить для различных вариантов запросной или документной классификации, таких как выделение потока порнозапросов, товарных и коммерческих, навигационных (то есть требующих конкретного сайта в ответе) и так далее. Что ещё более важно для ранжирования, такую же сеть можно дообучить на экспертных оценках. Экспертные оценки в ранжировании — это прямые оценки смысловой связи запроса и документа, которые ставятся людьми на основе понимания текста. В сложных случаях правильная оценка требует специальных знаний в узкой области, например в медицине, юриспруденции, программировании, строительстве. Это самый качественный и самый дорогой из доступных нам таргетов, поэтому важно уметь его выучивать максимально эффективно.

Нейронная сеть, сначала обученная на миллиардах «переформулировок», а затем дообученная на сильно меньшем количестве экспертных оценок, заметно улучшает качество ранжирования. Это характерный пример применения подхода transfer learning: модель сначала обучается решать более простую или более общую задачу на большой выборке (этот этап также называют предварительным обучением или предобучением, англ. pre-tain), а затем быстро адаптируется под конкретную задачу уже на сильно меньшем числе примеров (этот этап называют дообучением или настройкой, англ. fine-tune). В случае простых feed-forward-сетей transfer learning уже приносит пользу, но наибольшего эффекта этот метод достигает с появлением архитектур следующего поколения.

Нейросети-трансформеры

Долгое время самой активно развивающейся областью применения для сложных алгоритмов анализа текста была задача машинного перевода. Результат работы переводчика — это полностью сгенерированный текст, и даже небольшие смысловые ошибки сразу заметны пользователю. Поэтому для решения задач перевода всегда использовались самые сложные модели, которые могли учесть порядок слов в тексте и их взаимное влияние друг на друга. Сначала это были рекуррентные нейронные сети (Recurrent Neural Networks, RNN), а затем трансформеры. Далее речь пойдёт только о трансформерах, которые по сути являются более технологически совершенным развитием идеи рекуррентных сетей.

В сетях с архитектурой трансформеров каждый элемент текста обрабатывается по отдельности и представляется отдельным вектором, сохраняя при этом своё положение. Элементом может быть отдельное слово, знак пунктуации или частотная последовательность символов, например BPE-токен. Сеть также включает механизм «внимания» (англ. attention), который позволяет ей при вычислениях «концентрироваться» на разных фрагментах входного текста.

Применительно к задаче ранжирования, по запросу [купить кофеварку] такая нейронная сеть может выделить часть документа (e.g. страницы интернет-магазина), в которой речь идёт именно о нужном пользователю товаре. Остальные части тоже могут быть учтены, но их влияние на результат будет меньше. Трансформеры могут хорошо выучивать сложные зависимости между словами и активно используются для генерации естественных текстов в таких задачах, как перевод и ответы на вопросы (англ. question answering). Поэтому в Яндексе они применяются уже достаточно давно. В первую очередь, конечно, в Яндекс.Переводчике.

В ранжировании трансформеры позволяют добиться нового уровня качества при моделировании семантической связи запроса и документа, а также дают возможность извлекать полезную для поиска информацию из более длинных текстов. Но одних только ванильных трансформеров для этой задачи мало.

Transformers + transfer learning

Глубокие нейронные сети достаточно требовательны к объёму примеров для обучения. Если данных мало, то никакого выигрыша от применения тяжёлой архитектуры не получится. При этом практических задач всегда много, и они несколько отличаются друг от друга. Собрать миллиарды примеров для каждый задачи просто невозможно: не хватит ни времени, ни бюджета. На помощь снова приходит подход transfer learning. Как мы уже разобрались на примере feed-forward-сетей, суть в том, чтобы переиспользовать информацию, накопленную в рамках одной задачи, для других задач. В Яндексе этот подход применяется повсеместно, особенно он хорош в компьютерном зрении, где обученная на поиске изображений базовая модель легко дообучается почти на любые задачи. В трансформерах transfer learning тоже ожидаемо заработал.

В 2018-м команда OpenAI показала, что если обучить трансформер на сыром корпусе текстов большого размера в режиме языковой модели, а затем дообучать модель на малых данных для конкретных задач, то результат оказывается существенно лучше, чем раньше. Так родился проект GPT (Generative Pre-trained Transformer). Похожая идея чуть позже легла в основу проекта BERT (Bidirectional Encoder Representations from Transformers) от Google.

Такой же метод мы решили применить и в качестве поиска Яндекса. Но для этого нам потребовалось преодолеть несколько технологических трудностей.

Трансформеры в поиске Яндекса

Проект BERT замечателен тем, что каждый может взять в открытом доступе уже готовую предобученную модель и применить её к своей задаче. Во многих случаях это даёт отличный результат. Но, к сожалению, поиск Яндекса — не такой случай. Простое дообучение готовой модели приносит лишь небольшое улучшение качества, совершенно непропорциональное затратам ресурсов, которые необходимы для применения такой модели в рантайме. Чтобы раскрыть реальные возможности трансформера для поиска, нужно было обучать свою модель с нуля.

Для иллюстрации приведу несколько результатов из наших экспериментов. Давайте возьмём открытую модель BERT-Base Multilingual и обучим на наши экспертные оценки. Можно измерить полезность такого трансформера как дополнительного фактора в задаче ранжирования; получим статистически значимое уменьшение ошибки предсказания релевантности на 3-4%. Это хороший фактор для ранжирования, который мы бы немедленно внедрили, если бы он не требовал применения 12-слойного трансформера в рантайме. Теперь возьмём вариант модели BERT-Base, который мы обучили с нуля, и получим уменьшение ошибки предсказания почти на 10%, то есть более чем двукратный рост качества по сравнению с ванильной версией, и это далеко не предел. Это не значит, что модель Multilingual от Google — низкого качества. С помощью открытых моделей BERT уже было получено много интересных результатов в разных задачах NLP (Natural Language Processing, то есть в задачах обработки текстов на естественном языке). Но это значит, что она плохо подходит для ранжирования веб-страниц на русском языке.

Первая трудность, которая возникает на пути к обучению своего трансформера, — это вычислительная сложность задачи. Новые модели хорошо масштабируются по качеству, но при этом в миллионы раз сложнее, чем те, которые применялись в поиске Яндекса раньше. Если раньше нейронную сеть удавалось обучить за один час, то трансформер на таком же графическом ускорителе Tesla v100 будет учиться 10 лет. То есть без одновременного использования хотя бы 100 ускорителей (с возможностью быстрой передачи данных между ними) задача не решается в принципе. Необходим запуск специализированного вычислительного кластера и распределённое обучение на нём.

Нам потребовалось немного времени, пара сотен GPU-карт, место в одном из дата-центров Яндекса и классные инженеры. К счастью, всё это у нас было. Мы собрали несколько версий кластера и успешно запустили на нём обучение. Теперь модель одновременно обучается примерно на 100 ускорителях, которые физически расположены в разных серверах и общаются друг с другом через сеть. И даже с такими ресурсами на обучение уходит около месяца.

Несколько слов про само обучение. Нам важно, чтобы получившаяся модель решала с оптимальным качеством именно задачу ранжирования. Для этого мы разработали свой стек обучения. Как и BERT, модель сначала учится свойствам языка, решая задачу MLM (Masked Language Model), но делает это сразу на текстах, характерных для задачи ранжирования. Уже на этом этапе вход модели состоит из запроса и документа, и мы с самого начала обучаем модель предсказывать ещё и вероятность клика на документ по запросу. Удивительно, но тот же самый таргет «переформулировок», который был разработан ещё для feed-forward-сетей, отлично показывает себя и здесь. Обучение на клик существенно увеличивает качество при последующем решении семантических задач ранжирования.

В дообучении мы используем не одну задачу, а последовательность задач возрастающей сложности. Сначала модель учится на более простых и дешёвых толокерских оценках релевантности, которыми мы располагаем в большом количестве. Затем на более сложных и дорогих оценках асессоров. И наконец, обучается на итоговую метрику, которая объединяет в себе сразу несколько аспектов и по которой мы оцениваем качество ранжирования. Такой метод последовательного дообучения позволяет добиться наилучшего результата. По сути весь процесс обучения выстраивается от больших выборок к малым и от простых задач к более сложным и «семантическим».

На вход модели мы подаём всё те же контентные признаки, о которых шла речь в самом начале. Здесь есть текст запроса, его расширения и фрагменты содержимого документа. Документ целиком всё ещё слишком большой, чтобы модель могла справиться с ним полностью сама, без предварительной обработки. Стримы тоже содержат полезную информацию, но с ними нам ещё надо поработать, чтобы понять, как её эффективно донести до поиска. Сложнее всего оказалось выделить хорошие фрагменты текста документа. Это вполне ожидаемо: чтобы выделить наиболее важную часть веб-страницы, уже нужно многое понимать про её смысловое содержание. Сейчас нам на помощь опять приходят простые эвристики и алгоритмы автоматической сегментации, то есть разметки страницы на структурные зоны (основное содержание, заголовки и так далее). Стоимость ошибки достаточно велика, иногда для правильного решения задачи необходимо, чтобы модель «увидела» одно конкретное предложение в длинном тексте статьи, и здесь ещё остается потенциал для улучшений.

Итак, мы научились обучать модели в офлайне, но вот работать им уже нужно в онлайне, то есть в реальном времени в ответ на тысячи пользовательских запросов в секунду. Тут заключается вторая принципиальная трудность. Применение трансформера — это тяжелая для рантайма задача; модели такой сложности можно применять только на GPU-картах, иначе время их работы окажется чрезмерным и легко может превысить время работы всего поиска. Потребовалось разработать с нуля и развернуть несколько сервисов для быстрого применения («инференса», англ. inference) трансформеров на GPU. Это новый тип инфраструктуры, который до этого не использовался в поиске.

Непосредственно для применения мы доработали внутреннюю библиотеку для инференса трансформеров, которая разработана нашими коллегами из Яндекс.Переводчика и, по нашим замерам, как минимум не уступает другим доступным аналогам. Ну и конечно, всё считается в FP16 (16-битное представление чисел с плавающей точкой).

Однако, даже с учетом использования GPU и оптимизированного кода для инференса, модель с максимальным уровнем качества слишком большая для внедрения в рантайм поиска. Для решения этой проблемы есть классический приём — knowledge distillation (или dark knowledge). В Яндексе мы используем менее пафосный термин «пародирование». Это обучение более простой модели, которая «пародирует» поведение более сложной, обучаясь на её предсказания в офлайне.

В результате пародирования сложность модели удаётся уменьшить в разы, а потери качества остаются в пределах ~10%.

Это не единственный способ оптимизации. Мы также научились делать многозадачные модели, когда одна модель «подражает» сразу нескольким сложным моделям, обученным на разные задачи. При этом суммарная полезность модели для ранжирования существенно возрастает, а её сложность почти не увеличивается.

Если же хочется добиться максимального качества, то возможностей одной дистилляции недостаточно. Приходится поделить модель на несколько частей, каждая из которых применяется независимо. Часть модели применяется только к запросу; часть — только к документу; а то, что получилось, затем обрабатывается финальной связывающей моделью. Такой метод построения «раздельной» или split-модели распределяет вычислительную нагрузку между разными компонентами системы, что позволяет сделать модель более сложной, увеличить размер её входа и заметно повысить качество.

Внедрение split-модели опять приводит нас к новым и интересным инженерным задачам, но рассказать обо всём в одном посте, увы, невозможно. Хотя архитектура нейросетей-трансформеров известна уже достаточно давно, а их использование для задач NLP приобрело огромную популярность после появления BERT в 2018 году, внедрение трансформера в современную поисковую систему невозможно без инженерной изобретательности и большого числа оригинальных технологических улучшений в обучении и рантайме. Поэтому мы назвали нашу технологию YATI — Yet Another Transformer (with Improvements), что, как нам кажется, хорошо отражает её суть. Это действительно «ещё один трансформер», архитектурно похожий на другие модели (а их в последние годы появилось великое множество), но уникальный тем, что благодаря совокупности улучшений он способен работать и приносить пользу в поиске — самом сложном сервисе Яндекса.

Итоги

Что в итоге? У нас появилась своя инфраструктура обучения и дистилляции тяжёлых моделей, адаптированная под наш стек задач ранжирования. С её помощью мы сначала обучили большие модели-трансформеры высокого качества, а затем дистиллировали их в многозадачную split-модель, которая внедрена в рантайм на GPU в виде нескольких частей, независимо применяемых к запросу и документу.

Это внедрение принесло нам рекордные улучшения в ранжировании за последние 10 лет (со времён внедрения Матрикснета). Просто для сравнения: Палех и Королёв вместе повлияли на поиск меньше, чем новая модель на трансформерах. Более того, в поиске рассчитываются тысячи факторов, но если выключить их все и оставить только новую модель, то качество ранжирования по основной офлайн-метрике упадёт лишь на 4-5%!

В таблице ниже сравнивается качество нескольких нейросетевых алгоритмов в задаче ранжирования. “% NDCG” — это нормированное значение обычной метрики качества DCG по отношению к идеальному ранжированию на нашем датасете. 100% означает, что модель располагает документы в порядке убывания их истинных офлайн-оценок. Худший результат ожидаемо даёт подход предыдущего поколения, то есть просто обучение feed-forward-сети на кликовый таргет. Дообучение готовых моделей BERT существенно проигрывает по качеству специализированной версии, которая показывает рекордный результат в 95,4% — сравнимо с качеством дистилляции YATI в feed-forward-сеть. Все модели, кроме первой, дообучались на одном и том же множестве экспертных оценок.

Приводимые числа показывают: несмотря на универсальность нейросетей последнего поколения, их адаптация к конкретным задачам на практике даёт существенный прирост эффективности. Это особенно важно для промышленных применений под высокой нагрузкой. Тем не менее очевидная ценность универсальных моделей в том, что они позволяют добиться достаточно хороших результатов на широком круге NLP-задач при минимальном вложении времени и ресурсов.

В начале поста я рассказал про ощущение поиска по смыслу. Применение тяжёлых (как мы сейчас о них думаем) нейросетевых моделей, которые точнее приближают структуру естественного языка и лучше учитывают семантические связи между словами в тексте, поможет нашим пользователям встречаться с этим эффектом ещё чаще, чем раньше. И может быть, однажды нам уже будет непросто отличить иллюзию от реальности. Но до этого, я уверен, в качестве поиска ещё предстоит сделать много нового и интересного.

Спасибо за внимание.

Изменение поисковой системы по умолчанию

Microsoft Edge

Использование Bing в качестве поисковой системы по умолчанию обеспечивает расширенные возможности поиска в новом браузере Microsoft Edge , в том числе прямые ссылки на приложения Windows 10, рекомендуемые предложения от организации, если выполнен вход с помощью рабочей или учебной учетной записи и мгновенные ответы на вопросы о Windows 10. Тем не менее, вы можете изменить поисковую систему по умолчанию в Microsoft Edge на любой веб-сайт, использующий технологию OpenSearch.

1. Выполните поиск в адресной строке Microsoft Edge, используя поисковую систему, которую вы хотите назначить по умолчанию.

2. Выберите Параметры и прочее  > Параметры . 

3. Выберите Конфиденциальность и службы.

4. Прокрутите страницу вниз до раздела Службыи выберите Адресная строка.

5. Выберите предпочтительную поисковую системув меню Поисковая система, используемая в адресной строке.

Чтобы добавить другую поисковую систему, выполните поиск в адресной строке, используя эту поисковую систему (или веб-сайт, на котором поддерживается поиск, например вики-сайт). Перейдите в раздел Параметры и прочее  > Параметры  > Конфиденциальность и службы > Адресная строка. Система или веб-сайт, которые использовались для поиска, теперь будет выводиться в списке доступных для выбора вариантов. 

Примечание. Этот раздел посвящен новому браузеру Microsoft Edge . Получить справку по устаревшей версии Microsoft Edge.

Google Chrome

1. Откройте Google Chrome и выберите три вертикальные точки рядом с аватаром, а затем выберите Настройки.

2. Прокрутите список вниз до раздела Поисковая система и выберите другой параметр в раскрывающемся списке Поисковая система, используемая в адресной строке.

3. Чтобы добавить, изменить или удалить другие поисковые системы из списка, выберите стрелку Управление поисковыми системами под списком поисковых систем по умолчанию.

   • Чтобы добавить новую поисковую систему, нажмите кнопку Добавить и заполните поля Поисковая система, Ключевое слово и URL с параметром %s вместо запроса.

   • Чтобы добавить поисковую систему в список по умолчанию, в разделе Другие поисковые системы выберите три точки рядом с добавляемой системой, а затем нажмите Использовать по умолчанию.

   • Чтобы изменить или удалить поисковую систему, выберите три точки рядом с системой, которую нужно изменить или удалить, а затем выберите Изменить или Удалить из списка. Примечание. Невозможно удалить Google (по умолчанию) из списка.

Firefox

1. Откройте Firefox и выберите три вертикальные линии рядом с аватаром, а затем выберите Настройки.

2. Выберите Поиск , а затем в раскрывающемся списке Поисковая система по умолчанию выберите другой параметр.

3. Чтобы добавить новую поисковую систему, выберите Найти другие поисковые системы в нижней части страницы «Поиск». Выполните поиск поисковой системы или найдите ее в списке, а затем выберите Добавить в Firefox.

4. Чтобы удалить поисковую систему, выберите нужную систему в списке Поиск одним щелчком и нажмите кнопку Удалить.

Safari

1. Откройте Safari, а затем перейдите в меню Safari > Настройки.

2. Когда откроется окно Настройки, выберите раскрывающееся меню рядом с пунктом Поисковая система по умолчанию и выберите систему, которую хотите использовать по умолчанию.

Интернет-фильтр Яндекс.DNS – Keenetic

Бесплатный сервис контентной фильтрации Яндекс.DNS ограничивает доступ к вредоносным сайтам, а также ресурсам, нежелательным для просмотра детьми. Этот сервис удобно интегрирован в интернет-центры Keenetic, позволяя владельцу защищать либо сразу все домашние устройства, либо выбирать фильтрацию для них по отдельности через простые для понимания готовые профили.

Работа службы Яндекс.DNS в интернет-центрах Keenetic реализована в виде отдельного компонента системы. Пользователь может добавлять или исключать этот интернет-фильтр из системы, а также включать или полностью выключать, не затрагивая параметров основного подключения к Интернету: Яндекс.DNS будет работать за любыми NAT’ами и при сколь угодно часто меняющемся динамическом адресе.

В Яндекс.DNS предусмотрено 4 режима (профиля), которые определяют доступ к той или иной категории сайтов:

• «Без фильтрации» — используются DNS провайдера или заданные вручную.
• «Базовый Интернет» — не предусмотрена какая-либо фильтрация трафика, но в качестве DNS-сервера вы будете использовать быстрый и надежный сервер DNS от Яндекса.
• «Безопасный» — защищает от вредоносных и мошеннических сайтов, блокирует ресурсы, содержащие вирусы и фишинг.
• «Семейный» — закрывает доступ и к опасным сайтам, и к ресурсам для взрослых (например, порнографического содержания).

Подробнее о работе сервиса Яндекс.DNS и категориях фильтрации вы можете узнать на сайте dns.yandex.ru или в поддержке Яндекса.

NOTE: Важно! Одновременная работа сервисов контентной фильтрации Яндекс.DNS, SkyDNS и AdGuadrd DNS невозможна. Может использоваться только один из сервисов.

Перед настройкой интернет-фильтра зарегистрируйте ваши устройства по инструкции «Регистрация устройств в домашней сети».

Теперь на странице «Интернет-фильтр» в поле «Фильтр» выберите «Яндекс.DNS».

Появится раздел «Применение профилей фильтрации к устройствам». Настройка в этом разделе сводится к назначению описанных выше профилей фильтрации для постоянных устройств домашней сети (зарегистрированных на интернет-центре) и для периодически появляющихся (гостевая сеть и незарегистрированные устройства).

Например, присвоим двум зарегистрированным устройствам профиль фильтрации «Семейный», а для всех остальных устройств назначим профиль «Безопасный».

В поле «Профиль по умолчанию» можно указать профиль, который будет применяться ко всем незарегистрированным устройствам, в том числе устройствам подключенным к гостевой сети.

С зарегистрированного устройства через веб-браузер попробуем зайти на ресурс, который заведомо может содержать запрещенный контент:

Доступ к данному ресурсу будет заблокирован с выводом соответствующего сообщения.

TIP: Примечание: На данный момент не реализована поддержка работы интернет-фильтров с протоколом IPv6. При установленном компоненте «Протокол IPv6» индивидуальные профили интернет-фильтров не работают. Если у вас по какой-то причине не работает фильтрация сайтов после включения интернет-фильтра, проверьте не установлен ли в операционной системе интернет-центра компонент «Протокол IPv6». Если вы не используете IPv6-подключение, удалите указанный компонент для корректной работы интернет-фильтра. В дальнейшем работа интернет-фильтров с протоколом IPv6 будет усовершенствована.

 

Яндекс сейчас не работает?

Проверка статуса сервера Яндекс.ком

Яндекс Название сайта:

www.yandex.com URL проверено:

Время отклика:

Последняя остановка:

Проверка Яндекс

Подождите, пока мы проверим сервер …

Требуется JavaScript. Пожалуйста, включите поддержку джаваскрипта в вашем браузере.

История статуса сайта Яндекса

На графике выше отображается активность сервиса Яндекс.com за последние 10 автоматических проверок. Синяя полоса отображает время отклика, чем меньше, тем лучше. Если полоса не отображается в течение определенного времени, это означает, что служба не работает, а сайт отключен.

История статуса обслуживания

Дата	Время	Время пинга		Дата	Время	Время пинга
14.Август 2021 г.	16:28	299,69 мс.		14. августа 2021	19:19	104,58 мс.
15. августа 2021	04:35	318,85 мс.		15. авг.2021	08:11	333,21 мс.
15. августа 2021	10:48	297,36 мс.		15. августа 2021	14:31	319,63 мс.
15.Август 2021 г.	17:54	321,64 мс.		15. авг.2021	20:03	320,01 мс.
16. авг.2021	00:35	297,03 мс.		16. авг.2021	08:54	297,1 мс.

* Время отображается по тихоокеанскому времени (UTC / GMT 0) | Текущее время на сервере 17:26

Мы попытались проверить связь с сайтом Яндекса с помощью нашего сервера, и сайт вернул указанные выше результаты.Если у нас тоже не работает yandex.com, вам ничего не остается, кроме как ждать. Вероятно, сервер перегружен, не работает или недоступен из-за проблемы с сетью, сбоя или обслуживания веб-сайта …

Нет доступа к Яндексу — Инструкции по устранению неполадок

Если сайт работает, но вы не можете получить доступ к странице, попробуйте одно из следующих решений:

Проблемы, связанные с браузером

Принудительно выполнить полное обновление сайта. Этого можно добиться, одновременно нажав клавиши CTRL + F5 в вашем любимом браузере (Firefox, Chrome, Explorer и т. Д.).)

Очистите временный кеш и удалите файлы cookie в своем браузере, чтобы убедиться, что у вас установлена ​​самая последняя версия веб-страницы. Для получения инструкций выберите свой браузер:

Устранение проблем с DNS

Система доменных имен (DNS) позволяет идентифицировать IP-адрес сайта (192.168.x.x) с помощью слов (* .com) для более легкого запоминания, как телефонная книга для веб-сайтов. Эта услуга обычно предоставляется вашим интернет-провайдером.

Очистите локальный кеш DNS, чтобы убедиться, что вы выбрали самый последний кеш, который есть у вашего интернет-провайдера.Для Windows — (Пуск> Командная строка> введите «ipconfig / flushdns» и нажмите Enter). Для получения подробной информации выберите свою операционную систему:

Если вы можете получить доступ к веб-сайту в офисе или из сети 3G, но он не работает на вашем компьютере, рекомендуется использовать альтернативную службу DNS, отличную от ваших интернет-провайдеров. OpenDNS или Google Public DNS — отличные и бесплатные общедоступные службы DNS.

Посетите нашу страницу справки для получения пошаговых инструкций по , как изменить DNS .

Оставьте комментарий, используя свой Facebook ID.

Яндекс.com сейчас недоступен? Оставьте свои комментарии о статусе сервиса Яндекс.ком или сообщите о проблеме ниже, чтобы другие знали, что не только они имеют проблемы. Обратите внимание, что информация о вашей стране, поставщике услуг и браузере будет отображаться рядом с вашим комментарием, чтобы лучше проанализировать возможное отключение.

✔Спасибо! Не забудьте добавить эту страницу в закладки, чтобы вернуться к ней позже.

Яндекс.ру стал лучшим сайтом в США

Мелисса Макдональд 28 января 2015 г., 10:00 GMT-0400

Что ж, это интересно — Яндекс получает в США почти столько же трафика, сколько Buzzfeed? Средний американец знает о Buzzfeed, Home Depot и Vimeo; их сайты набирают в США примерно такой же трафик, как Yandex.ru, чего большинство американцев не заметят.

Согласно последним результатам SimilarWeb, два крупных российских веб-сайта — Яндекс и ВКонтакте — вошли в число 100 лучших веб-сайтов США за 2014 год.Вконтакте, ведущая социальная сеть России, заняла 81 место, а Яндекс.ру, ведущая поисковая система в России, — 91 место.

По сравнению с российскими рейтингами, Яндекс.ру — самый популярный веб-сайт в России: только на главной домашней странице в среднем 49 миллионов просмотров в день. Яндекс обеспечивает 62% трафика поисковых систем в России и предлагает 16 различных сервисов, таких как Яндекс.Почта, Яндекс.Маркет и Яндекс.Такси.

Вконтакте или ВК — второй по популярности сайт в России — 24.2 миллиона пользователей в день. Как уже сообщал Russian Search Marketing, пользователи ВК в среднем около 7 часов в день проводят в популярной социальной сети в чате с друзьями, обмениваются фотографиями и смотрят телепередачи и фильмы.

Так что же делают эти сайты .ru в США? Наверное, обслуживает 2,9 миллиона русских, живущих здесь. По данным Ameredia, в настоящее время в США и Канаде проживает 6 миллионов русскоязычных. Ведущие штаты с высокой численностью русского населения включают Нью-Йорк, Калифорнию, Иллинойс, Пенсильванию и Массачусетс.

Буквально на прошлой неделе на конференции в Лас-Вегасе я встретил несколько россиян, и несколько американских участников сказали, что их русские супруги, проживающие в США, используют Яндекс для всех своих поисковых запросов. При использовании их родного языка Яндекс действительно предлагает лучшие результаты поиска для россиян, так что это неудивительно. В то время как многие региональные поисковые системы Googles попали в этот список SimilarWeb, Google.ru этого не сделал, что указывает на то, что граждане России в США могут использовать Яндекс для своих поисковых запросов так же, как другие иностранцы в США могут использовать поисковую систему, ориентированную на их страну происхождения и родную. язык.

Другие предполагают, что текущие события в России и события в отношениях между США и Россией также вызвали повышенный интерес к крупным российским веб-сайтам. Рейтинг Яндекс.ру вырос на 377, а его аналог, mail.ru, поднялся на 150.

Как видно из приведенного выше списка, большая часть списка ожидалась, но многие другие зарубежные веб-сайты (в основном поисковые системы) также привлекают значительный объем трафика из США.

Об авторе

Мелисса Макдональд

Мелисса в настоящее время работает менеджером по международному маркетингу в Яндекс.Она получила степень магистра в области русских и восточноевропейских исследований и имеет профессиональный опыт работы в России и Республике Молдова.

Генератор сайтов для Яндекс.Бизнеса — Марсианские хроники, блог команды злых марсиан

Алексей Иванов

Frontend Developer at Evil Martians

Ольга Русакова

Writer at Evil Martians

Если вас интересует перевод или адаптация этого поста , пожалуйста, сначала напишите нам.

Почему технологические гиганты с признанными командами инженеров предпочитают доверить разработку своих продуктов злым марсианам? Давайте приподнимем завесу над вопросом о Яндексе, крупнейшей технологической компании в России. Мы помогли им избежать ожидания в списке ожидания инженерных ресурсов и всего за два с половиной месяца предоставили готовый к продаже механизм автоматического создания веб-сайтов для тысяч их клиентов.

Силы быстрого реагирования для гигантской корпорации

Яндекс.Business — это услуга, которая помогает рекламодателям малого и среднего бизнеса (SMB) запускать свои онлайн-кампании автоматически с простыми настройками. Его основное преимущество — простота.

Поскольку клиенты заполняют визитки Яндекса данными о своем бизнесе, Яндекс.Карты хранят адреса и часы работы, а Яндекс.Еда имеет иллюстрированное меню с ресторанами, кафе и доставками, малые и средние предприятия могут собрать веб-сайт, как пазл с Генератор сайтов.

Владельцы бизнеса устанавливают флажки рядом с разделами, которые они хотели бы добавить на свой веб-сайт, заполняют и редактируют некоторые необязательные поля, а также настраивают тему в панели администратора.Нажмите кнопку, и данные будут втянуты, чтобы сформировать веб-сайт, готовый к выпуску на рынок. Он может стимулировать множество офлайновых и чисто онлайн-предприятий — интернет-магазины, службы доставки еды, услуги SaaS — к преобразованию онлайн-представлений в конкретные действия клиентов: звонки, заказы и бронирования.

Быстрая доставка критически важна для услуг с высоким спросом. Но, как правило, технологическим гигантам с обширными портфелями приходится стоять в длинной очереди инженеров или похищать инженеров из внутренних инициатив, чтобы претворить свои планы в жизнь.

Вот почему Злые марсиане взялись за проект, чтобы сразу взяться за дело. Основная команда Яндекса занималась дизайном пользовательского интерфейса, админ-панелью и API и доверила нам создание внешнего и внутреннего интерфейса генератора сайтов для создания легких, быстрых и оптимизированных для устройств промо-лендингов на лету. Мы оценили объем работ и решили, что двух месяцев нашей команде хватит как раз для достижения максимального результата.

Админка сервиса

Ставка на стек технологий

Мы знали, что скорость и легкость будут решающими факторами для конечных пользователей.Структура сервиса должна быть минималистичной: одна страница, минимальная динамика и строгое требование быстрой загрузки. Вот почему мы решили отказаться от популярных, но более тяжелых интерфейсных фреймворков и выбрать более старую, но более быструю комбинацию Express.js и Handlebars, которая идеально подходит для простой отдельной страницы, которая может быть мгновенно загружена и идеально проиндексирована поисковыми системами.

Сгенерированные веб-сайты должны быть оптимизированы для быстрой работы в Яндекс.Поиске и Яндекс.Браузере, то есть они должны быть краткими, простыми, легкими, мгновенно загружаемыми и выделяться на фоне тяжелых и медлительных сайтов WordPress и Tilda.В Яндекс есть встроенный инструмент, похожий на Lighthouse, для измерения соответствия стандартам. Для достижения целей по производительности веб-сайты должны набирать более 80%.

И мы сделали это! В конечном итоге сгенерированный веб-сайт (за исключением изображений, которые поступают через API) доставляется за один запрос и весит всего 31 КБ до сжатия и 130 КБ после расширения. Мы даже решили проблему «негабаритности» Яндекс.Карт: интеграция добавила 3 ​​мегабайта сверху — и мы сделали так, чтобы карты загружались только тогда, когда люди переходят к карте на странице.

Некоторые примеры сгенерированных сайтов

Создание генератора

Мы начали с эстетичного макета для первых вариантов дизайна и посмотрели, как он работает в браузерах. Затем мы создали тестовую базу данных и начали проверять, как включение или отключение различных разделов влияет на внешний вид.

Мы построили внутреннюю инфраструктуру и интеграцию с API, протестировали работу сервиса с реальными данными клиентов Яндекса: адресами, фотографиями и другой информацией — и начали этап развертывания.Было критически важно правильно настроить сервис, хранящийся в контейнерах Docker, чтобы перенести его в облачные сервисы Яндекса. Инфраструктура Яндекс.Облака была требованием основной команды, так как это собственная среда Яндекса, которая обещала более простую связь между серверной частью сервиса и интерфейсом конечного пользователя.

Мы также настроили автоматическое развертывание и подготовили возможности мониторинга и масштабирования для ожидаемого роста. Кроме того, мы подготовились к будущим обновлениям и предоставили консультации внутренним бэкэнд-инженерам по наиболее эффективным настройкам облака.

---

Команда Яндекса без проблем интегрировала сервис в свою корпоративную инфраструктуру. Сегодня генератор сайтов — ключевая часть портфеля сервисов Яндекс.Бизнеса, с его помощью уже было создано несколько тысяч сайтов. Сервис процветает в условиях всплеска спроса и растущих нагрузок.

Если вы не хотите перегружать свои инженерные процессы совершенно новым «внутренним стартапом», который вы хотите быстро вывести на рынок и проверить свои теории, рассчитывайте на то, что злые марсиане спроектируют и построят решение, которое вам нужно, когда вам нужно. Это.

Учебное пособие

Добавить веб-сайт в Яндекс Вебмастер 2021

Несмотря на такую ​​мощную поисковую систему, как Google, идея создания новой поисковой системы тщетна. Однако статистика использования этих нативных поисковых систем неоспорима, что свидетельствует о популярности и разной производительности этих сервисов. В настоящее время более 200 поисковых систем в мире с различной инфраструктурой, а также такие суперспособности, как Google, предлагают свои уникальные услуги.Яндекс — самая популярная поисковая система среди россиян. Потому что ему удалось охватить 60% поисковых запросов пользователей Интернета в России. Он также известен как четвертая по популярности поисковая система в мире. В этой статье вы познакомитесь с Учебником Добавить веб-сайт в Яндекс Вебмастер . Вы можете посетить пакеты, доступные в Eldernode, если хотите приобрести услуги Buy VPS.

Как добавить веб-сайт в Яндекс Вебмастер

Яндекс — российская компания, получившая наибольшую популярность благодаря одноименной поисковой системе.Изначально движок был доступен в России только на yandex.ru. Но теперь мировую и англоязычную версии можно найти на yandex.com. В этой статье мы научим вас, как добавить сайт в веб-мастер Яндекс. Для этого просто следуйте инструкциям ниже.

Рекомендуемая статья: Учебное пособие Добавление веб-сайта в Bing Webmaster 2021

Создайте учетную запись на Яндексе

Чтобы добавить веб-сайт, вам необходимо создать учетную запись на Яндексе, прежде чем что-либо делать.На открывшейся странице необходимо ввести необходимую информацию в соответствующие поля и нажать на регистр .

Обратите внимание, что вы можете использовать секретный вопрос вместо ввода номера мобильного телефона. Это необходимо, когда вам может потребоваться восстановить вашу учетную запись.

Добавьте свой веб-сайт в Яндекс Веб-мастер

После успешного создания учетной записи на следующем шаге вы должны посетить веб-мастера.сайт яндекса.

Как видно на изображении ниже, вам нужно нажать Go .

На следующем шаге вам нужно нажать Добавить сайты .

Теперь вам нужно ввести имя нужного веб-сайта и нажать Добавить . Важно соблюдать осторожность при вводе HTTP или HTTPS.

Как подтвердить свой веб-сайт на Яндексе

После регистрации желаемого веб-сайта пора его проверить.Этот раздел содержит три поля, каждое из которых объясняется ниже.

1) HTML-файл: Используя этот раздел, вы можете загрузить HTML-файл в основной каталог вашего сайта, как показано ниже:

2) Мета-тег: Используя этот раздел, вы можете добавить HTML-тег в раздел заголовка вашего сайта.

3) Запись DNS: Наконец, вы можете использовать этот раздел для добавления записей TXT в настройки DNS.

Когда вы полностью ознакомитесь с описанием этого раздела, теперь вы можете просто скопировать текст внутри содержимого, как показано ниже. Затем вам нужно ввести его в свой плагин SEO, будь то плагины Yoast или All in One SEO .

Для этого необходимо выполнить следующие шаги:

На первом этапе скопируйте требуемый проверочный код .

Затем перейдите на панель управления веб-сайта .Если вы используете плагин Yoast SEO , вы должны нажать General .

Теперь вам нужно вставить скопированный код из вкладки Webmaster Tools в раздел Яндекс проверочный код .

Наконец, нажмите Сохранить Изменения , чтобы сохранить настройки.

Если вы используете подключаемый модуль All in One SEO , вы должны нажать Общие настройки .Затем перейдите на вкладку Webmaster Tools и выберите Yandex из изображений.

Наконец, после ввода соответствующего кода нажмите Сохранить изменения .

После того, как вы успешно выполнили вышеуказанные шаги в нужном плагине SEO, вы должны вернуться на страницу Yandex Webmaster Tools , с которой вы скопировали код. Нажмите кнопку Проверить , чтобы зарегистрировать свой сайт в Яндекс Вебмастере.

Заключение

Яндекс — российская интернет-компания, работающая в нескольких странах мира. Это крупнейшая технологическая компания в России, предлагающая своим клиентам широкий спектр продуктов и услуг. Яндекс известен прежде всего тем, что у него самая большая поисковая система в России, но она также работает во многих других областях технологий и Интернета. В этой статье мы постарались шаг за шагом научить вас, как добавить сайт в Яндекс вебмастер.

Веб-браузер Яндекс

Яндекс — крупнейшая поисковая система в России, с долей рынка в этой стране 60%. В мире он занимает пятое место. Яндекс только что анонсировал новый браузер:

Пользователи браузера Яндекса могут видеть локально релевантную информацию, такую ​​как текущий трафик или погодные условия, в режиме реального времени прямо в интерфейсе браузера. Оборудованный запатентованной технологией автоматизированного перевода с машинным обучением, браузер значительно расширяет территорию просмотра для тех, кто говорит только на одном языке.Облачная технология безопасного просмотра, разработанная компанией, вместе с защитным решением «Лаборатории Касперского» повышает безопасность браузера, предупреждая пользователей о потенциально вредоносных веб-сайтах.

В браузере Яндекс используется движок WebKit, популярный у большого числа веб-разработчиков. Пользовательский интерфейс браузера основан на открытом коде Chromium. Платформа браузера Яндекса в рамках технологического партнерства с ключевым долгосрочным партнером была расширена за счет включения технологии Opera Software Turbo, которая позволяет увеличить загрузку страниц браузера даже при медленном соединении.

Браузер Яндекс поддерживает Windows и Mac OS, его можно скачать на сайтах browser.yandex.ru, browser.yandex.com.

Обновление: Я скачал версию для Mac и немного поигрался с ней. Как и ожидалось, он очень похож на Chrome с некоторыми отличиями:

• В браузере Яндекса есть всплывающее полуокно с названием Tableau, которое появляется, когда вы открываете новую пустую вкладку и, опционально, всякий раз, когда курсор находится в «Smartbox» (текстовое поле URL).Если нет ввода, Табло отображает сетку из больших значков, напоминающую плитки Microsoft. Некоторые из них представляют собой просто кнопки, которые переносят вас на веб-сайт (к сожалению, значок Twitter — один из примеров), другие отображают такую ​​информацию, как текущая погода и температура. Интересно, что Tableau был реализован через расширение (включая фоновую страницу).
• Все очень ориентировано на Россию и Яндекс: есть кнопка Яндекса, которая ведет на сайт Яндекса.Всегда идет на русскую версию, но можно выключить. Поисковая система, вызываемая через Smartbox, по умолчанию использует Яндекс (опять же, yandex.ru, а не yandex.com), но ее можно настроить. А вариант перевести сайт предлагается, скажем, на английский, а не на русский. Я ожидаю, что браузер выберет системные настройки вместо того, чтобы предполагать, что предпочтительным языком пользователя является русский.
• В адресной строке нет значка, который служил бы прокси для текущего отображаемого веб-сайта.В Chrome вы можете перетащить этот прокси-сервер для выполнения таких действий, как создание закладки на рабочем столе или на панели закладок. Мне не хватает этой функции.

Следовательно, этот браузер обслуживает российских пользователей Яндекса, но не предлагает ничего нового для других кругов.

Почему я использую Яндекс.Метрику для аналитики сайтов

Я профессионал-разработчик программного обеспечения, а не специалист по веб-аналитике. И когда я запустил свой блог-сайт, я, как и большинство владельцев сайтов, хотел изучить некоторые данные аналитики посетителей.Я сразу выбрал Google Analytics, потому что это был самый популярный и очевидный выбор.

Сейчас моему веб-сайту исполнился год, и все это время я начинал чувствовать, что Google Analytics мне не подходит. Месяц назад я решил поискать альтернативу сервису аналитики и нашел отличный инструмент.

В этой записи блога я объясню, что искал, что получил и почему считаю Яндекс.Метрику отличной альтернативой Google Analytics.

Что я хотел

На самом деле мне нужен был инструмент, который:

• Показывать данные о посетителях почти в реальном времени.
• Покажите мне, откуда приходят посетители, что они видят, сколько времени проводят на моем сайте и когда снова возвращаются.
• Предоставьте мне карту кликов или трекер кликов (например, Hotjar).
• Будьте свободны и обеспечивайте конфиденциальность данных.
• Быть легким и простым в использовании.

Признаюсь, мне любопытно узнать, какие люди посещают мой веб-сайт и что вас интересует, ребята. Я хочу знать это, потому что тогда я могу сделать вывод, какие из всех моих идей наиболее подходят для вас, какой стиль письма легче всего понять и где в мире я могу установить новые сетевые подключения.

Вход в Яндекс.Метрика

В итоге я выбрал Яндекс.Метрику, предоставляемую российской компанией, занимающейся интернет-технологиями, Яндекс.

Яндекс — компания, которая начинала с предоставления услуг веб-поиска и каталогов, но теперь они работают с впечатляющим набором продуктов и услуг, включая платежи, рекламу, искусственный интеллект и т. Д. На основе их предложений я бы примерно сравнил их с Google и Amazon.

Мне кажется, что Яндекс полностью игнорируется в большинстве стран мира, особенно в западном мире.В Дании, где я вырос, почти каждый, у кого есть веб-сайт, использовал бы Google Analytics, потому что это популярный выбор, который всем известен. И в Дубае, куда я недавно переехал, Google Analytics также кажется основным выбором.

С тех пор, как я запустил свой веб-сайт, я начал использовать еще один их сервис, Яндекс.Вебмастер (платформу, которую я мог бы разработать в другой раз), для отправки карты сайта и управления моей поисковой оптимизацией для их платформы.

Помимо поиска, почты, карт и инструментов для веб-мастеров, Яндекс также предоставляет множество других интересных сервисов и технологий с открытым кодом, которые я планирую опробовать в ближайшее время (следите за обновлениями!).В целом, я считаю, что эти вещи заслуживают гораздо большего внимания.

Чем отличается Яндекс.Метрика?

Исходя из моего субъективного опыта работы с Яндекс.Метрикой, в целом инструмент работает лучше, чем Google Analytics:

• Все в режиме реального времени. В Google Analytics я обнаружил, что в режиме реального времени можно получить базовые цифры за последние 30 минут, более того, и мне придется подождать до следующего дня, чтобы получить более подробную информацию.
• Я могу копаться в каждом отдельном посетителе с точки зрения посетителя.Мне не нужно просматривать разные страницы или настраивать разные параметры, чтобы знать о посетителе.
• Я могу посмотреть повтор сеанса, который бесплатен и очень прост в использовании. Он также защитит ввод формы, маскируя данные и показывая только случайные символы при воспроизведении.

Судя по личному опыту работы с Яндекс.Метрикой, я больше не смотрю только на общие цифры. Меня не очень волнует общее количество посетителей, которые были у сообщения в блоге. Меня больше волнует, откуда приходят посетители, насколько они взаимодействуют с текстом, знаниями и идеями.

Короче говоря, я использую инструмент аналитики следующим образом: примерно раз в день я захожу на их платформу, используя либо веб-браузер, либо их приложение. Во-первых, я бегло смотрю на панель управления, чтобы увидеть цифры. Затем я всегда быстро просматриваю обзор сеансов, чтобы узнать, откуда пришли новые посетители и какие страницы они посетили. Иногда я даже переигрываю несколько сеансов, если они кажутся интересными по цифрам.

Подводя итоги

Я выбрал Яндекс Метрику, одного из претендентов на Google Analytics, потому что мне нужен был более простой способ видеть более подробную информацию о моих посетителях.Просто попробуйте, а затем расскажите о своем собственном опыте! Вы можете быть зависимы от функций и простоты использования.

NekitCorp / yandex-storage-website-action: развертывание статического веб-сайта в хранилище объектов Яндекса

GitHub — NekitCorp / yandex-storage-website-action: развертывание статического веб-сайта в хранилище объектов Яндекса

Используйте это действие GitHub со своим проектом

Добавьте это действие в существующий рабочий процесс или создайте новый.

Посмотреть на торговой площадке

Файлы

Постоянная ссылка Не удалось загрузить последнюю информацию о фиксации.

Тип

Имя

Последнее сообщение фиксации

Время фиксации

Развернуть статический сайт в Yandex Object Storage

Конфигурация

Ключ	Значение	Тип	Обязательно
accessKeyId	Идентификатор ключа доступа к сервисному аккаунту	строка	Есть
secretAccessKey	Секретный ключ доступа к сервисному аккаунту	строка	Есть
ковш	Название ковша	строка	Есть
путь	Путь к папке загрузки	строка	Есть
прозрачный	Очистить сегмент перед развертыванием (по умолчанию: , истинно )	логическое	Нет

Пример

 имя: Развернуть

на:
    толкать:
        ветви:
            - владелец

вакансии:
    развертывать:
        запускается: ubuntu-latest
        стратегия:
            матрица:
                версия узла: [12.Икс]
        шаги:
            - использует: actions / checkout @ v2
            - использует: actions / setup-node @ v1
              с:
                  версия-узла: $ {{matrix.node-version}}
            # Строить
            - запустить: npm ci
            - запустить: npm запустить сборку
            # Развертывать
            - использует: nekitcorp / yandex-storage-website-action @ v1
              с:
                  accessKeyId: $ {{secrets.ACCESS_KEY_ID}}
                  secretAccessKey: $ {{secrets.SECRET_ACCESS_KEY}}
                  ведро: $ {{секреты.ВЕДРО }}
                  путь: "./build"
                  ясно: правда 

Около

Развернуть статический сайт в Yandex Object Storage

Темы

ресурсов

Вы не можете выполнить это действие в настоящее время.