Передача и использование Яндекс.XML — Справка Топвизор
Технология Яндекс.XML разработана для отправки запросов и получения ответов поисковой базы Яндекса в формате XML. Количество XML-лимитов индивидуально и зависит только от качества сайтов, подтверждённых пользователем в сервисе Яндекс.Вебмастер.XML-лимиты можно использовать для бесплатной проверки позиций сайтов. Один XML-лимит равен одной проверке одной ключевой фразы в одной поисковой системе и одном регионе.
В интерфейсе xml.yandex.ru находится график c суточным ограничением Яндекса на количество отправляемых запросов. С 8:00 до 19:00 ограничение составляет 10%. В остальные часы — больше. В документации заявлено 5%. Однако, 5% — это пример, такого ограничения не было и не планируется.Робот принимает от пользователей XML и ограничивает их использование в точности как Яндекс. Для использования в
сервисе доступно 10% делегированных лимитов.
Делегирование (передача) XML-лимитов
Перед тем как делегировать XML-лимиты, убедитесь, что сайт добавлен в сервис Яндекс.Вебмастер и права на управление подтверждены.В интерфейсе xml.yandex.ru
- Авторизуйтесь на xml.yandex.ru, выберите тип поиска русский (yandex.ru), примите условия Лицензионного соглашения и нажмите Сохранить.
- Перейдите на вкладку Лимиты и нажмите +, который расположен в колонке Владелец лимита.
- В появившееся поле введите topvisor и нажмите Enter на клавиатуре.
В интерфейсе topvisor.com
- Авторизуйтесь на https://topvisor.com
- Перейдите в Личный кабинет на вкладку Яндекс.XML.
- Введите в поля Яндекс логин и Сайт свой Логин (уникальное имя вашей учетной записи на Яндексе) и URL сайта, лимиты которого вы собираетесь передать.
- Нажмите Добавить.
Активация делегированных XML-лимитов произойдет после 00:00 по Московскому времени (GMT + 3:00).
Подтверждение владельца
По умолчанию XML-лимиты, делегированные на аккаунт topvisor, не подтверждены (не привязаны) к владельцу аккаунта Топвизор. После привязки Яндекс-логина к аккаунту Топвизор делегированные XML-лимиты будет невозможно передать другому пользователю Топвизор в автоматическом режиме.Подтверждение выдается сроком на 1 год или до отзыва токена вледельцем аккаунта Топвизор.
Настоятельно рекомендуем закреплять за собой делегированные XML-лимиты, подтвердив права на Яндекс-логин.
Дополнительная информация
topvisor.com
Работа с Яндекс XML лимитами
Как узнать xml лимиты сайта?
Для того чтобы узнать количество лимитов, нужно во первых зайти на сайт https://xml.yandex.ru/limits/ и подтвердить соглаcие с лицензией.
Далее вы увидите лимиты по всем своим подтвержденным сайтам. По умолчанию, первым лимит получает тот, кто первым же регистрирует сайт в вебмастере.
От чего зависит количество xml лимитов?
Раньше количество лимитов зависело от того подтвержден ли телефонный номер или нет. Сейчас это влияние для рускоязычного поиска отключили. Но всё равно это наверно один из факторов в формуле рассчета XML-лимитов.
Добавление сайта в Яндекс.Вебмастер — это главный способ получить и определить какие лимиты по вашим сайтам есть.
Как увеличить xml лимиты?
— Повысить качество сайта.
Качественный, посещаемый сайт, не имеющий санкций — будет получать максимальное количество лимитов. Я бы сделал этот показатель, как ориентир на качество сайта при его анализе;
— Зарегистрировать сайт в сервисе Яндекс.Поиск по сайту.
Мне кажется тоже есть влияние на увеличение количества лимитов;
— Стать партнером рекламной сети Яндекса.
Не проверял, но в будущем узнаю, реально ли сделают безлимитное количество запросов или нет.
Где найти лимит XML?
Данные лимиты можно также купить или продать на специальных биржах по xml лимитам.
На некоторых сайтах видел заявления, что на особых тарифах можно получить безлимитное, неограниченное их количество.
Передача лимитов Яндекс xml
Если вам не жалко своих лимитов, то можете передать их на мой аккаунт seo.soltyk — больше запросов сможете совершать с помощью моих инструментов.
Нажимаете плюсик + напротив вашего сайта и вводите имя пользователя которому передаете лимит.
Пример по передаче лимитов:
Обновлено: 19.12.2019 2066 (в день: 2.179)
soltyk.ru
Как можно делегировать XML-лимиты Яндекса в пользу сервиса, чтобы увеличить число лимитов?
Обновление: теперь начисляется бонус не 30%, а 50% от переданных XML-лимитов.
Общая информация
Значимая часть инструментов «Пиксель Тулс» использует запросы к поисковой системе Яндекс или Google в своей работе — как правило, это от одного до нескольких запросов, часть из который производится в формате XML.
Количество доступных для аккаунта запросов ограничено значением лимита аккаунта. Лимиты можно как купить, так и получить в обмен на XML-лимиты Яндекса, если делегировать их в пользу сервиса на аккаунт «pixeltools».
Сервис Яндекс.XML
Яндекс.XML — сервис, позволяющий отправлять запросы к поисковой базе Яндекса и получать ответы в формате XML. Аналог обычных запросов через веб-интерфейс. Получение результата по одному поисковому запросу расходует один XML-лимит. Может использоваться для разработки поиска по сайту, а также для использования получаемых ответов в аналитических целях.
Количество лимитов индивидуально для каждого Яндекс-аккаунта и определяется количеством и качеством сайтов, добавленных в Яндекс.Вебмастер аккаунта (точный алгоритм расчета лимитов неизвестен). Количество лимитов в своем аккаунте можно узнать на странице https://xml.yandex.ru/limits/ (указываются лимиты на сутки).
Лимиты в «Пиксель Тулс»
Каждому пользователю «Пиксель Тулс»
Число потраченных и доступных лимитов можно увидеть в настройках аккаунта.
Каждые сутки число использованных лимитов обнуляется и становится доступным в прежнем объеме.
Увеличить количество лимитов в сервисе можно 2 способами:
-
Купить лимиты.
-
Передать XML-лимиты со своего аккаунта в сервис «Пиксель Тулс» (баланс лимитов в сервисе увеличится на 50% от переданных XML-лимитов). Этот способ будет рассмотрен ниже.
Как передать XML-лимиты в «Пиксель Тулс»?
Для увеличения числа доступных в сервисе «Пиксель Тулс» лимитов, вы можете делегировать XML-лимиты. Для этого потребуется:
-
Перейти в «Настройки аккаунта» — «Управление лимитами».
-
В поле (1) вписать логин Яндекс-аккаунта, с которого будут передаваться XML-лимиты; в поле (2) вписать сайт, лимиты которого будут переданы сервису «Пиксель Тулс», и нажать кнопку «Добавить».
В таблице ниже появятся введенные данные и статус операции.
-
Передать XML-лимиты вашего сайта на странице https://xml.yandex.ru/limits/ в аккаунт pixeltools (ваш Яндекс-аккаунт и сайт должны соответствовать введенным на шаге 2).
-
Задайте вопрос или оставьте комментарий
Другие вопросы нашего FAQ
tools.pixelplus.ru
Яндекс подкручивает гайки seo-сервисам, меняя лимиты парсинга Яндекс.XML. Кому от этого станет лучше?
На днях в официальном блоге Яндекса для вебмастеров появилась новость об изменении правил использования сервиса Яндекс.XML. Если раньше при подтверждении телефона для аккаунта предоставлялся лимит в 1000 запросов в сутки, то теперь суточный лимит парсинга рассчитывается на основе популярности подтвержденных в Яндекс.Вебмастере сайтов. Аккаунты с отсутствующими подтвержденными сайтами не имеют теперь возможности использовать сервис.
С одной стороны понятно желание Яндекса снизить нагрузку на свой сервис и дать возможность использовать его больше по назначению. Однако, Яндекс.XML был единственным легальным способом снимать позиции в поиске, не затрагивая при этом поисковую выдачу, не нагружая её и не влияя на данные показателей Wordstat. На данный момент работают также старые лимиты, но через 3 месяца останутся лишь те, которые обозначены новыми правилами Яндекс.XML.
Взвесил ли Яндекс все плюсы и минусы данного нововведения или отделы Яндекс.XML работают, не согласуя изменения с отделом веб-поиска?
Видимые плюсы
— Разгрузка нескольких веб-серверов
Как указал автор новости, лимиты вводились в целях более оптимального использования ресурсов сервиса вебмастерами.
Видимые минусы
Крупные компании и аналитические сервисы, использующие Яндекс.XML для съема позиций, переориентируются на парсинг основной выдачи Яндекса, таким образом, нагружая её вместо xml.yandex.ru.
— Влияние на показатели Яндекс.Wordstat
В вордстате появится большее количество накрученных запросов, что исказит данные не только для оптимизаторов, но и для рекламодателей. Изменение правил Яндекс.XML косвенно повлияет на цены рекламы в Яндекс.Директе.
— Влияние на поведенческий фактор
CTR выдачи по ряду коммерческих запросов значительно снизится, так как многие из них будут автоматическими. Это может затронуть и ранжирующую формулу, влияя на качество поисковой выдачи.
— Рынок проксей и антикапч увеличится
Своим нововведением Яндекс порождает увеличение рынка проксей и антикапч, вместо создания легальных платных инструментов для съема важных аналитических данных.
Что думают аналитики и владельцы аналитических сервисов по поводу действий Яндекса?
Мнения экспертов
Станислав Ставский, экс-менеджер антиробота в Яндексе
Я думаю, что главной целью Яндекса в данном случае является решение внутренней проблемы “снижение роботной нагрузки в часы пик”. То, что заодно со снижением нагрузки можно доставить неприятности сервисам парсинга – лишь один из плюсов принятого решения. Но, в принципе, не удивлюсь, если одновременно с анонсированным запуском ужесточится алгоритм фильтрования роботов на выдаче и капча станет показываться роботам чаще. Ведь задача “удорожания парсинга” напрямую связана с задачей “снижение нагрузки”.
Все равно, конечно, будут парсить – через прокси, антикапчу, добавлять в вебмастерские аккаунты “левые” сайты, но я допускаю, что в самое ближайшее время можно ожидать повышения цен на услуги сервисов, парсящих выдачу Яндекса.
Любопытно отметить, что за последние несколько месяцев Гугл также сильно усложнил жизнь подобным сервисам, усложнив парсинг своей выдачи. Вполне допускаю сотрудничество двух поисковиков по данному вопросу и обмен информацией о роботах. И на месте менеджеров поисковиков, отвечающих за роботов, стремился бы к этому.
Евгений Пошибалов, руководитель биржи ссылок Sape.ru
Очевидно, что к текущей схеме работы интернет-сервисы и seo-компании (как основные потребители) уже давно адаптировались и создали себе аккаунты по 1000 запросов. Новые правила “игры” практически повторяют эту достаточно “унылую” схему, только с другого ракурса. Лично я считаю как эту, так и предыдущую идею в корне неверной. О чем даже пару раз беседовал с А.Садовским 2-3 года назад.
Самый оптимальный для Яндекса путь решения этого вопроса или отключить вообще эту историю, так как части вебмастеров это просто не нужно, а второй части выделенного объема точно не хватит, или же сделать это в цивилизованной форме, причем с финансовой выгодой для Яндекса. Это очень просто, берется технологическая компания – например это может быть любой более менее крупный сервис с наработанной репутацией – как Sape.ru и заканчивая Драйвлинком и другими небольшими сервисами. Далее эта компания получает прямой канал к XML, обеспечивает создание удобных инструментов для работы с ним и предоставляет их в публичный доступ вебмастерам и сервисам – определенный объем – бесплатно, при превышении – платно (но очень недорого), с агрегированной передачей денег Яндексу за вычетом %.
В данном случае компании будет выгодно следить за тем, чтоб не было “халявщиков” с сотнями аккаунтов, а с Яндекса снимается головная боль по управлению этим бардаком и обеспечивается дополнительный доход, который я бы оценил в 1-3 млн. долл в год. Что-то типа ЦОП XML. Ну либо закрывать эту историю, так как ни к чему хорошему оно снова не приведет. К сожалению руководство Яндекса пока игнорирует эту возможность как заработать, так и снять с себя ворох определенных проблем, таких как парсинг естественной выдачи и так далее.
Михаил Сливинский, руководитель отдела поисковой аналитики компании Wikimart
К сожалению, пока не видно расширения возможностей для веб-мастеров и оптимизаторов. Жаль. Довольно очевидно, что оптимизаторы очень разные и далеко не все стремятся заработать свой кусок хлеба, ухудшая экосистему спамными ссылками или бредотекстами.
При этом рынку крайне нужна маркетинговая информация и аналитика. В частности, это и результаты поиска, и статистика запросов, и позапросная конверсионность и многое другое. Понятно, какой-то фильтр в любом случае нужен. Но почему этот фильтр реализуется через попытки запрета парсинга, а не через коммерческую продажу доступа к сервисам – мне не вполне понятно.
Станислав Поломарь, руководитель направления поискового продвижения и аналитики компании webit
Если рассматривать данное изменение с точки зрения вебмастера, у которого один или несколько сайтов, то в среднем его это не сильно заденет. Исходя из статистики в несколько сотен сайтов – средний корпоративный сайт, который обладает определенной ссылочной массой и трафиком, получает лимит 490. Сайты с большим индексом при прочих равных могут получить 1000. А крупные проекты 2900. Таким образом при наличии 1-2 подобных сайтов тот же лимит в 1000 запросов сохранится.
А вот агентства или компании, работа которых связана с поисковой оптимизацией, – явно проиграют. Тут потребности значительно выше, так как компания банально сильно бОльше вебмастера занимается аналитикой (видимость своих проектов и их конкурентов, индексация и прочее).
К примеру, сейчас наша компания использует только XML для работы с выдачей Яндекса, но при данных изменениях мы вынуждены будем использовать парсинг выдачи напрямую. Зачем компании подталкивать к этому непонятно, так как (будь такая возможность) мы могли бы вполне пользоваться платным тарифом (с разумным ценообразованием конечно ;))
На подопечных проектах были замечены следующие значение лимитов: 10-34-150-490-1000-2900. Из приятных «плюшек» – поддомены крупных проектов дают вклад 2900 наравне с основным. Не известно правда насколько это долго не прикроют ;))
Александр Люстик, руководитель проекта Key Collector (LegatoSoft). Ведущий блога SEOM.info
Новые лимиты явно очередная затяжка узла на удавке, примитивных методах съема данных. Все давным давно покупали активированные аккаунты, даже не утруждая себя покупкой сим-карт, как это было ранее. Увеличивали лимиты. Покупались десятки тысяч аккаунтов, с увеличенными лимитами в XML. Яндексу это надоело 🙂 видимо. Новый виток. С одной стороны “законопослушным”, отчасти, лимитов хватит. Хотя для более или менее профессиональных задач их окажется маловато. Для “домохозяек” пойдет.
“Дрочево” пойдет в выдачу. Больше банов проксей, больше затрат на массовые и промышленные объемы. Пока так, дальше опять все будет хорошо и будет очередной узелок на удавке 🙂 Я думаю такие репрессии делают рынок более узким, те кто не могут адаптироваться будут “прогибаться” под больших игроков. В целом это хорошо, клиенты тоже будут платить чуть больше 🙂
Юрий Кушнеров, руководитель сервиса SeoLib.ru
Как нам кажется, на рынок в целом это никак не повлияет. Нововведения затронут лишь сегмент SEO-сервисов, которые активно используют XML для парсинга выдачи Яндекса. В этой нише, возможно, будет передел рынка, так как многим небольшим компаниям, действительно, «перекроют кислород».
Позиция Яндекса в данном случае ясна (и они ее не скрывают). Это не «еще один камень в оптимизаторов», а оптимизация собственных ресурсов (именно поэтому в разное время суток количество запросов будет меняться. Когда Яндекс свободен — парсите на здоровье. Когда нет — извините). Кстати, такая ситуация наблюдается уже давно. В пиковые часы, порой, отдаются пустые страницы.
Что же касается простых веб-мастеров, то для своих собственных нужд того количества запросов, что выдается, должно хватать. Но судя по тому, что мы наблюдаем в панели вебмастера xml.yandex.ru – система еще не доработана и тестируется, цифры не совсем адекватные. Пока будем ждать. Паниковать причин не видим.
Евгений Трофименко, аналитик, владелец сервиса tools.promosite.ru
До этого, очевидно, довели покупатели симок для парсинга ХМЛ. Ну ничего – сейчас будут создавать сайты не только под продажу ссылок, но и под получение лимитов ХМЛ. Кстати, я на tools.promosite.ru попрошу людей делегировать не очень нужные им лимиты на меня (просто так или в обмен на какие-то сервисы, в противном случае придется ограничивать доступ – у меня ХМЛ используется часто). Например, можно взамен этого доступа давать аналитику по установленным ссылкам, я тут скачал все сайты-доноры и установленные ссылки.
А что вы думаете по поводу данной новости?
devaka.ru
Насколько важен API или сравниваем Яндекс.XML и реальную выдачу / Habr
Всегда было интересно, существует ли разница между поисковой выдачей Яндекса и их API (xml.yandex.ru), решающим такие же задачи (официальная позиция: Яндекс.XML — возможность делать поисковые запросы к Яндексу и публиковать результаты поиска на своем сайте).Известно, что данные в Яндекс.Вебмастер всегда сильно запаздывают и расходятся с реальностью: информация, которую можно получить через выдачу (количество проиндексированных страниц, ссылки и пр.) появляется в ЯВМ лишь через несколько суток.
Но поскольку в Яндексе выступает против непосредственного парсинга выдачи, они сделали альтернативу через получение данных по xml.
К слову, раньше к Я.XML все могли получить доступ, просто подтвердив телефонный номер в аккаунте (если не ошибаюсь, для неподтверждённых аккаунтов было ограничение в 1000 запросов), но примерно год или два назад в Яндексе отказались от этой политики и ввели свою метрику, которая сильно коррелирует с трафиком (а если быть точнее, то с «количество показов в выдаче»).
Вообще это очень интересная метрика (к примеру, чем чаще показывается сайт в выдаче, тем чаще антивирусный бот Яндекса проверяет страницу). В прошлом году я как раз её и получил, распарсив 3кк запросов из разных групп. Эти данные можно осудить в отдельной статье. А первый раз я этот термин услышал на Yet Another Conference 2013, в отделе безопасности.
Но вернемся к XML.
Суть эксперимента:
1. Было взято 2,778 запросов из 4 групп (коммерция, женская тематика, туризм, информационные запросы)
2. Почти одновременно был запущен парсинг поисковой выдачи (xml парсится дольше из-за внутренних ограничений)
3. Для доступа к Я.XML взяли собственные лимиты из Я.Вебмастера, для парсинга выдачи — закрытый прокси-сервис. Ради чистоты эксперимента был указан регион lr=1 (география IP прокси-сервиса — RU (по хуизу), в поле address указан Moscow).
Последний апдейт базы был 9 января, а данные собирали 13, так что шторма выдачи уже нет и данные можно считать достоверными.
Немного о минусах XML:
- не отдает содержимое title, только сниппет
- у сниппета есть разница со сниппетом из выдачи
- не показывает, есть ли реклама в выдаче (так можно оценить конкурентов и степень коммерциализации запроса)
- не показывает, есть ли сервисы Яндекса в выдаче
(Также я на другом своем проекте проверяю домены на показатели (индексация, тИЦ и прочее). При проверке индекса через XML очень часто Яндекс цифры меняет, это я давно заметил. Расхождение может достигать сотни страниц (плюс-минус), иногда в индексе якобы 0.)
Теперь выводы:
Большинство расхождений — плюс-минус 1 позиция.
Чуть меньше — плюс-минус 5 позиций
Совсем мало — другие сайты на позициях.
И в цифрах:
Совпадает позиций — 75%
Не совпадает — 25%
Буду рад указаниям на возможные ошибки и, особенно, сравнению с результатами аналогичных экспериментов.
Цифры в результатах — это частотность запросов по вордстату (общая и точная), они особо роли не играют, но просто есть
habr.com