Megaindex вложился в бесплатный сервис анализа сайтов be1.ru
Оксана Мамчуева
1060
Команда сервиса Megaindex сообщила о запуске новой alfa-версии сервиса be1.ru, одного из самых первых инструментов для анализа сайта в истории отечественного SEO.
Николай Хиврин, генеральный директор, AltWebGroup:
«Сервис be1.ru был одним из самых известных в те годы, когда SEO только начинало развиваться. Многие специалисты, которые продвигали сайты еще 10 лет назад, помнят этот инструмент. До сих пор несколько сотен человек ежедневно использует его для быстрого анализа сайтов.
Мы решили инвестировать в возрождение этого незаслуженно забытого проекта для создания на нем лучшего сервиса экспресс-анализа сайтов.
Миссия проекта — сделать самый быстрый и удобный сервис для получения основных параметров сайта, необходимых для поисковой оптимизации».
Когда-то, в далеком 2011 году при помощи сервиса be1.ru можно было получить доступ к статистике счетчиков, установленных на странице, узнать значения индекса цитирования, Page Rank и тематику сайта, теперь же возможности сервиса значительно расширены за счет аналитической и статистической базы Megaindex.
Новая alfa-версия сервиса уже доступна на http://www.be1.ru/, а старая версия сохранена для его приверженцев по адресу http://old.be1.ru/
- Новости
- Интернет и медиа
Музыка в социальных сетях, принадлежащих Mail.ru Group, может стать легальной
В ближайшие дни Mail.ru Group может подписать лицензионное соглашение с Universal Music Group, крупнейшим в мире владельцем прав на музыку
Facebook признали самой эффективной площадкой для запуска видеорекламы
За прошедший год инвестиции компаний в видеорекламу превысили отметку в 10 млрд.
долларов. При этом издатели единогласно признают канал одним из самых эффективных
Office 365 станет единой корпоративной программой в Facebook
Facebook заключил сделку с Microsoft, по результатам которой все подразделения компании переводятся на Office 365
Google Analytics тестирует новый дизайн интерфейса и логотипа
SEO-специалист из США Антонио Болонья опубликовал в Twitter скриншот нового пользовательского интерфейса Google Analytics
YouTube готовит к запуску сервис платного доступа к ТВ-контенту
YouTube готовит к запуску онлайн сервис Unplugged, в рамках которого будет транслироваться контент крупнейших телевизионных сетей. Официальный релиз намечен на 2017 год
С десктопов делятся контентом с сайтов в 5 раз чаще, чем с мобильных устройств
Пользователи десктопов охотней, чем мобильные пользователи делятся контентом с сайтов через кнопки «поделиться в соцсетях»
Вышла новая версия MegaIndex — Новости
Оксана Мамчуева
231
Команда MegaIndex сообщила о запуске новой версии сервиса.
Этот продукт стал результатов многих месяцев работы и объединяет множество решений в технологическом ядре системы и юзабилити интерфейса.
Как видим, значительно изменился дизайн интерфейса, теперь все сервисы сразу доступны в виде иконок, которые наглядно показывают, какие инструменты подключены для соответствующих проектов.
Интерфейс панели управления продвижением также был обновлен — в нем реализованы сложные технологические решения по подгрузке значительных объемов данных в реальном времени, т.е. каждый параметр получается из ядра MegaIndex через AJAX, при этом скорость работы значительно увеличена:
Интерфейсы аналитических модулей также были значительно доработаны. Теперь пользователи легко смогут настраивать вывод только тех колонок, которые нужны для их задач. Был обновлен и кабинет, в который теперь полностью интегрированы механизмы пополнения счета и обратной связи
В новой версии сервиса в значительной степени были доработаны алгоритмы автоматизированного продвижения, что теперь позволяет закупать ссылки более эффективно и оперативнее отслеживать их параметры.
Ну а для тех пользователей, кто за годы работы привык к старой версии MegaIndex, она будет действовать на специальном домене: http://old.megaindex.ru
- Новости
- Интернет и медиа
MegaIndex идет на Запад
Компания MegaIndex выходит на Западный рынок и собирается составить конкуренцию сервису SEOmoz, об этом редакции Searchengines…
«Ашманов и партнеры» о качестве работы поисковых систем в 2012 году
Компания «Ашманов и партнеры» представила свой ежегодный аналитический обзор по качеству работы поисковых систем за 2012 год, составленный на основе данных независимого сервиса…
Google Trends: популярные запросы теперь и в России
Google Trends – инструмент Google, который анализирует поисковые запросы пользователей и выводит в ленту наиболее быстрорастущие – появился в России
Система Miralinks представила тариф «Беззаботный++»
Команда Miralinks представила своим пользователям улучшенную версию услуги беззаботного размещения статей — «Беззаботный++»
Yahoo тестирует новый интерфейс главной страницы поиска
На днях поисковая система Yahoo представила на суд американских пользователей тестовую версию обновленной главной страницы поиска
Как используют мобильную связь в крупнейших странах?
Агентство Nielsen провело исследование рынка мобильных устройств в крупнейших странах, а также выявило специфические особенности поведения пользователей мобильных услуг в этих.
Бот MegaIndex сделал около 4000 просмотров страниц за один день — сообщество
Мета дискурсаЭрикГТ (ЭрикГТ)
1
FYI
Для тех, кто следит за просмотрами своих сайтов, на 07.02.2022 наш сайт видел около 4000 просмотров страниц от бота MegaIndex.ru. Это определенно выделялось.
7 лайков
ИАмГав (Гэвин Перч)
2
вы можете либо заблокировать его, либо замедлить
image724×345 4,93 КБ
5 лайков
(ЭрикГТ)
3
IAmGav:
вы можете либо заблокировать его, либо замедлить
Спасибо за информацию.
Я не задавал вопрос, а указывал на него другим, чтобы они были начеку. Похоже, это новый краулер, который не распределяет свои хиты по времени. Может быть, это был первый раз, когда он увидел наш сайт, поэтому он делал все страницы, но если он продолжит с такими массовыми хитами, я буду исследовать больше.
4 лайков
(Джефф Этвуд)
4
Спасибо за предупреждение. Эти плохо написанные боты/веб-индексаторы/веб-пауки действительно могут раздавить сервер!
11 лайков
Mr.
X_Mr.X
(мистер Х)
5
Тоже заметил. Это бот, который делает большинство просмотров страниц в моем экземпляре, и сразу после него идет Seekport (35 тысяч просмотров страниц в день) и mj12bot. Я иногда получаю DOS из-за них. Функция защиты от ботов Cloudflare помогла мне ограничить большинство этих ботов без особого мониторинга.
5 лайков
Джонатан5
6
IAmGav:
помедленнее
Можно ли замедлить все поисковые роботы , эффективно добавив robots.
txt crawl-delay ?
2 лайков
Джагстер (Якке Лехтонен)
Нет. Довольно мало кто следует robots.txt вообще и еще меньше подчиняется задержке.
2 лайка
Джонатан5
8
Джагстер:
№
Какой позор. Это было бы хорошей функцией для Discourse.
Ради интереса, работает ли существующая система (позволяющая вам заблокировать каждый сканер, но добавить только сканирование задержка для конечного списка) работать через robots.
txt запретить и задержка сканирования ?
Джагстер:
Немногие вообще отслеживают robots.txt и еще меньше подчиняются задержке.
Это совсем другое дело. Хотя лично я обнаружил, что задержка сканирования на другом сайте эффективна.
2 лайков
Джагстер (Якке Лехтонен)
9
Джонатан5:
лично я обнаружил, что
задержка сканированияна другом сайте эффективна.
Только с белыми ботами, а их не так уж и много. Все остальные, соотношение хороших и плохих примерно 1:100, неважно, что у вас есть или нет в robots.
txt. Лучшие из них ищут его просто для того, чтобы узнать, где системный администратор/веб-мастер не хочет заморачиваться, и те сразу же следуют этому направлению.
(Действительно, < grin > действует как html-тег. Дискурс не должен использовать для этого только < >, IMO)
SEO-боты ведут себя очень плохо. Но большинство говорят о поддельном пользовательском агенте, созданном детишками-скриптами.
Можно остановить множество ботов, но это должно делаться на сервере, а не на уровне приложения.
2 лайка
Джонатан5
10
Кстати, это все. Мой опыт был другим, и я хотел бы, чтобы Discourse позволял устанавливать задержку сканирования без необходимости называть отдельные сканеры.
2 лайков
Канапин (Монета-монета ле Канапен)
11
У меня тоже есть шип гусениц.
Как определить, какие поисковые роботы злоупотребляют просмотрами страниц?
4 лайков
(Джефф Этвуд)
12
Это один из встроенных отчетов на странице отчета.
3 отметок «Нравится»
Канапин (Монета-монета ле Канапен)
13
Спасибо, нашел.
| Агент пользователя | Просмотры страниц |
|---|---|
Mozilla/5. 0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/98.0.4758.102 Mobile Safari/537.36 (совместимый; Googlebot/2.1; +http: //www.google.com/bot.html) | 5514 |
| Mozilla/5.0 (совместимый; MJ12bot/v1.4.8; http://mj12bot.com/) | 5212 |
| Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html) | 1427 |
| Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, например, Gecko) Mobile Safari/537.36 (совместимо; PetalBot;+https://webmaster.petalsearch.com/site/petalbot) | 872 |
Таким образом, эти пики получены от MJ21bot и Nexus 5X Build, который является законным ботом Google после проверки его IP-адреса в журналах nginx.
Любая идея, почему они делают такие просмотры страниц? MJ12bot тоже кажется законным (по крайней мере, так говорят мои поиски в Google…). Обратите внимание, что форум онлайн, но для просмотра содержимого требуется авторизация.
Через несколько дней он будет открыт для публики.
Я иногда вижу пики краулеров на своих форумах, но они длятся всего один или два дня и уходят надолго.
Примеры:
изображение 1150×259 18,9 КБ
изображение 1159×255 18,5 КБ
2 лайков
Джагстер (Якке Лехтонен)
14
Канапин:
MJ12bot тоже кажется законным
Проверить IP-адреса. Это также одна из наиболее часто используемых подделок. Кроме того, это совершенно бесполезно для вас, как и все так называемые SEO-боты.
3 отметок «Нравится»
Канапин (Монета-монета ле Канапен)
15
Я ничего не знаю о сканерах. Разве официальные сканеры Google не полезны для SEO? Извините, если начинаю не по теме.
2 лайков
(ЭрикГТ)
16
Канапин:
Извините, если начинаю не по теме.
Поскольку тему начал я, я не считаю ваш вопрос не по теме. Мой пост был для вашего сведения, и вы просто пытаетесь лучше понять детали информации.
Канапин:
Разве официальные сканеры Google не полезны для SEO?
Хотя я не эксперт по поисковой оптимизации, но если вы хотите, чтобы люди находили ваш сайт с помощью поисковой системы, вам необходимо разрешить сканеру поисковой системы сканировать ваш веб-сайт для создания и обновления его индексов.
Проблема в том, что некоторые поисковые роботы не ведут пользователей на сайт, и если это так, и вы не хотите, чтобы страницы посещались слишком часто, вы должны попросить их не сканировать ваш сайт с помощью robots.txt. Однако плохие поисковые системы будут игнорировать robots.txt, и тогда вам придется использовать правила брандмауэра и тому подобное. Тогда проблема становится извечной: если кто-то хочет получить доступ к открытому сайту (без входа в систему), его трудно заблокировать, потому что он каждый раз меняет свою личность. Если кто-то идет с обязательным входом в систему, то часто это сокращает количество людей, которые зарегистрируются.
Что касается исходного сообщения, я не видел еще одного значительного однодневного увеличения количества просмотров страниц из-за MeagIndex или другого поискового робота после сообщения о выбросе.
2 лайков
(ЭрикГТ)
17
Обновление: 13.08.2022
Бот снова посетил наш сайт 04.08.2022 (сканирующий сайт)
Отчет: сводные просмотры страниц
Отчет: Пользовательские агенты Web Crawler
image937×252 5,52 КБ
Отчет: Основной источник трафика генерация трафика на сайт.
Примечание: AFAIK yandex.ru отличается от Megaindex.ru.
Для блокировки поисковых роботов есть файл robots.txt, который, как указано
Для этого есть логическая настройка сайта, ищите «index» или «robots».
https://
, но не все поисковые роботы будут учитывать robots.txt.
Как отметил выше IAmGav, существуют и другие настройки сканера.
изображение745×612 9,96 КБ
4 лайков
Джагстер (Якке Лехтонен)
18
robots.txt не предназначен для остановки ботов. Это руководство для хороших ботов. Они должны остановиться на уровне сервера. Одна из самых больших причин, почему мой дискурс стоит за обратным прокси.
4 лайков
(ЭрикГТ)
19
22/12/2022 https://bot.seekport.com, который является новым неизвестным мне ботом, сделал чрезмерное количество просмотров страниц 2 лайков
кинетиксофт
20
Полурегулярный всплеск активности поисковых роботов — обычное дело.
Мы сами делим их на:
- Обычные поисковые роботы легитимных поисковых систем
- Нерегулярные поисковые роботы новых/систем пользовательского поиска
- Поисковые роботы, на которые нацелены конкуренты или любые другие «исследователи», которые могут эффективно использовать ваши просканированные данные в своих целях.
Исходя из нашего опыта, нет необходимости заботиться и защищать себя от сканирования, если только вы не хотите, чтобы ваша информация использовалась для каких-либо целей, или из-за этого вы испытываете серьезные нагрузки на сервер. В конце концов, если ваш форум/проект общедоступен, всегда будет способ собрать ваши общедоступные данные для любых целей
Просто пример всплеска поисковых роботов в прошлом месяце. Обычно в день 4-5 тыс. просмотров краулерами. 1920×727 83,8 КБ
2 Likes
следующая страница →
Условия использования
Начать пользоваться сервисом можно быстро и практично.
Регистрация бесплатная, а условия
обслуживание очень простое:
• Вы не будете передавать свой уникальный идентификатор или продавать его кому-либо, ни при каких обстоятельствах.
• Вы заявляете и гарантируете, что использование вами megaindex будет соответствовать всем применимым законам
и правила.
• Вы соглашаетесь с тем, что это платная система, и не будете пытаться обойти платежи по номеру
.
означает
• Вы соглашаетесь с тем, что не будете изменять, копировать или воссоздавать части любого из наших клиентов API
.
без явного согласия мегаиндекса
• Вы соглашаетесь использовать сервис megaindex только в исследовательских целях.
Обратите внимание, что ваша учетная запись может быть приостановлена или удалена в случае нарушения этих
простые правила.
1. Определения
мегаиндекс («мегаиндекс» или «Услуга») – это автоматическая система мегаиндекса, предоставляющая услуги
продвигать сайт по технологии улучшения социальных и поведенческих факторов.
megaindex имеет сотрудников, независимых подрядчиков и
представители («наша команда»). В качестве клиента Услуги или представителя юридического лица
это клиент Сервиса, вы являетесь «Участником» в соответствии с этим соглашением (это «вы»).
Настоящие Условия использования («Условия» вместе с нашим Руководством по API) определяют положения и условия
.
в соответствии с которым вам разрешено использовать megaindex и как мы будем обращаться с вашей учетной записью, пока вы являетесь
Член. Если у вас есть какие-либо вопросы о наших условиях, не стесняйтесь обращаться к нам по адресу [email protected].
2. Право на участие
Чтобы использовать мегаиндекс, вы должны:
• быть не моложе восемнадцати (18) лет и иметь право заключать договоры;
• завершить процесс регистрации;
• согласиться с Условиями; и
• предоставлять достоверную, полную и актуальную контактную информацию.
Используя мегаиндекс, вы заявляете и гарантируете, что соответствуете всем требованиям, перечисленным выше,
и что вы не будете использовать мегаиндекс таким образом, который нарушает какие-либо законы или правила.
мегаиндекс май
отказаться от обслуживания, закрыть учетные записи любых пользователей и изменить квалификационные требования в любое время.
3. Срок
Срок действия начинается, когда вы подписываетесь на megaindex, и продолжается до тех пор, пока вы пользуетесь Сервисом.
Нажатие на кнопку и ввод вашего имени пользователя означает, что вы официально «подписали»
Условия. Если вы регистрируетесь в megaindex от имени компании или другого лица, вы представляете и
гарантируете, что у вас есть полномочия принять настоящие Условия от их имени.
4. Закрытие вашей учетной записи
Вы или megaindex можете расторгнуть настоящее Соглашение в любое время и по любой причине, предоставив
Уведомление другой стороне. Мы можем приостановить предоставление вам наших Услуг в любое время, с
или без такового.
причина. Мы не вернем вам деньги и не возместим вам ущерб, если есть причина, например, нарушение настоящих Условий.
Однажды
прекращено, мы можем безвозвратно удалить вашу учетную запись и все данные, связанные с ней. Если вы
не входите в свою учетную запись в течение 12 или более месяцев, мы можем рассматривать вашу учетную запись как «неактивную»
и безвозвратно удалить учетную запись и все данные, связанные с ней.
5. Изменения
Мы можем изменить любое из Условий, разместив пересмотренные Условия использования на нашем Веб-сайте и/или по телефону
.
отправив электронное письмо на последний адрес электронной почты, который вы нам предоставили. Если вы не закроете свою учетную запись
в течение десяти (10) дней новые Условия вступают в силу немедленно и применяются ко всем продолжающимся или
новое использование мегаиндекса. Мы можем изменить Веб-сайт, Сервис или любые функции Сервиса по телефону
.
в любой момент.
6. Учетная запись и пароль
Вы несете ответственность за сохранение конфиденциальности имени и пароля своей учетной записи.
Ты тоже
ответственность за любую учетную запись, к которой у вас есть доступ, независимо от того, санкционировали ли вы ее использование.
Вы немедленно уведомите нас о любом несанкционированном использовании ваших учетных записей. Мы не несем ответственности
за любые убытки из-за кражи или взлома паролей. У нас нет доступа к вашему текущему
пароль, и по соображениям безопасности мы можем только сбросить ваш пароль.
7. Общие правила
Вы обязуетесь соблюдать следующие правила:
• Вы никому и ни при каких обстоятельствах не будете передавать свой уникальный идентификатор. В том числе
продам свой аккаунт.
• Вы заявляете и гарантируете, что использование вами megaindex будет соответствовать всем применимым законам
.
и правила.
• Вы соглашаетесь с тем, что не будете изменять, копировать или воссоздавать части любого из наших клиентов API
.
без явного согласия мегаиндекса
• Вы соглашаетесь использовать сервис megaindex только в исследовательских целях.
Если вы нарушите какое-либо из этих правил, мы можем приостановить или прекратить действие вашей учетной записи.
8. Сообщение о нарушении
Если вы считаете, что кто-то нарушает какое-либо из этих Условий, немедленно сообщите нам об этом. Если вы получили
спам, который, по вашему мнению, исходил от пользователя megaindex, мы хотим узнать об этом. Пожалуйста, сообщите об этом на наш
команда злоупотреблений.
9. Соблюдение законодательства
Вы заявляете и гарантируете, что использование вами megaindex будет соответствовать всем применимым законам и
нормативно-правовые акты. Вы несете ответственность за определение того, подходят ли вам наши Услуги, чтобы
использовать в свете каких-либо правил. Вы соглашаетесь возместить и ограждать нас от любых убытков,
включая гонорары адвокатов, возникающие в результате нарушения вами любой части этих гарантий.
10. Ограничение ответственности
В максимальной степени, разрешенной законом, вы принимаете на себя полную ответственность за любые убытки, которые
результаты использования вами Веб-сайта и Услуг, включая любые загрузки с
Веб-сайт.
Мы и наша команда не несем ответственности за какие-либо косвенные, карательные, специальные или косвенные
убытки при любых обстоятельствах, даже если они основаны на небрежности или если нам сообщили
возможности этих убытков. Наша общая ответственность по всем претензиям, предъявляемым к Сервису в
в любом месяце будет не больше суммы, которую вы заплатили нам за Услугу в предыдущем месяце.
11. Отсутствие гарантий
Насколько это разрешено законом, мы предоставляем материалы на Веб-сайте и в
Сервис как есть. Это означает, что мы не предоставляем никаких гарантий, явных или подразумеваемых,
включая, но не ограничиваясь гарантиями товарного состояния и пригодности для конкретной цели.
12. Возмещение ущерба
Вы соглашаетесь возместить ущерб и защитить нас и нашу команду от любых убытков (включая адвоката
комиссионные сборы), возникающие в результате каких-либо заявленных вами требований, которые не разрешены настоящими Условиями из-за
«Ограничение ответственности» или другое положение.
Вы также соглашаетесь возместить ущерб и обезопасить нас
от любых убытков (включая гонорары адвокатов), возникших в результате претензий третьих лиц, которые вы или
кто-то, используя ваш пароль, сделал что-то, что, если это правда, нарушило бы любое из этих Условий.
13. Гонорары адвокатов
Если мы подадим иск против вас, утверждая, что вы нарушили настоящие Условия, и мы выиграем дело, нам будет
имеете право на возмещение разумных гонораров адвокатов и любых убытков или других средств правовой защиты, которые мы можем
награжден.
14. Отказ от ответственности
Мы и наша команда не несем ответственности за поведение каких-либо рекламодателей, связанных веб-сайтов или
другие члены. Сервис предназначен только для исследовательских целей.
15. Переуступка
Вы не можете передавать свои права по настоящему соглашению кому-либо еще. Мы можем назначить наш
права любому другому физическому или юридическому лицу по нашему усмотрению.
16. Форс-мажор
Мы не несем ответственности за какие-либо задержки или сбои в работе какой-либо части Сервиса,
по любой причине, не зависящей от нас. Это включает, но не ограничивается стихийными бедствиями, изменениями в
законы или постановления, эмбарго, война, террористические акты, беспорядки, пожары, землетрясения, ядерные аварии,
зомби-апокалипсис, наводнения, забастовки, отключения электроэнергии, вулканическая деятельность, необычно суровая погода
условия и действия хакеров или сторонних интернет-провайдеров.
17. Делимость
Если выяснится, что какой-либо раздел настоящего Соглашения не подлежит исполнению, то этот раздел будет иметь номер
.
удаляются или редактируются по мере необходимости, а остальные Условия остаются в силе.
18. Поправки и отказ от прав
Поправки или изменения настоящих Условий не вступят в силу до тех пор, пока мы не опубликуем пересмотренные Условия на
Веб-сайт.