Как работает веб-краулер (поисковой паук)

Материал из Самая полная в Рунете энциклопедия интернет-маркетинга

Основная статья: Поисковой паук (краулер): виды и функции

Как работает веб-краулер?

Функционирование поискового робота строится по тем же принципам, по которым работает браузер. Паук заходит на сайты, оценивает содержимое страниц, переносит их в базу поисковой системы, затем по ссылкам переходит на другой ресурс, повторяя вызубренный алгоритм действий. Результат этих путешествий — перебор веб-ресурсов в строгой последовательности, индексация новых страниц, включение неизвестных сайтов в базу. Попадая на ресурс, паук находит предназначенный для него файл robots.txt. Это необходимо, чтобы сократить время на попытки индексации закрытого контента. После изучения файла робот посещает главную страницу, а с нее переходит по ссылкам, продвигаясь в глубину. За одно посещение краулер редко обходит сайт целиком и никогда не добирается до глубоко размещенных страниц. Поэтому чем меньше переходов ведет к искомым страницам с главной, тем быстрее они будут проиндексированы.

Отметим, что веб-паук не делает анализа контента, он лишь передает его на серверы поисковых систем, где происходит дальнейшая оценка и обработка. Краулеры регулярно посещают сайты, оценивая их на предмет обновлений. Новостные ресурсы индексируются с интервалом в несколько минут, сайты с аналитическими статьями, обновляемые раз в 4 недели, — каждый месяц и т. п.

Как самостоятельно проиндексировать сайт?

Сайты, на которые не ведет достаточный объем внешних ссылок, паук не проиндексирует без вмешательства вебмастера. Чтобы ресурс попал в поисковую выдачу, потребуется добавить его в карту посещений краулера. Оперативная индексация сайта возможна при размещении систем веб-аналитики от поисковых сервисов: Google Analytics, Яндекс.Метрика, Рейтинг@Mail.ru.

Положительно влияют на индексацию сайта ссылки из социальных медиа, новостных порталов. Однако большой объём покупных ссылок грозит санкциями поисковых систем, к примеру, «Минусинска» от «Яндекса».

Зачем краулеров маскируют под реальных пользователей?

Владельцы ботов часто не готовы смириться с ограничениями, установленными на ресурсах. Представим ситуацию, когда паук создан для отбора и анализа сведений о 10 000 популярных картинах сайта http://kinopoisk.ru. Для отражения информации по каждому фильму потребуются, минимум, 10 запросов, в процессе необходимо:

1) открыть страницу картины для чтения описания; 2) посетить разделы «Премьеры», «Кадры», «Актеры», «Студии», «Награды»; 3) посетить имеющиеся подразделы.

С учетом ожиданий между запросами в 10 секунд на просмотр страниц уйдет 11 суток. К тому же 10 000 объектов — начальная ставка, если задача разработчиков провести обучение машины. По этой причине новых пауков маскируют под реальных пользователей. И тогда краулер в заголовке запроса представляется как браузер. Кроме скромных тружеников статистики, существуют спам-боты, которые извлекают с веб-страниц почтовые адреса для своих рассылок.

«Яндекс» обучил поискового робота анализировать JavaScript и CSS-код

«Яндекс» научил своего бота понимать коды JavaScript и CSS. Новый талант используется при анализе содержимого сайтов, при этом проверяется не только контент, но и его CSS и JavaScript коды. Новый тип индексации на начальном этапе применяется только к отдельным сайтам. Функция позволит пауку оценивать содержимое ресурса на более глубоком уровне и видеть его глазами пользователя. К перечню параметров, по которым оцениваются сайты, добавляется удобство пользовательского интерфейса.

Дополнительно краулер получит доступ к части контента, ранее закрытой для анализа. Полученные данные могут использоваться для сравнения с информацией, которая в текущий момент влияет на позицию ресурса в поисковой выдаче.

Работа паука в режиме онлайн

Поисковые роботы — ключевые компоненты поисковой системы, важные при выполнении функций, связанных с индексацией сайтов. Общая информация, добытая в ходе путешествий, образует индексную базу поисковой системы. От проворности пауков зависит качество и оперативность поиска. Как робот видит анализируемый сайт? Посмотреть на ресурс глазами веб-паука можно на сервисе http://pr-cy.ru/simulator. Воспользоваться ресурсом просто. Скопируйте адрес страницы, поместите в строку поиска и наблюдайте.

Читайте другие статьи на тему «Поисковой паук»:

Полезные ссылки

www.optimism.ru

Что такое краулинг и как управлять роботами — Netpeak Blog

Выдача ответов на поисковый запрос на странице поиска за долю секунды только верхушка айсберга. В «черном ящике» поисковых систем — просканированные и занесенные в специальную базу данных миллиарды страниц, которые отбираются для представления с учетом множества факторов.

Страница с результатами поиска формируется в результате трех процессов:

• сканирования;
• индексирования;
• предоставления результатов (состоит из поиска по индексу и ранжирования страниц).

В этом выпуске «Азбуки SEO» речь пойдет о сканировании или краулинге страниц сайта.

Как работает сканирование (краулинг) сайта?

Если кратко, краулинг (сканирование, crawling) — процесс обнаружения и сбора поисковым роботом (краулером) новых и обновленные страницы для добавления в индекс поисковых систем. Сканирование — начальный этап, данные собираются только для дальнейшей внутренней обработки (построения индекса) и не отображаются в результатах поиска. Просканированная страница не всегда оказывается проиндексированной.

Поисковый робот (он же crawler, краулер, паук, бот) — программа для сбора контента в интернете. Краулер состоит из множества компьютеров, запрашивающих и выбирающих страницы намного быстрее, чем пользователь с помощью своего веб-браузера. Фактически он может запрашивать тысячи разных страниц одновременно.

Что еще делает робот-краулер:

1. Постоянно проверяет и сравнивает список URL-адресов для сканирования с URL-адресами, которые уже находятся в индексе Google.
2. Убирает дубликаты в очереди, чтобы предотвратить повторное скачивание одной и той же страницы.
3. Добавляет на переиндексацию измененные страницы для предоставления обновленных результатов.

При сканировании пауки просматривают страницы и выполняют переход по содержащимся на них ссылкам так же, как и обычные пользователи. При этом разный контент исследуется ботами в разной последовательности. Это позволяет одновременно обрабатывать огромные массивы данных.

Например, в Google существуют роботы для обработки разного типа контента:

• Googlebot — основной поисковый робот;
• Googlebot News — робот для сканирования новостей;
• Googlebot Images — робот для сканирования изображений;
• Googlebot Video — робот для сканирования видео.

В статье о robots.txt мы собрали полный перечень роботов-пауков. Знакомьтесь 🙂

Кстати, именно с robots.txt и начинается процесс сканирования сайта — краулер пытается обнаружить ограничения доступа к контенту и ссылку на карту сайта (Sitemap). В карте сайта должны находиться ссылки на важные страницы сайта. В некоторых случаях поисковый робот может проигнорировать этот документ и страницы попадут в индекс, поэтому конфиденциальную информацию нужно закрывать паролем непосредственно на сервере.

Просматривая сайты, бот находит на каждой странице ссылки и добавляет их в свою базу. Робот может обнаружить ваш сайт даже без размещения ссылок на него на сторонних ресурсах. Для этого нужно осуществить переход по ссылке с вашего сервера на другой. Заголовок HTTP-запроса клиента «referer» будет содержать URL источника запроса и, скорее всего, сохранится в журнале источников ссылок на целевом сервере. Следовательно, станет доступным для робота.

Как краулер видит сайт

Если хотите проверить, как робот-краулер видит страницу сайта, отключите обработку JavaScript при включенном отладчике в браузере. Рассмотрим на примере Google Chrome:

1. Нажимаем F12 — вызываем окно отладчика, переходим в настройки.

2. Отключаем JavaScript и перезагружаем страницу.

Если в целом на странице сохранилась основная информация, ссылки на другие страницы сайта и выглядит она примерно так же, как и с включенным JavaScript, проблем со сканированием не должно возникнуть.

Второй способ — использовать инструмент Google «Просмотреть как Googlebot» в Search Console.

Если краулер видит вашу страницу так же, как и вы, проблем со сканированием не возникнет.

Третий метод — специальное программное обеспечение. Например http://pr-cy.ru/simulator/ отображает программный код, который робот видит на странице, а Netpeak Spider показывает более 50 разных видов ошибок, найденных при сканировании, и разделяет их по степени важности.

Если страница не отображается так, как вы ожидали, стоит проверить, доступна ли она для сканирования: не заблокирована ли она в robots.txt, в файле .htaccess.

Проблемы со сканированием могут возникать, если сайт создан с помощью технологий Javascript и Ajax, так как поисковые системы пока с трудом сканируют подобный контент.

Как управлять сканированием страниц

Запуск и оптимизация сканирования сайта

Существует несколько методов пригласить робота-паука к себе на сайт:

1. Разрешить сканирование сайта, если он был запаролен на сервере, и передать информацию об URL c помощью HTTP-заголовка «referer» при переходе на другой ресурс.
2. Разместить ссылку на ваш сайт на другом ресурсе, например, в соцсетях.
3. Зарегистрироваться в панелях вебмастеров Google и Яндекс.
4. Сообщить о сайте поисковой системе напрямую через кабинеты вебмастеров поисковых систем:

4. Использовать внутреннюю перелинковку страниц для улучшения навигации и сканирования ресурса, например, хлебные крошки.
5. Создать карту сайта с нужным списком страниц и разместить ссылку на карту в robots.txt.

Запрет сканирования сайта

1. Для ограничения сканирования контента следует защитить каталогов сервера паролем. Это простой и эффективный способ защиты конфиденциальной информации от ботов.
2. Ставить ограничения в robots.txt.
3. Использовать метатег <meta name=”robots”/>. С помощью директивы “nofollow” стоит запретить переход по ссылкам на другие страницы.
4. Использовать HTTP-заголовок X-Robots tag. Запрет на сканирование со стороны сервера осуществляется с помощью HTTP заголовка X-Robots-tag: nofollow. Директивы, которые применяются для robots.txt, подходят и для X-Robots tag.

Больше информации о использовании http-заголовка в справке для разработчиков.

Управление частотой сканирования сайта

Googlebot использует алгоритмический процесс для определения, какие сайты сканировать, как часто и сколько страниц извлекать. Вебмастер может предоставить вспомогательную информацию краулеру с помощью файла sitemap, то есть с помощью атрибутов:

• <lastmod> — дата последнего изменения файла;
• <changefreq> — вероятная частота изменений страницы;
• <priority> — приоритетность.

К сожалению, значения этих атрибутов рассматриваются роботами как подсказка, а не как команда, поэтому в Google Search Console и существует инструмент для ручной отправки запроса на сканирование.

Выводы

1. Разный контент обрабатывается ботами в разной последовательности. Это позволяет одновременно обрабатывать огромные массивы данных.
2. Для улучшения процесса сканирования нужно создавать карты сайтов и делать внутреннюю перелинковку — чтобы бот смог найти все важные страницы.
3. Закрывать информацию от индексирования лучше с помощью метатега  <meta name=»robots» content=»nofollow»/> или http-заголовка X-Robot tag, так как файл robots.txt содержит лишь рекомендации по сканированию, а не прямые команды к действию.

Читайте больше об инструментах для парсинга сайта, необходимых SEO-специалисту в рутинной работе.

netpeak.net

виды и функции — Самая полная в Рунете энциклопедия интернет-маркетинга

Материал из Самая полная в Рунете энциклопедия интернет-маркетинга

Поисковый паук (другие наименования — робот, веб-паук, краулер) — программа поисковой системы, сканирующая веб-ресурсы для отражения сведений о них в базе данных.

С какой целью создают поисковых пауков?

Приведём элементарный пример. Представим себе Иванова Валерия, который регулярно посещает сайт http://it-ebooks.info/, где ежедневно публикуются новые электронные книги. Заходя на ресурс, Валерий выполняет заданную последовательность действий:

1) открывает главную страницу;

2) заходит в раздел «Последние загруженные произведения»;

3) оценивает новинки из списка;

4) при появлении интересных заголовков, проходит по ссылкам;

5) читает аннотацию и, если она интересна, скачивает файл.

Указанные действия отнимают у Валерия 10 минут. Однако, если тратить на поиск 10 минут в день, в месяц это уже 5 часов. Вместо этого к задаче можно привлечь программу, отслеживающую новинки по расписанию. По механизму действия она будет представлять собой простейшего веб-паука, заточенного под выполнение определенных функций. Без краулеров не выживет никакая поисковая система, будь то лидеры Google и «Яндекс» или предприимчивые стартапы. Боты перемещаются по сайтам, отыскивая сырье для поисковой системы. При этом чем с большей отдачей трудится паук, тем актуальнее результаты выдачи (рис. 1).

Рис. 1. Схема работы краулера Рис. 2. Различия в проверках краулера (схема) Рис. 3. Пример простого файла robots.txt

Функции веб-пауков

В зависимости от поисковой системы, функции, которые мы перечислим ниже, могут выполнять один или несколько роботов.

1. Сканирование контента сайта. Функция краулера первого порядка — обнаружение вновь созданных страниц и сбор размещенной текстовой информации.

2. Считывание графики. Если поисковая система подразумевает поиск графических файлов, для этой цели может быть введен отдельный веб-паук.

3. Сканирование зеркал. Робот находит идентичные по содержанию, но разные по адресу, ресурсы. «Работник», наделенный такими должностными полномочиями, есть у «Яндекса».

Виды поисковый роботов

У поисковых систем есть несколько пауков, каждый из которых поддерживает выполнение запрограммированных функций (рис. 2).

Пауки «Яндекс»

• Yandex/1.01.001 (compatible; Win16; I) — центральный поисковый продукт «Яндекса», который индексирует контент.
• Yandex/1.01.001 (compatible; Win16; P) — робот, который индексирует картинки и фотографии.
• Yandex/1.01.001 (compatible; Win16; H) — отыскивает зеркала и дубли ресурса.
• Yandex/1.03.003 (compatible; Win16; D) — первый паук, который приходит на ресурс после добавления его через раздел вебмастера. Его задачи — проверка добавленных параметров, указанных в панели, на соответствие.
• Yandex/1.03.000 (compatible; Win16; M) — краулер, который посещает страницу после ее загрузки по ссылке «Найденные слова» в поисковой выдаче.
• YaDirectBot/1.0 (compatible; Win16; I) — индексирует сайты из рекламной сети «Яндекса» (РСЯ).
• Yandex/1.02.000 (compatible; Win16; F) — бот сканирует фавиконы сайтов.

Пауки Google

• Googlebot — центральный робот.
• Googlebot News — бот, который находит и индексирует новости.
• Google Mobile — анализирует версии сайтов для смартфонов.
• Googlebot Images — веб-паук, индексирующий графику.
• Googlebot Video — сканирует видеоролики и индексирует их.
• Google AdsBot — оценивает страницу по качественным параметрам.
• Google Mobile AdSense и Google AdSense — индексируют сайты рекламной сети Google.

Вежливые пауки — как научить роботов правилам поведения

Вежливыми называют краулеров, которые действуют, придерживаясь существующих правил поведения на сайте. Эти правила пишут вебмастеры, размещая их в файле robots.txt (рис. 3). Пауки, которые попадают на сайт, на начальном этапе изучают информацию в указанном файле, где перечислены страницы, содержание которых не подлежит разглашению (регистрационные данные пользователей, административные сведения). Получив указания, паук приступает к индексации сайта, либо покидает его.

В robots.txt прописывают:

• разделы сайта, закрытые/открытые для ботов;
• интервалы, которые паук обязан выдерживать между запросами.

Правила адресуются всем краулерам или какому-то определенному. Открыв файл http://yandex.ru/robots.txt, мы увидим: User-agent: * … Disallow: /about.html … Disallow: /images/* Allow: /images/$

User-Agent: Twitterbot Allow: /images

Расшифруем эти данные:

• ни одному роботу не разрешено заходить на страницу /about.html;
• веб-пауку Twitterbot предоставляется возможность просматривать ресурсы с адресами типа /images;
• прочие боты могут посещать страницы, заканчивающиеся на /images/, погружение ниже уровня Disallow: /images/* запрещено.

Вежливый робот всегда представляется и указывает в заголовке запроса реквизиты, которые дают возможность вебмастеру связаться с владельцем. Для чего вводятся ограничения? Владельцы ресурсов заинтересованы в привлечении реальных пользователей и не желают, чтобы программы строили на их контенте свой бизнес. Для этих целей сайты часто настраивают на обслуживание браузерных HTTP-запросов и лишь за тем — запросов от программ.

Читайте другие статьи на тему «Поисковой паук»:

Полезные ссылки

www.optimism.ru

Краулер для краулера / Habr

Для целого ряда приложений, связанных с мониторингом интернет-ресурсов и сбором статистики, актуальна задача поиска текстовой информации в сети. Для чего именно это может пригодится и как это сделать?

Если интересно, то Добро пожаловать под кат!

Яркими примерами являются задачи копирайтинга, поиск заимствований, утечек документов, в конце концов. Нужен ли для этого свой краулер или можно воспользоваться поисковиками? В ходе решения этого вопроса возникла идея написать “краулер для краулера”, другими словами, сбор данных с поисковиков по заданному запросу.

Первый резонный вопрос: почему не использовать штатное API поисковика? Если мы используем только один поисковик, то можно и API, но для этого надо будет следить за его изменениями и править свой код. Мы же решили сделать универсальный механизм: заменив XPath в настройках, можно настроиться на работу с любыми поисковыми системами (но не ограничиваться ими). Разумеется, пришлось предусмотреть работу со списком прокси, чтобы, во-первых, не забанили, а, во-вторых, чтобы можно было получать поисковую выдачу для разных регионов (по geoIP используемого прокси).

При построении структуры приложения был сделан шаг в сторону кросс-платформенной разработки, с использованием микросервисной архитектуры на основе docker контейнеров.

Схема работы приложения предельно проста: интерфейс взаимодействия с системой реализован на flask, на вход которого ожидается запрос формата JSON-RPC, имеющий следующий вид:

requests.post('http://127.0.0.1:5000/social', json={
   "jsonrpc":"2.0",
   'id':123,
   'method':'initialize',
   'params':{
      'settings':{
         'searcher':'<твой любимый поисковик>',
         'search_q':[
            'why people hate php'
         ],
         'count':1
      }
   }
})

Далее инициализируется задача в очереди RabbitMQ. Когда приходит её очередь выполнения, модуль обработки задач принимает её в разработку. При выполнении процесса предоставляется актуальный proxy, создается эмулятор работы браузера.

Для чего же нам использовать ту злосчастную эмуляцию, а не использовать всеми любимый requests? Ответ прост:

• для решения проблемы с динамически подгружаемым контентом;
• притворяться ужом (пользователем с реальным браузером) для отсрочки блокировки прокси.

Для этого и используется selenium webdriver, который позволяет нам получить страницу в том виде в котором ее получает пользователь в своем браузере (со всеми отработавшими скриптами и проверками), и, в случае необходимости, дает возможность имитировать действия на странице, к примеру, для получения следующей порции данных.

К счастью, в большинстве поисковых систем процесс получения следующей страницы происходит путем перехода по заранее скомпонованной ссылке, и его можно реализовать при помощи GET запросов, инкрементируя её номер.

Как только желаемая страница нами получена, дело остается за малым и его с радостью выполнит parser (с использованием сконструированного нами конфига, содержащего Xpath необходимых элементов), который, в свою очередь, отправит интересующую нас информацию в MongoDB.
На каждом этапе выполнения в Redis указывается статус обработки задачи, основываясь на ее id.

Рассмотрим возможные проблемы, с которыми мы можем столкнуться:

1. Реклама в выдаче — зашумляет данные, раздувает базу;
2. Сайты могут подгружать контент динамически, например, при прокручивании страницы;
3. Капча — ну здесь всё очевидно.

Если же сайт маскирует рекламу среди полезного контента, то нам на помощь приходит firefox webdriver + adblock + selenium. Однако, в случае поисковиков, реклама достаточно просто выявляется при помощи XPATH и убирается из выдачи.

Итак, капча — наш злейший враг.
Распознавать её — задача нетривиальная и требует значительных ресурсов для реализации. Значит будем искать путь обхода.

И нами он был найден! Для этого мы и будем использовать прокси. Как оказалось, большая часть прокси, находящихся в открытом доступе, не позволяет обойти нашего оппонента (так как уже давно скисли и забанены), ситуация с платными прокси обстоит немного лучше, но тоже не идеальна (и все-таки дает нам лучик света в темном царстве).

Первая мысль — поиграться с user-agent. Экспериментальным путем выяснено, частая ротация user-agent лишь приближала прокси к преждевременной кончине (блокировку прокси поисковыми сервисами никто не отменял). Верным решением для продления жизни прокси оказалось включение таймаута на его использование, запросы должны идти с некоторой задержкой. Это, конечно, не панацея, но лучше, чем ничего.

Также можно использовать антикапча сервис, но это уже совсем другая история…

Как результат мы получили архитектуру и прототип системы, позволяющую производить сбор данных с поисковых и других источников.
Спасибо за внимание.

habr.com

С чего начинается поисковик, или несколько мыслей про crawler / Habr

В продолжение начатой темы про собственную поисковую машину

Итак есть несколько крупных задач, которые должна решить система поиска, начнем с того что отдельную страницу надо получить и сохранить.
Тут есть несколько способов, в зависимости от того, какие способы обработки Вы выберете в дальнейшем.

Очевидно, надо иметь очередь страниц, которые надо загрузить из web, хотя бы для того чтобы потом на них смотреть длинными зимними вечерами, если ничего лучшего не придумать. Я предпочитаю иметь очередь сайтов и их главных страниц, и локальную мини очередь того что я буду обрабатывать в данное время. Причина проста – список всех страниц которые я хотел бы загрузить просто за месяц – может существенно превысить объем моего немаленького винчестера :), поэтому я храню только то что действительно необходимо – сайты, их на данный момент 600 тысяч, и их приоритеты и времена загрузки.

При загрузке очередной страницы, все ссылки с этой страницы надо либо добавить в локальную очередь, если они остаются в рамках сайта, который я обрабатываю, либо в основной список сайтов к которым мне предстоит рано или поздно вернуться.

Сколько страниц получать с одного сайта за раз? Лично я предпочитаю не больше 100 тысяч, хотя периодически меняю это ограничение всего на 1000 страниц. Да и сайтов на которых страниц больше – не так много.
Сейчас рассмотрим подробнее:

Если мы получаем 1 страницу за раз, все страницы последовательно, то сколько страниц мы обработаем, скажем, за час?
— время получения страницы складывается из:
· времени, которое мы ждем ответа ДНС (оно, как показывает практика совсем не мало). ДНС сопоставляет имени сайта «site.ru» ip адрес сервера, на котором он лежит, и это не самая простая задача учитывая, что сайты имеют обыкновения переезжать, маршруты роутинга пакетов меняться и многое другое. Вкратце, ДНС сервер хранит таблицу адресов, и каждый раз мы стучимся к нему чтобы понять адрес – куда идти за страницей.
· времени коннекта и отсылки запроса (быстро если у вас хотя бы средний канал)
· времени получения собственно ответа – страницы

Именно поэтому Яндекс, по слухам, в свое время столкнулся с самой первой проблемой – если получать действительно много страниц, то ДНС провайдера не в состоянии справится с этим – по моему опыту задержка составляла до 10 секунд на адрес, тем более что надо еще передать ответ туда сюда по сети, и я у провайдера не один. Замечу, что при запросе последовательно 1000 страниц с одного сайта, Вы будете каждый из 1000 раз дергать провайдер.

С современным железом довольно просто поставить себе локальный кэширующий ДНС сервер в локальной сети, и грузить своей работой его, а не провайдер – тогда провайдер займется пересылкой Ваших пакетов быстрее. Однако можно заморочится и написать кэш в рамках вашего загрузчика страниц, если Вы пишете на достаточно низком уровне.
Если же используете готовые решения типа LWP или HTTP модулей для Perl, то локальный ДНС сервер будет оптимален.

Теперь положим, что ответ идет до Вас 1-10 секунд в среднем – есть быстрые сервера, а есть и очень медленные. Тогда в минуту Вы получили 6-60 страниц, в час 360-3600, в день примерно от 8000 до 60000 (осознано округляю в меньшую сторону на всевозможные задержки: в реальности при запросе 1 страницы за раз без локального ДНС, на канале 100mbit/s, Вы получите 10000 страниц в сутки, конечно, если сайты будут разные, а не один очень быстрый)

И даже учитывая, что здесь не учтено время на обработку, сохранение страниц – результат, откровенно, мизерный.

Ок, сказал я, и сделал 128 запросов за раз параллельно, все летало отлично – пик 120 тысяч страниц в час, пока не стали поступать матерные логии от админов серверов куда я стучался, о ДДОС атаках, ну да 5000 запросов за 5 минут это наверное не любой хостинг позволяет.

Все решилось тем, что одновременно грузить я стал 8-16 разных сайтов, не больше чем по 2-3 страницы параллельно. Получилось что-то около 20-30 тысяч страниц в час, и меня это устроило. Надо сказать ночью показатели намного вырастают

Полное содержание и список моих статей по поисковой машине будет обновлятся вот здесь: http://habrahabr.ru/blogs/search_engines/123671/

habr.com

«Маленький» вездеход Rock Crawler 1/18

Существует довольно много классов RC машинок, большинство из них предназначены для быстрой езды. Но есть один класс, ипостась которого преодоление препятствий, имея при этом малую скорость.

Краулеры или по-английски «Rock Crawler» — особые машины со специальным изгибающимся шасси, позволяющим им преодолевать невероятные препятствия. Это медленные машины для лазанья по огромным камням.

Итак, сегодняшний обзор будет посвящен радиоуправляемой машинке типа Crawler 18 размера. Всех заинтересовавшихся прошу под кат!

Чем больше машина, тем сложнее хочется найти подходящую трассу для нее, но для того что бы стать владельцем огромного краулера, придется выложить не малую сумму. В нашем же распоряжении не самая маленькая машинка из класса ( 26,5 × 16 × 12,5 ) и горная местность Северного Кавказа. Еще до момента получения посылки на почте, я уже прекрасно знал место, где будет проходить данный обзор. Приступим!

Упакован краулер в плотную коробку с яркими эмблемами и техническими данными со всех сторон. В этот раз почта России доставляла посылку, но доставить в идеальном состоянии получилось лучше, чем у транспортной компании из предыдущего обзора.
Что же мы видим на верхней грани упаковки:

• Полный привод 4WD

• Мягкие пружины

• Вездеходные шины

На нижней грани варианты цветового исполнения краулера, а так же используемые источники питания в пульте 3×1,5v АА и машине 4,8v 700mAh.

Внутри коробка состоит из 2х отсеков, верхний автомобиль, нижний аксессуары к нему. Все подогнано настолько плотно, что даже при тряске никакого звона и шума.

Нижняя упаковка включает в себя классический пульт управления и маленькую коробку с зарядным устройством, к которому мы перейдем после.

Работает аппаратура на стандартной, для большинства RC игрушек, частоте в 2.4 GHz. Имеет сбоку регулятор включения и индикация работы.

Колесо управления имеет прорезиненное покрытие для более цепкого хвата. Из-за особенности ходовых качеств машинки, колесо имеет малый ход поворота. Так же рычаг газа/тормоза не имеет плавного хода, если вы захотите проехать медленно, то вряд ли у вас это получится.


Питается данная аппаратура от 3х батареек типа АА. При распаковке и попытке включить пульт ничего не получилось, было все предпосылки к тому, что необходимо докупать батарейки, а оказалось, производитель позаботился о своих клиентах и снабдил необходимым, а для защиты от разряда, поместил каждую в термоусадку.


В руле лежит хорошо, при относительно небольшой цене за модель, пульт имеет качественный пластик.


Заряжается краулер от USB, для этого в комплекте идет провод со своим разъемом на одном конце и USB на другом. Потребляет 5v и от 0,5-2A и выдает 4,8v c током в 250mA. Производитель заявляет время зарядки около 4 часов, но из-за отсутствия индикатора на зарядном устройстве сложно это проверить.


Инструкция по эксплуатации состоит из 2-х одинаковых брошюр, на китайском и английском языках. Полезного в них мало.


Что же представляет из себя краулер? Это полноприводный вездеход с высоким клиренсом.



Устройство краулера схоже с любым полноприводным автомобилем, внося лишь малые добавки, присущие RC машинкам. Три тяги на заднем мосту, амортизаторы с металлическим штоком и пружиной и пара реактивных тяг, удерживающие этот мост, вот и все устройство задней части автомобиля.

Радует, что открутив все болты с задней балки, можно увидеть наличие смазки между шестеренками, двигатель же без маркировки.


Благодаря трем рычагам, подвеска может изгибаться под любым ей углом

Колесная база выполнена на дисках с «хекс» креплением. Протектор грубый, позволяет карабкаться машинке по труднодоступным местам.


Ширина резины около 20мм.

Между диском и внутренней полостью резины пустота, кстати, резина бортируется легко (она не проклеена).

Рядом со средней тягой проходит питающий провод к электромотору, тяги видно, что в смазке, производитель позаботился об износостойкости пластиковых деталей.

Передний мост состоит из 2 электромоторов, один на привод передних колес в движение, а другой на поворот этих самых колес.

Снизу к двигателю крепится защита, она же выполняет роль бампера. Но от этого только страдает подвижность, так как находится она низко и выпирает.

Конструкция рулевой рейки выполнена как на «взрослых» машинах, привод идет от рулевого редуктора к правому колесу, а далее тяга Панара передает на левое колесо

Снизу на днище двигателя имеется регулировки положения колес и прорези вентиляции.

Центральная часть занимает место под аккумулятор и кнопки включения, питается машинка от 4.8V.

Что больше всего раздражает, так это доступ к аккумулятору прикрытый шурупом. Т.е каждый раз когда вы откатали весь заряд, необходимо открутить его и извлечь аккумулятор, а потом повторить эту процедуру в обратном порядке. Итак каждый раз… А если не использовать шуруп, то держится крышка не очень крепко. Вот такая дилемма!

Второй раздражающий момент, это слишком короткий разъем для подключения батареи. Длина выступающей поверхности не больше 10мм

Аккумулятор Ni-Cd на 700 mAh, состоит из 4х АА батарей. Держит заряд около 20-25минут

Корка не съемная, выполнена в стилистике багги, с каркасом жесткости. На капоте и крыше эмблемы и название вида RC car. На задней части имеется запаска, которая носит чисто декоративный элемент.

Салон может похвастаться проработанным интерьером, с рулем и ковшами

О ходовых качествах можно сказать следующее, мощности моторов хватает с лихвой для карабканья по камням, но из-за выступающего бампера часто машина упирается, если двигаться прямо, при движении под углом этого можно избежать.

Для того, что бы увидеть, как краулер преодолевает препятствие в своей естественной среде, прикрепляю видео:

Еще одной отличительной особенность данной модели является то, что при вороте колес до упора, моторчик продолжает работать

О работе подвески можно судить по видео ниже:

Для большего понимания, того что имеем, обозначим плюсы:

• Цена (магазины России предложат похожую модель по цене гораздо выше)

• Высокая проходимость

• Крупный размер

• Удовольствие в преодолевании препятствий

• Наличие смазки в редукторах

• Длительное время работы (около 25 минут)

Минусы:

• Малый ход поворота колес

• Низкий бампер

• Отсутствие запасных частей

• Пластиковые узлы ( в принципе из-за медленной скорости необходимость в металлических узлов не столь необходима)

• Для зарядки батареи необходима отвертка

• Отсутствие плавной регулировки газа

Подводя итоги можно отметить хорошие вездеходные качества краулера, относительно большое время работы и крупные размеры (около 30см), тем самым перекрывая многие минусы, которые имеют место быть. Я не указывал в обзоре максимальную скорость передвижения, производителем она заявлена около 20 км/ч, на самом деле же 8-10, но ведь этот класс машин покупают не за их высокие скорости, а для медленного преодолевания препятствий. Покупая такую машину и не имея подходящей трассы можете не переживать, по подушкам машинка карабкается не хуже 🙂

Товар предоставлен для написания обзора магазином. Обзор опубликован в соответствии с п.18 Правил сайта.

mysku.ru

crawler — с английского на русский

Crawler — may refer to: Crawler, a person who crawls or creeps along the ground Crawler (band), a British rock band Crawler transporter, a vehicle used to move space vehicles on Earth Web crawler, a computer program that gathers and categorizes information …   Wikipedia

crawler — [ krole ] v. intr. &LT;conjug. : 1&GT; • 1931; de crawl ♦ Nager le crawl. Dos crawlé : crawl nagé sur le dos. ● crawler verbe intransitif Nager le crawl. crawler v. intr. Nager le crawl. Pp. adj. Dos crawlé: nage sur le dos, en crawl. crawle …   Encyclopédie Universelle

crawler — spider, Also known as bot or crawler. A computer program or programs which seek out and collect information from publicly available websites. Such programs are used by search engines (such as Yahoo!, Google and AltaVista) to visit websites and… …   Law dictionary

Crawler — Crawl er (kr?l ?r), n. One who, or that which, crawls; a creeper; a reptile. [1913 Webster] …   The Collaborative International Dictionary of English

Crawler —   [dt. »Krabbler«] (Web Robot, Internetroboter, Spider), andere Bezeichnung für einen Web Robot (Roboter), also ein Programm, das autonom das Internet durchsucht und Listen mit Webadressen und Inhalten erzeugt …   Universal-Lexikon

crawler — /ˈkrɔlə/ (say krawluh) noun 1. someone or something that crawls. 2. → caterpillar1. 3. an abject flatterer. 4. (usually plural) → rompers. 5. a person who is slow or lazy, or unfit to work. 6. an animal which is docile through temperament, old… …   Australian English dictionary

Crawler — Ein Webcrawler (auch Spider) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS Newsfeeds, E… …   Deutsch Wikipedia

Crawler — Robot d indexation Pour les articles homonymes, voir Spider. Un robot d indexation (ou littéralement araignée du Web ; en anglais web crawler ou web spider) est un logiciel qui explore automatiquement le Web. Il est généralement conçu pour… …   Wikipédia en Français

crawler — /kraw leuhr/, n. 1. a person or thing that crawls. 2. Also called crawler tractor. any of various large, heavy vehicles or machines that are propelled on endless belts or tracks, esp. as used in construction. 3. hellgrammite. 4. Often, crawlers.… …   Universalium

Crawler — Ein Crawler, auch Spider oder Robot genannt, ist eine Software, die das Netz nach neuen oder aktualisierten Webseiten durchsucht. Robots sind bei Volltext Suchmaschinen im Einsatz, die die gefundenen Seiten nach Stichwörtern in ihre Datenbank… …   Online-Wörterbuch Deutsch-Lexikon

crawler — [[t]krɔ͟ːlə(r)[/t]] crawlers N COUNT A crawler is a computer program that visits websites and collects information when you do an Internet search. [COMPUTING] …   English dictionary

translate.academic.ru