Как правильно собрать семантическое ядро?

Научимся собирать семантическое ядро. Разбивать его по категориям и страницам (кластеризация), создавая правильную и понятную структуру сайта.

Семантическое ядро (СЯ, семантика) — набор ключевых слов, который отражает тематику Вашего сайта, товара, услуги. К его сбору нужно подходить с особым вниманием. Правильная и полная семантика залог эффективного продвижения.

Сбор семантического ядра означает определение слов или фраз, по которым пользователи интернета могут искать ваш товар или услугу.

Структура поискового запроса

Прежде чем приступить к сбору семантического ядра давайте разберемся из чего состоит поисковый запрос. Это поможет нам лучше понять дальнейшие действия.

Итак, поисковый запрос можно разделить на три составные части: тело, спецификатор и хвост. Причем последние две части могут отсутствовать. Чаще всего тело запроса — это базовый, высокочастотный ключ, по которому нельзя определить интент пользователя.

Например: такой запрос, как «телефон» является базовым, высокочастотным и высококонкурентным запросом, состоящим только из тела и не имеющий определенного намерения. Человек может хотеть купить (продать, отремонтировать) телефон, либо посмотреть фильм телефон, либо почитать про создание первого телефона и т.д.

Интент определяется спецификатором запроса. Именно спецификатор определяет какой это запрос — транзакционный или информационный. Например (спецификатор выделен жирным шрифтом):

• Купить телефон
• Смотреть телефон
• Как выбрать телефон
• Ремонт телефона

Наличие же хвоста в структуре запроса уточняет интент. Например (хвост выделен жирным шрифтом):

• Купить телефон онлайн
• Купить телефон с доставкой
• Заказать телефон самсунг

Если в хвосте есть упоминание конкретного адреса или сайта, то такой запрос считается навигационным. Например:

• Купить телефон с доставкой в Шымкенте
• Заказать телефон в Сулпаке

Теперь, когда мы знаем как устроены запросы, нам будет легче определить базовые запросы, состоящие только из тела, и определяющие суть нашего товара или услуги.

Как собрать семантику?

Условно сбор СЯ можно поделить на три этапа:

1. Сбор базовых ключевых слов, можно со спецификатором (купить телефон)
2. Расширение списка базовых ключевых слов путем охвата слов с хвостами (купить самсунг с8 в караганде)
3. Удаление «мусора» (купить айфон 7 — при условии если магазин продает только андроид устройства)

Этап 1. Сбор базовых ключевых слов

Мозговой штурм

Возьмите листок бумаги и запишите список фраз, как бы вы сами искали свой товар или услугу. Далее попросите своих друзей и/или коллег сделать то же самое.

Список фраз конкурентов

Зайдите на сайты основных конкурентов, посмотрите их title и заголовки h2-h6. Это поможет вам не упустить важные ключи.

Просмотр запросов в Яндекс Вордстате

Интерфейс главной страницы — https://wordstat.yandex.kz/

Специальный инструмент, который показывает статистику запросов в Яндексе.

Несколько нюансов, которые Вы должны учитывать:

Изначально Вордстат показывает не статистику по предыдущему месяцу, а дает предварительный прогноз показов в месяц (основываясь на предыдущих данных — последние 28 дней). Чтобы просмотреть статистику запросов по месяцам, необходимо перейти в раздел «История запросов». В таком случае перед нами будут данные за прошедший период времени.

Статистика запросов за прошедший год в Яндекс Вордстате

Цифры напротив запроса это количество всех показов, включающих данное слово. Например: Если вбить «телефон» без выбора региона на 6 ноября 2019 года количество показов составляет 54 361 142 в месяц (вернее составит по прогнозам Яндекса). Сюда входят все запросы со словом телефон — «скачать на телефон», «номер телефона», «бесплатный телефон» и т. д. Это важно знать и всегда держать в голове при сборе семантики.

Для того чтобы увидеть количество показов только по конкретному ключу, необходимо заключить его в «». И обратить внимание на строчку — Что искали со словом «телефон». Отсюда мы имеем прогноз в 64 663 показа в месяц вместо 54 361 142. Подробнее про операторы Яндекса читайте тут.

Похожие запросы, подсказки

Можно дополнять свою семантику с помощью правого столбца Яндекс Вордстата, где показываются похожие запросы.

Еще слова можно собрать из подсказок Яндекса и Гугла. Для этого просто начните вводить запрос и ПС покажут вам наиболее популярные запросы за последнее время.

Причем углубляться в запрос, добавляя хвосты можно несколько раз.

Внизу страницы ПС также есть похожие запросы, которые мы можем добавить к себе в семантическое ядро.

Сбор семантического ядра

Сам процесс сбора семантики сводится к тому, чтобы собрать все связанные ключи в один файл. Создайте excel таблицу, внесите в нее все подходящие вашему товару или услуге слова. Не забывайте про все источники о которых было написано выше.

Чистка семантического ядра

Перед кластеризацией (группировка) ключевых слов необходимо обработать собранные данные и удалить лишнее:

• Очистить запросы от от пустых ключей без явного трафика
• Убрать ключи, которые не относятся к вашему товару/услуге
• Почистить ключи от ошибок в правописании (ПС автоматически исправляют такие запросы и знают, что хотел ввести пользователь)
• Убрать ключи с упоминанием конкурентов
• Удалить дублирующиеся ключи

Группировка ключевых слов

После того, как вы собрали такую табличку со списком всех слов, необходимо разделить их на смысловые группы (кластеризация) для дальнейшего распределения по страницам сайта.

Выделим два варианта группировки запросов:

• Собираете группы сами, основываясь на здравом смысле и логике.
• Собираете группы согласно ТОПу поисковой выдачи

Есть много программ и сайтов, которые помогут вам увидеть как ПС группируют те или иные запросы. С их помощью можно выгрузить ТОП Яндекса и посмотреть есть ли повторяющиеся страницы по разным запросам. Тут все просто, чем больше одинаковых страниц по разным запросам тем выше вероятность успешного продвижения этих ключевых фраз на одной странице, и наоборот, если выдача сильно разнится, то продвигать такие ключи стоит на разных страницах своего сайта.

Разберем на примере. У нас есть три ключевых фразы:

1. купить телефон
2. телефон отзывы
3. заказать телефон

Переходим на сайт https://arsenkin.ru/tools/check-top/ и вбиваем свои ключи, выбираем ПС Яндекс (она доступна бесплатно), устанавливаем нужный регион, в данном примере это Казахстан и выбираем глубину проверки топ-10. Жмем на кнопку «Начать проверку»

После нескольких секунд ожидания инструмент покажет нам результаты проверки. Здесь мы видим что 1 и 3 запросы (купить телефон и заказать телефон) имеют 7 одинаковых страниц в топе Яндекса, тогда как 2 запрос (телефон отзывы) в выдаче имеет совершенно другие сайты. Отсюда делаем вывод, что нам нужно создать две страницы. Одна для 1 и 3 запроса и вторая для 2 запроса. Так продвижение будет идти быстрее и эффективнее.

В конце у вас должен получится готовый excel файл со списком всех слов, которые распределены по группам. Далее остается спроектировать структуру нашего сайта с учетом собранной семантики и распределить группы ключей по страницам. При распределении групп по страницам отвечайте на два вопроса:

• Какую информацию вы хотите предоставить?
• Где следует опубликовать тот или иной материал?

Как собрать семантическое ядро сайта в Wordstat через Key Collector

Головная боль любого профессионального сеошника — это собрать хорошую семантику. Как раз мне пришел новый проект на продвижение, и в этом посте я покажу реальный сбор большого семантического ядра для сайта.

Хотя этот пример я буду делать на основе интернет магазина, но сам принцип можно вполне применять для любого типа сайта — корпоративного, сайта услуг, информационного проекта.

Содержание:

• 1 Как собрать семантическое ядро для интернет магазина
• 2 Как собрать семантическое ядро с помощью кей коллектор
• 3 Сбор семантического ядра конкурентов
• 4 Сбор семантики в букварикс

Как собрать семантическое ядро для интернет магазина

Начинается все с анализа клиентского проекта, сайтов конкурентов и составления первичной структуры. Цель этой задачи — понять, по каким направлениям нужно собирать семантику.

Я отрисовываю первичную структуру в Xmind, у меня получилась вот такая схема.

Теперь начинается самое интересное.

Как собрать семантическое ядро с помощью кей коллектор

На мой взгляд key collector — это просто незаменимая программа для автоматического сбора семантики. Я закидываю все запросы, которые у меня получились в структуре в яндекс wordstat, google adwords, а также в подсказки яндекс и google.

сбор семантики в wordstat

сбор семантики в google adwords

сбор семантики в подсказках яндекс и google

На выходе получается просто огромное ядро, которое нужно хорошо почистить.

Чистку я делаю на уровнях частотности (удаляю нулевки), дублей явных или неявных, стоп слов и разного мусора через фильтры.

чистка ядра по частотности

чистка неявных дублей

чистка стоп слов

чистка через фильтры

Конечно, мне здесь сильно помогает антикапча, иначе я бы просто замудохался все время вводить эти буквы и цифры. Я использую сервис anti-captcha.com.

Вот подробное видео:

Или вот еще альтернативный вариант, сервис rucaptcha:

После того, как ядро почищено, я делаю новую итерацию — закидываю ключи снова на парсинг в wordstat, adwords и подсказки, потом опять чищу и получается готовое ядро.

Для данного проекта итерацию я делать не стал, так как проект достаточно большой и запросов вполне хватает, чтобы обеспечить прогнозируемые результаты.

Сбор семантического ядра конкурентов

Следующий шаг — это собрать семантику конкурентов с помощью сайта keys.so. На мой взгляд, это просто офигенный сервис для парсинга чужих запросов, у него мало мусора и очень большая база.

Просто нахожу несколько сайтов конкурентов (3-4 достаточно) по самым жирным запросам, загоняю их в сервис, и он выдает ВСЕ ключи, по которым они продвигаются.

Затем также загоняю их в кейколлектор, чищу от разного мусора аналогично вышеописанному, и получается отличное семантическое ядро конкурентов плюсом к уже собранному ядру.

Сбор семантики в букварикс

Еще одна программа, которую я использую в работе — это bukvarix.com. Отличная прога, мало мусора, очень большая база. Единственный минус — весит просто до хера. Только в сжатом виде около 40 Гб, а в распакованном более 170.

Также загоняю в нее все слова из структуры.

Результат парсинга аналогично чищу через кейколлектор. На выходе получаю еще одно семантическое ядро.

Теперь заключительный момент — нужно все это скомпоновать (первичный парсинг кейколлектора, конкурентов из key.so и букварикс), почистить от дублей и вот она — готовая семантика для интернет магазина.

После сбора семантическое ядро нужно кластеризовать, но это уже совсем другая история.

По времени, в среднем, в моем не спешащем темпе такое ядро я собираю где-то за 2 недели. Долго это или быстро, не знаю, у меня вот такой темп.

Повторюсь, что такая схема подойдет для любого типа сайта, и для своих информационных проектов я собираю семантику точно таким же способом.

Конечно, можно быстро вручную собрать базовое семантическое ядро для сайта бесплатно и онлайн с помощью того же сервиса yandex.wordstat.ru, но оно получится однобоким, очень маленьким, и у вас просто будет мало возможностей его расширить.

Посмотрите видео, как за 2 минуты собрать большое семантическое ядро.

Если вам понравилась статья или была полезной, то пишите ваши комментарии, вопросы.

 

History — Semantic Arts

Часть проблемы

Velocity.com

Semantic Arts Born

Расширение и рост

Часть проблемы

До основания Semantic Arts Дэйв МакКомб был «частью проблемы» . Он начал свою карьеру в Andersen Consulting (подразделение Arthur Andersen, которое впоследствии стало Accenture). За 13 лет работы в Andersen он руководил рядом крупных и успешных проектов по разработке корпоративных приложений, в том числе двумя заказными проектами по проектированию, созданию и внедрению ERP (один из которых был реализован в Папуа-Новой Гвинее, одном из самых отдаленных уголков мира). ).

Он ушел из Andersen, чтобы развивать и продвигать относительно новую дисциплину объектно-ориентированной разработки. Именно в этом воплощении он начал видеть семантический свет. Процесс идентификации и проектирования «классов» в объектно-ориентированной системе казался настолько произвольным и беспринципным. Два первых официальных документа послужили толчком к тому, чтобы начать рассматривать информацию с точки зрения смысла.

В 1992 году, работая с архитекторами, спроектировавшими все магазины Wal-Mart в Северной Америке, он провел свой первый семинар по семантическому моделированию и начал создавать объектно-ориентированные системы на основе семантического ядра.

Velocity.com

В середине-конце 1990-х годов, получив свой знак отличия, он стал соучредителем Velocity.com, стартапа по разработке программного обеспечения для здравоохранения. Однажды, когда он рисовал на доске подробное представление архитектуры, ему пришло в голову, что в файлах конфигурации, разбросанных по всей архитектуре, может скрываться модель. В конечном итоге это стало семантической моделью, но не приложения, а самих приложений. Это привело к перестройке архитектуры вокруг этой модели, которая была запатентована как первая архитектура, полностью управляемая моделями.

Мыльный пузырь Velocity лопнул вместе со многими другими весной 2000 года. Когда архитектура и патенты попали в горящие обломки velocity. com, Дэйв и некоторые из его сообщников предположили, что то, что они знания, полученные при раскрытии и применении семантики, могут стать основой для практики консультирования по профессиональным услугам.

Рождение Semantic Arts

Semantic Arts была запущена летом 2000 года. В 2001 году статья Тима Бернерса-Ли в журнале Scientific American попала в газетные киоски. Казалось, что это будет только вопросом времени, когда компании начнут требовать Semantic Technology.

Это был вопрос времени. Много времени. В течение большей части этих первых лет бригада участвовала в традиционных ИТ-консалтинговых проектах (технико-экономические обоснования, анализ требований, долгосрочные ИТ-планы, проектирование архитектуры и т. п.) и выполняла их. Каждый проект выполнялся с использованием технологии Sematic, в основном в фоновом режиме, время от времени появляясь в некоторых результатах.

Дэйв МакКомб написал книгу «Семантика в бизнес-системах» в 2003 году и стал соучредителем конференции по семантической технологии в 2007 году. И, как однажды заметил Йоги Берра, «они оставались в стороне толпами». Наконец лед начал таять. Компании начали запрашивать семантику. Слово на «О» (Онтология) можно было произнести в приличной компании. Фирма начала создавать онтологии и проектировать семантическую архитектуру для их реализации. А онтологии и архитектуры томились на книжных полках.

Фирма развернулась. Semantic Arts должна была стать средством реализации, поэтому они построили архитектуру, нагрузили архитектуру онтологиями и заполнили ее тройками. Как и многие компании-разработчики программного обеспечения, они построили свои собственные внутренние системы, используя подходы, которые они поддерживали, в процессе, известном как «едение собственной собачьей еды». Создавая свои собственные системы с использованием технологии, которую они рекомендовали клиентам, они заранее получают представление о том, что работает, а что нет.

Расширение и рост

Шли годы, Semantic Arts росла и расширялась. В 2020 году были созданы Semantic Arts Canada и Semantic Arts UK, чтобы лучше обслуживать наших клиентов и привлекать лучшие таланты со всего мира.

Команда из почти 30 сотрудников позволяет нам продолжать обслуживать как существующих, так и новых клиентов на их пути к архитектуре, ориентированной на данные. Имея клиентов всех размеров в разных отраслях, а также проекты в различных бизнес-подразделениях, у нас есть хороший опыт, чтобы помочь с любым проектом.

Semantic Arts по-прежнему стремится не только обслуживать клиентов, но и вносить свой вклад в более широкую область в качестве идейных лидеров и новаторов. Вы найдете членов команды, выступающих с презентациями на конференциях, делящихся знаниями со следующим поколением в университетах, проводящих тренинги для компаний, желающих разработать семантические решения, а также пишущих/ведающих блоги о текущих тенденциях в отрасли.

Как создать семантический поиск на естественном языке для произвольных объектов с помощью глубокого обучения | Хамель Хусейн

Комплексный пример того, как построить систему, которая может выполнять семантический поиск объектов. Авторы Hamel Husain & Ho-Hsiang Wu

Фотография Хубота.

Мощь современных поисковых систем неоспорима: вы можете получить информацию из Интернета в любой момент. К сожалению, эта сверхспособность не вездесуща. Есть много ситуаций, когда поиск сводится к строгому поиску по ключевым словам или когда объекты не являются текстом, поиск может быть недоступен. Кроме того, строгий поиск по ключевым словам не позволяет пользователю выполнять семантический поиск, а это означает, что информация не так легко обнаруживается.

Сегодня мы делимся воспроизводимым, минимально жизнеспособным продуктом, который иллюстрирует, как вы можете включить семантический поиск для произвольных объектов! Конкретно, мы покажем вам, как создать систему, которая выполняет семантический поиск в коде Python, но этот подход можно обобщить и на другие объекты (такие как изображения или звуковые клипы).

Чем так интересен семантический поиск? Рассмотрим следующий пример:

Семантический поиск в работе с кодом Python. * См. раздел «Отказ от ответственности» ниже.

Представлен поисковый запрос « Ping REST API и вернуть результаты». Однако поиск дает разумные результаты, даже если найденный код и комментарии не содержат слов Ping, REST или API.

Это иллюстрирует силу семантического поиска : мы можем искать контент по его значению в дополнение к ключевым словам и максимизировать шансы пользователя найти информацию, которую он ищет. Последствия семантического поиска очень глубоки — например, такая процедура позволит разработчикам искать код в репозиториях, даже если они не знакомы с синтаксисом или не могут предвидеть правильные ключевые слова. Что еще более важно, вы можете обобщить этот подход на такие объекты, как изображения, аудио и другие вещи, о которых мы еще не думали.

Если это недостаточно увлекательно, вот живая демонстрация того, что вы сможете построить к концу этого урока :

Иногда я использую блокноты Jupyter и пользовательские магические функции для создания демонстраций, когда я не могу построить красивую Веб-сайт. это может быть быстрый способ интерактивно продемонстрировать свою работу!

Перед тем, как погрузиться в технические детали, полезно дать вам общее представление о том, как мы будем выполнять семантический поиск. Основная идея состоит в том, чтобы представить как текст, так и объект, который мы хотим найти (код), в общем векторном пространстве, как показано ниже:0003

Пример: Текст 2 и код должны быть представлены одинаковыми векторами, поскольку они напрямую связаны.

Цель состоит в том, чтобы отобразить код в векторное пространство естественного языка таким образом, чтобы пары (текст, код), описывающие одно и то же понятие, были близкими соседями, тогда как несвязанные пары (текст, код) находились дальше друг от друга, что измеряется косинусным сходством.

Есть много способов достичь этой цели, однако мы продемонстрируем подход, заключающийся в использовании предварительно обученной модели, которая извлекает функции из кода, и тонкой настройке этой модели для проецирования скрытых функций кода в векторное пространство естественного языка. Одно предупреждение: мы используем термин вектор

и встраивание взаимозаменяемо на протяжении всего этого урока.

Методы, представленные в этом сообщении в блоге, устарели и были значительно усовершенствованы в последующем проекте под названием CodeSearchNet с соответствующим документом.

Я рекомендую взглянуть на вышеупомянутый проект для более современного подхода к этой теме, так как в ретроспективе этот пост в блоге выглядит несколько уродливым взломом.

Мы рекомендуем ознакомиться со следующими элементами перед чтением этого руководства:

• Модели последовательностей: Будет полезно ознакомиться с информацией, представленной в предыдущем руководстве.
• Внимательно прочтите этот документ и поймите суть представленного подхода. Мы опираемся на аналогичные концепции для того, что представляем здесь.

Этот учебник будет разбит на 5 конкретных шагов.

Эти шаги проиллюстрированы ниже и будут полезным справочным пособием по мере прохождения учебного курса. После завершения обучения будет полезно вернуться к этой диаграмме, чтобы понять, как все шаги сочетаются друг с другом.

Интеллект-карта этого урока. Версия в высоком разрешении доступна здесь.

Здесь каждый шаг 1–5 соответствует блокноту Jupyter. Мы рассмотрим каждый шаг более подробно ниже.

Записная книжка, часть 1

Сотрудники Google собирают и хранят данные из репозиториев GitHub с открытым исходным кодом в BigQuery. Это отличный открытый набор данных для всех видов интересных проектов по науке о данных, включая этот! Когда вы подписываетесь на учетную запись Google Cloud, они дают вам 300 долларов, чего более чем достаточно для запроса данных для этого упражнения. Получение этих данных очень удобно, так как вы можете использовать SQL-запросы для выбора типа файлов, которые вы ищете, а также другие метаданные о репозиториях, такие как коммиты, звездочки и т.

д.

Шаги для получения этих данных описаны в этой записной книжке. К счастью, некоторые замечательные люди из команды Kubeflow в Google прошли эти этапы и любезно разместили данные для этого упражнения, которое также описано в этой записной книжке.

После сбора этих данных нам нужно разобрать эти файлы на пары (код, строка документации). В этом руководстве одна единица кода будет либо функцией верхнего уровня, либо методом. Мы хотим собрать эти пары в качестве обучающих данных для модели, которая будет суммировать код (подробнее об этом позже). Мы также хотим удалить из кода все комментарии и оставить только код. Это может показаться сложной задачей, однако существует замечательная библиотека под названием 9.0053 и в стандартной библиотеке Python, которые можно использовать для извлечения функций, методов и строк документации. Мы можем удалить комментарии из кода, преобразовав код в AST, а затем обратно из этого представления в код, используя пакет Astor. Понимание AST или того, как работают эти инструменты, не требуется для этого руководства, но это очень интересные темы!

Дополнительные сведения об использовании этого кода см. в этой записной книжке.

Чтобы подготовить эти данные для моделирования, мы разделяем данные на обучающие, проверочные и тестовые наборы. Мы также поддерживаем файлы (которые мы называем «происхождение»), чтобы отслеживать исходный источник каждой пары (код, строка документации). Наконец, мы применяем те же преобразования к коду, который не содержит строки документации, и сохраняем его отдельно, так как нам также понадобится возможность поиска в этом коде!

Записная книжка, часть 2

Концептуально построение модели последовательностей для суммирования кода идентично своднику задач GitHub, который мы представили ранее — вместо тел задач мы используем код Python, а вместо заголовков задач мы используем строки документации.

Однако, в отличие от текста выпуска GitHub, код не является естественным языком. Чтобы полностью использовать информацию в коде, мы могли бы ввести оптимизации для конкретных доменов, такие как LSTM на основе дерева и токенизацию с учетом синтаксиса. В этом уроке мы собираемся не усложнять и рассматривать код как естественный язык (и при этом получать разумные результаты).

Построение обобщателя функций само по себе очень крутой проект, но мы не собираемся уделять этому слишком много времени (но мы рекомендуем вам это сделать!). Вся сквозная процедура обучения для этой модели описана в этой записной книжке. Мы не обсуждаем предварительную обработку или архитектуру для этой модели, поскольку она идентична обобщателю проблемы.

Наша мотивация для обучения этой модели состоит не в том, чтобы использовать ее для задачи обобщения кода, а скорее в качестве экстрактора функций общего назначения для кода. С технической точки зрения, этот шаг необязателен, так как мы выполняем его только для инициализации весов модели для связанной нижестоящей задачи. На более позднем этапе мы извлечем кодировщик из этой модели и точно настроим его для другой задачи. Ниже приведен скриншот некоторых примеров выходных данных этой модели:

Пример результатов функции суммирования на тестовом наборе. Блокнот смотрите здесь.

Мы видим, что, хотя результаты не идеальны, есть убедительные доказательства того, что модель научилась извлекать некоторый семантический смысл из кода, что является нашей главной целью в этой задаче. Мы можем количественно оценить эти модели, используя метрику BLEU, которая также обсуждается в этой записной книжке.

Следует отметить, что обучение модели seq2seq обобщению кода — не единственный метод, который можно использовать для создания экстрактора функций для кода. Например, вы также можете обучить GAN и использовать дискриминатор в качестве средства извлечения признаков. Однако эти другие подходы выходят за рамки данного руководства.

Блокнот, часть 3

Теперь, когда мы создали механизм для представления кода в виде вектора, нам нужен аналогичный механизм для кодирования фраз на естественном языке, подобных тем, которые можно найти в строках документации и поисковых запросах.

Существует множество предварительно обученных моделей общего назначения, которые будут генерировать высококачественные вложения фраз (также называемые вложениями предложений). В этой статье представлен отличный обзор ландшафта. Например, универсальный кодировщик предложений Google очень хорошо работает во многих случаях и доступен на Tensorflow Hub.

Несмотря на удобство этих предварительно обученных моделей, может быть полезно обучить модель, которая фиксирует предметно-ориентированный словарь и семантику строк документации. Есть много методов, которые можно использовать для создания вложений предложений. Они варьируются от простых подходов, таких как усреднение векторов слов, до более сложных методов, таких как те, которые используются при создании универсального кодировщика предложений.

В этом руководстве мы будем использовать модель нейронного языка с помощью AWD LSTM для создания вложений предложений. Я знаю, это может показаться пугающим, но замечательная библиотека fast.ai предоставляет абстракции, которые позволяют вам использовать эту технологию, не беспокоясь о слишком многих деталях. Ниже приведен фрагмент кода, который мы используем для построения этой модели. Дополнительные сведения о том, как работает этот код, см. в этой записной книжке.

Часть функции train_lang_model, вызываемой в этом блокноте. Использует fast.ai.

При построении языковой модели важно тщательно продумать корпус, который вы используете для обучения. В идеале вы хотите использовать корпус, относящийся к той же предметной области, что и ваша нижестоящая проблема, чтобы вы могли адекватно охватить соответствующую семантику и словарный запас. Например, отличным корпусом для решения этой проблемы будут данные о переполнении стека, так как это форум, на котором очень подробно обсуждается код. Однако, чтобы упростить этот учебник, мы повторно используем набор строк документации в качестве нашего корпуса. Это неоптимально, поскольку обсуждения переполнения стека часто содержат более богатую семантическую информацию, чем то, что содержится в однострочной строке документации. Мы оставляем читателю в качестве упражнения возможность изучить влияние на конечный результат с помощью альтернативного корпуса.

После обучения языковой модели наша следующая задача — использовать эту модель для создания вложения для каждого предложения. Обычный способ сделать это — обобщить скрытые состояния языковой модели, такой как подход объединения в пул, описанный в этой статье. Однако для простоты мы просто усредним все скрытые состояния. Мы можем извлечь среднее значение по скрытым состояниям из языковой модели fast.ai с помощью этой строки кода:

Как извлечь вложение предложения из языковой модели fast.ai. Здесь используется эта схема.

Хороший способ оценить вложения предложений — измерить эффективность этих вложений в последующих задачах, таких как анализ тональности, текстовое сходство и т. д. Часто можно использовать тесты общего назначения, такие как приведенные здесь примеры, для измерения качества вложений. Однако эти обобщенные тесты могут не подходить для этой проблемы, поскольку наши данные очень специфичны для предметной области. К сожалению, мы еще не разработали набор последующих задач для этой области, исходный код которого мы можем открыть. В отсутствие таких последующих задач мы можем, по крайней мере, проверить работоспособность этих вложений, содержащих семантическую информацию, исследуя сходство между фразами, которые, как мы знаем, должны быть похожими. На приведенном ниже снимке экрана показаны некоторые примеры, где мы ищем сходство векторизованных строк документации с фразами, предоставленными пользователем (взято из этой записной книжки):

Ручная проверка сходства текста в качестве проверки работоспособности. Больше примеров в этой тетради.

Следует отметить, что это только проверка работоспособности — более строгий подход заключается в измерении влияния этих вложений на различные последующие задачи и использовании этого для формирования более объективного мнения о качестве ваших вложений. Более подробное обсуждение этой темы можно найти в этой записной книжке.

Записная книжка части 4

На этом этапе может быть полезно вернуться к диаграмме, представленной в начале этого руководства, чтобы проверить, где вы находитесь. На этой диаграмме вы найдете это представление части 4:

Визуальное представление задач, которые мы будем выполнять в Части 4.

Большинство элементов этого шага взяты из предыдущих шагов этого руководства. На этом этапе мы настроим модель seq2seq из части 2, чтобы предсказать встраивание строк документации вместо строк документации. Ниже приведен код, который мы используем для извлечения кодировщика из модели seq2seq и добавления плотных слоев для тонкой настройки:

Создайте модель, отображающую код в векторное пространство естественного языка. Для получения дополнительной информации см. этот блокнот.

После обучения замороженной версии этой модели мы размораживаем все слои и обучаем модель на несколько эпох. Это помогает лучше настроить модель для этой задачи. Вы можете увидеть полную процедуру обучения в этом блокноте.

Наконец, мы хотим векторизовать код, чтобы мы могли построить поисковый индекс. В целях оценки мы также будем векторизовать код, который не содержит строки документации, чтобы увидеть, насколько хорошо эта процедура обобщает данные, которые мы еще не видели. Ниже приведен фрагмент кода (взятый из этой записной книжки), который выполняет эту задачу. Обратите внимание, что мы используем библиотеку ktext для применения к этим данным тех же шагов предварительной обработки, которые мы изучили на обучающем наборе.

Сопоставьте код с векторным пространством естественного языка с помощью модели code2emb. Для получения дополнительной информации см. этот блокнот.

После сбора векторизованного кода мы готовы перейти к последнему и заключительному шагу!

Блокнот части 5

На этом шаге мы создадим поисковый индекс, используя артефакты, созданные на предыдущих шагах, как показано ниже:

Диаграмма части 5 (извлечена из основной диаграммы, представленной вначале)

В части 4 мы векторизовали весь код, не содержащий строк документации. Следующим шагом является помещение этих векторов в поисковый индекс, где можно быстро найти ближайших соседей. Хорошая библиотека Python для быстрого поиска ближайших соседей — nmslib. Чтобы пользоваться быстрым поиском с помощью nmslib, вы должны предварительно вычислить поисковый индекс следующим образом:

Как создать поисковый индекс с помощью nmslib.

Теперь, когда вы построили поисковый индекс векторов кода, вам нужен способ превратить строку (запрос) в вектор. Для этого вы будете использовать языковую модель из части 3. Чтобы упростить этот процесс, мы предоставили в lang_model_utils.py вспомогательный класс под названием Query2Emb, который демонстрируется в этой записной книжке.

Наконец, как только мы сможем превратить строки в векторы запросов, мы сможем получить ближайших соседей для этого вектора следующим образом:

 idxs, dists = self.search_index.knnQuery(query_vector, k=k) 

Индекс поиска вернет два элемента (1) список индексов, представляющих собой целые позиции ближайших соседей в наборе данных (2) расстояния между ними соседи из вашего вектора запроса (в этом случае мы определили наш индекс для использования косинусного расстояния). Получив эту информацию, можно легко построить семантический поиск. Пример того, как это можно сделать, представлен в приведенном ниже коде:

Класс, который объединяет все части, необходимые для построения семантического поиска.

Наконец, в этой записной книжке показано, как использовать приведенный выше объект search_engine для создания интерактивной демонстрации, которая выглядит следующим образом:

Это тот же самый gif, который был представлен в начале этого руководства.

Поздравляем! Вы только что научились создавать семантический поиск. Я надеюсь, что это стоило поездки.

Несмотря на то, что в этом руководстве описывается, как создать семантический поиск кода, вы можете использовать аналогичные методы для поиска видео, аудио и других объектов. Вместо использования модели, которая извлекает функции из кода (часть 2), вам нужно обучить или найти предварительно обученную модель, которая извлекает функции из выбранного вами объекта. Единственным предварительным условием является наличие достаточно большого набора данных с аннотациями на естественном языке (например, расшифровками аудио или подписями к фотографиям).

Мы считаем, что вы можете использовать идеи, которые вы узнали в этом руководстве, для создания собственного поиска, и хотели бы услышать от вас, чтобы увидеть, что вы создаете (см. раздел , связывающийся с ниже).

• {Обновление от 01.01.20202}: методы, обсуждаемые в этом сообщении блога, устарели, особенно в отношении архитектуры модели и техники. Обновленную версию этого же проекта см. в проекте CodeSearchNet и в соответствующем документе.
• Методы, обсуждаемые в этом сообщении в блоге, упрощены и касаются только поверхности того, что возможно. То, что мы представили, представляет собой очень простой семантический поиск, однако для того, чтобы такой поиск был эффективным, вам, возможно, придется дополнить этот поиск поиском по ключевым словам и дополнительными фильтрами или правилами (например, возможностью поиска в определенном репо, пользовательском , или организация и другие механизмы информирования об актуальности).
• Существует возможность использовать специфические для предметной области архитектуры, использующие преимущества структуры кода, такие как древовидные lstms. Кроме того, есть и другие стандартные приемы, такие как использование внимания и случайное принуждение учителей, которые мы опустили для простоты.
• Одна часть, которую мы упустили, касается оценки поиска. Это сложная тема, которая заслуживает отдельного поста в блоге. Чтобы эффективно решить эту проблему, вам нужен объективный способ измерения качества результатов поиска. Это будет предметом будущего сообщения в блоге.

Надеемся, вам понравился этот пост в блоге. Пожалуйста, не стесняйтесь связаться с нами:

• Hamel Husain: Twitter, LinkedIn или GitHub.
• Ho-Hsiang Wu: LinkedIn, GitHub

• Репозиторий этой статьи на GitHub.
• Чтобы упростить задачу для тех, кто пытается воспроизвести этот пример, мы упаковали все зависимости в контейнер Nvidia-Docker. Для тех, кто не знаком с Docker, этот пост может оказаться полезным. Вот ссылка на образ докера для этого руководства на Dockerhub.
• Моя главная рекомендация для тех, кто пытается приобрести навыки глубокого обучения, — пройти Fast.AI от Джереми Ховарда. Там я научился многим навыкам, которые мне понадобились для этого поста в блоге.