Семантический анализ текстов. Основные положения

Семантический (смысловой) анализ текста – одна из ключевых проблем как теории создания систем искусственного интеллекта, относящаяся к обработке естественного языка (Natural Language Processing, NLP) , так и компьютерной лингвистики. Результаты семантического анализа могут применяться для решения задач в таких областях как, например, психиатрия (для диагностирования больных), политология (предсказание результатов выборов), торговля (анализ “востребованности” тех или иных товаров на основе комментариев к данному товару), филология (анализ авторских текстов), поисковые системы, системы автоматического перевода и т.д.

Несмотря на свою востребованность практически во всех областях жизни человека, семантический анализ является одной из сложнейших математических задач. Вся сложность заключается в том, чтобы “научить” компьютер правильно трактовать образы, которые автор текста пытается передать своим читателям/слушателям.

Способность “распознавать” образы считается основным свойством человеческих существ, как, впрочем, и других живых организмов. Образ представляет собой описание объекта. В каждое мгновение нашего бодрствования мы совершаем акты распознавания. Мы опознаем окружающие нас объекты и в соответствии с этим перемещаемся и совершаем определенные действия. Мы можем заметить в толпе друга и понять, что он говорит, можем узнать голос знакомого, прочесть рукопись и идентифицировать отпечатки пальцев, можем отличить улыбку от злобной гримасы. Человеческое существо представляет собой очень сложную информационную систему – в определенной степени это определяется чрезвычайно развитыми у человека способностями распознавать образы [5, с. 16].

Естественный язык в отличие, например, от компьютерных (алгоритмических) языков формировался во многом стихийно, не формализовано. Это обуславливает целый ряд сложностей в понимании текста, вызванных, например, неоднозначным толкованием одних и тех же слов в зависимости от контекста, который может быть и неизвлекаем, в принципе, из самого текста. Следовательно, этот контекст или знание о предметной области в систему должны быть заранее внесены. К тому же зачастую практические задачи требуют точного определения времени, места того, что описано в тексте, точной идентификации людей и т.д., в то время как подобная информация находится за пределами данного текста. В этом случае система может или не обрабатывать эту информацию, или оставить ее до выяснения контекста и даже попытаться проявить инициативу в выяснении контекста, например, в диалоге с оператором, задающим ввод текста. То, как ведет себя система в подобной ситуации, определяется стилем и схемой работы системы [3].

Промышленные системы автоматической обработки текста, в основном, сейчас используют два этапа анализа текста: морфологический и синтаксический. Однако теоретические разработки многих исследователей предполагают существование следующего за синтаксическим этапа – семантического. В отличие от предыдущих шагов семантический этап использует формальное представление смысла составляющих входной текст слов и конструкций. Суть семантического анализа понимается разными исследователями по-разному [4]. Многие ученые сходятся во мнении, что в сферу семантического анализа входит:

— Построение семантической интерпретации слов и конструкций;

— Установление «содержательных» семантических отношений между элементами текста, которые уже принципиально не ограничены размером одного слова (могут быть больше или меньше одного слова).

Некоторые ученые предлагают рассматривать не просто текст на основе его составляющих слов, предложений, абзацев, но и попытаться выявить тот смысловой образ, который автор хотел создать в сознании своих читателей, посредством этого текста. На современном этапе развития искусственного интеллекта эта задача является практически неразрешимой.

Основные проблемы понимания текста в обработке естественных языков таковы:

1. Знание системой контекста и проблемной области и обучение этому системы. Например, из предложения «мужчина вошел в дом с красным портфелем» можно извлечь как представление о мужчине с красным портфелем, так и о доме с красным портфелем, если заранее не иметь в виду, что применительно к мужчинам употребление принадлежности портфеля гораздо вероятнее, чем применительно к дому.

2. Различная форма передачи синтаксиса (т.е. структуры) предложения в разных языках. Например, если синтаксическая роль слова (подлежащее, сказуемое, определение и т.д.) в английской речи во многом определяется положением слова в предложении относительно других слов, то в русском предложении существует свободный порядок слов и для выявления синтаксической роли слова служат его морфологические признаки (например, окончания слов), служебные слова и знаки препинания.

3. Проблема равнозначности. Предложения «длинноухий грызун бросился от меня наутек» и «заяц бросился от меня наутек» могут означать одно и то же, но могут иметь и разный смысл, например, если в первом случае имелся в виду длинноухий тушканчик.

4. Наличие в тексте новых для компьютера слов, например неологизмов. Самообучаемая система должна уметь «интуитивно» определить (возможно, и неправильно, но с возможность в дальнейшем исправить себя) лексическую роль, морфологическую форму этого слова, попробовать вписать его в существующую структуру знаний, наделить его какими-то атрибутами или выяснить все это в диалоге с оператором. Система, не способная к самообучению просто потеряет какое-то количество информации.

5. Проблема совместимости новой информации с уже накопленными знаниями. Новая информация может каким-то образом противоречить уже накопленной информации. Необходимо реализовать механизм, определяющий, в каких случаях нужно отвергнуть старую информацию, а в каких – новую.

6. Проблема временных противоречий. Так в предложении «я думал, что сверну горы» глагол в прошедшей форме «думал» сочетается с глаголом будущего времени «сверну».

7. Проблема эллипсов, то есть предложений с пропущенными фактически, но существующими неявно благодаря контексту словами. Например, в предложении «я передам пакет тебе, а ты – Ивану Петровичу» во второй части опущен глагол «передашь» и существительное «пакет» [3].

Системы, направленные на извлечение знаний из текстов на естественных языках (то есть на таких языках, на которых общаются люди в отличие, например, от алгоритмических языков), а также на синтез текста на основе знаний называются лингвистическими трансляторами или лингвистическими процессорами.

Подобные системы могут интегрироваться с экспертными системами, то есть системами, служащими для того, чтобы заменять человека-эксперта в какой-либо области, например медицинская диагностика, юридическое консультирование, бизнес-планирование, диагностика различных технических неисправностей и многих других. В этом случае экспертная система с одной стороны имеет возможность высокоэффективно обучаться, накапливать новые знания, а с другой стороны, способна выдавать информацию пользователю в максимально удобной форме.

Кроме того, лингвистический процессор может быть интегрирован с системой распознавания и (или) синтеза речи, что может сделать процесс общения с компьютером максимально удобным, а, следовательно, и продуктивным.

Одной из наиболее очевидных направлений применения лингвистических процессоров является машинный перевод с одного естественного языка (ЕЯ) на другой.

Также подобные системы могут использоваться и используются для автоматического пополнения информационных баз и баз знаний (т.н. «data mining») в том числе путем сканирования Интернета.

В настоящее время существуют различные подходы к созданию систем для автоматизированного семантического анализа.

Проведя поверхностный анализ отечественной и зарубежной литературы по способам и средствам семантического анализа текста, можно сделать следующие выводы:

Системы семантического анализа не могут существовать без морфологической составляющей. В качестве морфологической составляющей выступают различные виды словарей словоформ (т.е. содержащие все варианты склонения, спряжения и т.д. того или иного слова). Самый популярный словарь (относительно русского языка) среди исследователей – грамматический словарь, предложенный Зализняком А.А. Данный словарь содержит около 100 000 словоформ, в то время как, по предварительным подсчетам, в русском языке существует более 200 000 слов. Поэтому возникает проблема «неполноты» того или иного словаря. Существует ряд подходов для решения этой проблемы.

Первый способ – это так называемое обучение с учителем, в качестве учителя выступает человек. Например, когда система сталкивается со словом, отсутствующим в словаре, она прекращает свою работу и ждет от учителя, пока он покажет ей все варианты словоформ данного слова. Этот вариант является очень трудоемким, потому что требует постоянного «обучения» со стороны человека к тому же, сильно увеличивается время выполнения анализа.

Второй способ – обучение без учителя, на основе правил. В данном случае исследователи для проведения морфологического анализа используют обратные словари или, собственноручно созданные, базы аффиксов (т.е. суффиксов, префиксов, окончаний и т.д.) с указанием морфологических признаков, которым соответствует тот или иной аффикс. Существует также подход, согласно которому нет необходимости создавать отдельную базу аффиксов, достаточно просто сравнить форму нового (отсутствующего в словаре слова) со всеми словами уже существующими в словаре и присвоение новому слову признаков, соответствующих словоформе слова из словаря с наибольшим «весом». В данном случае используются статистические методы. У этого способа главным недостатком является его вероятностная часть – в зависимости от статистического метода, используемого теми или иными учеными, «правильность» определения морфологических признаков варьировалась от 50 до 97%. Поэтому очень часто системы морфологического анализа используют гибридный метод, использующий оба этих подхода.

Следует упомянуть, что на этапе морфологического анализа некоторые системы используют также словари акронимов (аббревиатур) и словари личных имен, что существенно ускоряет сам процесс семантического анализа.

Системы семантического анализа не могут существовать без синтаксической составляющей. Основной задачей синтаксического анализа является построение синтаксического дерева предложения. Также как и морфологический анализ, синтаксический анализ является предварительным этапом перед семантическим анализом. На этом этапе отсеивается большая часть омонимов (слова разного значения, но одинаково звучащие, напр., пол, коса, ключ), выявленных на этапе морфологического анализа. Что, в свою очередь, существенно ускорит семантический анализ.

Для представления в памяти компьютера значения всех содержательных единиц рассматриваемого языка (лексических, морфологических, синтаксических и словообразовательных) и приведения их к единому, формальному виду, понятному компьютеру, используется, специально созданный для этого искусственный язык или, как его еще называют некоторые ученые, метаязык.

Реально в качестве семантического метаязыка в большинстве современных работ используется не универсальный искусственный язык, а некий упрощенный и стандартизированный подъязык описываемого языка со своим словарем и грамматикой [2].

В настоящее время под эгидой Института передовых исследований токийского университета Организации Объединенных Наций разрабатывается универсальный сетевой язык (The Universal Networking Language, UNL). По замыслу, UNL – это искусственный семантико-синтаксический язык, предназначенный для описания, хранения и распространения информации в WWW в не зависящем от какого-либо естественного языка виде, а также независимо от конкретной компьютерной платформы или операционной системы. В отличие от систем машинного перевода, призванных осуществлять перевод с одного естественного языка на другой, предполагается, что система UNL должна уметь автоматически (или полуавтоматически) преобразовывать исходный текст в его UNL-представление, а затем синтезировать из этого представления текст на нужном языке. Таким образом, о UNL можно говорить как о своеобразном языке-посреднике, удобном для хранения информации и ее восстановления на любом естественном языке из числа поддерживаемых системой [6].

Кроме того, огромную популярность получили так называемые онтологии (формальные явные описания терминов предметной области и отношений между ними), которые могут быть использованы как основа для семантического анализа. Во всемирной паутине онтологии стали обычным явлением. Онтологии варьируются от больших таксономий, категоризирующих веб-сайты (как на сайте Yahoo!), до категоризаций продаваемых товаров и их характеристик (как на сайте Amazon.com). Консорциум WWW (W3C) разрабатывает RDF (Resource Description Framework), язык кодирования знаний на веб-страницах, для того, чтобы сделать их понятными для электронных агентов, которые осуществляют поиск информации. Управление перспективных исследований и разработок министерства обороны США (The Defense Advanced Research Projects Agency, DARPA) в сотрудничестве с W3C разрабатывает Язык Разметки для Агентов DARPA (DARPA Agent Markup Language, DAML), расширяя RDF более выразительными конструкциями, предназначенными для облегчения взаимодействия агентов в сети. Во многих дисциплинах сейчас разрабатываются стандартные онтологии, которые могут использоваться экспертами по предметным областям для совместного использования и аннотирования информации в своей области. Например, в области медицины созданы большие стандартные, структурированные словари, такие как snomed и семантическая сеть Системы Унифицированного Медицинского Языка (the Unified Medical Language System). Также появляются обширные общецелевые онтологии. Например, Программа ООН по развитию (the United Nations Development Program) и компания Dun & Bradstreet объединили усилия для разработки онтологии UNSPSC, которая предоставляет терминологию товаров и услуг (http://www.unspsc.org/).

Подводя итоги всему вышесказанному, можно сделать выводы, что семантический анализ в настоящее время движется в сторону формальных грамматик (Мельчук И., Хомский Н. и др.), но пока значительных прорывов в данной области не наблюдается.

Литература:

1. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб. пособие / Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. — М.: МИЭМ, 2011. — 272 с.

2. Апресян, Ю.Д. Исследования по семантике и лексикографии. Т. I: Парадигматика / Ю.Д. Апресян. – М.: Языки славянских культур, 2009.

3. Понимание и синтез текста компьютером. http://compuling.narod.ru/index2.html

4. Сокирко А.В. Семантические словари в автоматической обработке текста: По материалам системы ДИАЛИНГ: диссертация … кандидата технических наук: 05.13.17. – Москва, 2001. – 120 с.: ил.

5. Ту Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес, пер. с англ. И.Б. Гуревича. – М.: Мир,1978.

6. Что такое UNL? // Л. Крейдлин. – 2001. http://stra.teg.ru/library/strategics/7/9/1

Логическая семантика — Википедия

Материал из Википедии — свободной энциклопедии

Логическая семантика

Логическая семантика — «Философский термин» — («рассуждение», «мысль», «разум») — раздел логики, в котором изучаются отношения языковых символов к обозначаемым ими объектам и выражаемому ими содержанию^[1].

Формальная система[править | править код]

Семантика как взыскательная наука может применяться только для языков, которые имеют установленную текстуру и формальную систему^[1][2]. Логическая семантика решает вопрос нахождения путей и методов интерпретации формальных систем, поэтому они выступают как эффекты формализации содержательных доктрин. В Логической семантике распознают теорию референции, базирующуюся на понятии истинности, и теорию толку. Уточнение понятия «толка» наталкивается на принципные проблемы, стимулированные многогранностью данного понятия.

Семантический анализ[править | править код]

Есть разные способы семантического анализа: способ экстенсионала и интенсионала, способ работы именования, доктрина неполных знаков, концепция твердых десигнаторов и др. Способы семантического анализа толка и ценности выражений, созданные в Логической семантике, имеют все шансы применяться и к анализу природных языков. Тем не менее, данные способы не считаются в заключительном случае необходимыми. Нужно учесть конкретные лингвистические свойства выражений натурального языка, смыслы которых находятся в зависимости и еще от контекста потребления, от коммуникативных качеств, от пресуппозиций носителя языка и прочих причин^[1].

Прогрессивная Логическая семантика всходит к работам Г. Фреге. Тем не менее, исследование Логической семантики как особенного раздела закономерной науки следует датировать началом 30-х гг., когда начали выходить работы А. Тарского, а именно его базовый труд «Понятие правды в формализованных языках» (1935). В 1942?1947 гг. выходит трехтомное издание «Изыскание по семантике» Р. Карнапа^[1].

Достижение логик и методик[править | править код]

В послевоенные годы значительные результаты были достигнуты в доктринах моделей, в частности, в доктрине, которая рассматривала взаимосвязь между синтаксическими качествами формул и качествами их моделей. Именно в этот период начали формироваться семантики для разного типа модальных логик, интуиционистской логики, релевантных, немонотонных и множества иных классов закономерных исчислений. Разрабатываются разные методы возведения семантики с истинностными провалами и пресыщенными оценками, теоретико-игровые, ситуационные и другие. В заключительные десятилетия планируется сближение семантики и прагматики. При построении семантики предусматриваются конкретные прагматические нюансы: контексты потребления выражений, явные свойства субъекта познавательной работы.

1. Карнап Р. Значение и необходимость. М., 1959;
2. Хинтикка Я. Логико-эпистемологические исследования. М., 1980;
3. Монтегю Р. Прагматика и интенсиональная логика. – В кн.: Семантика модальных и интенсиональных логик. М., 1981;
4. Смирнов В.А.Современные семантические исследования модальных и интенсиональных логик.
5. Крипке С. Семантическое рассмотрение модальной логики.
6. Крипке С. Тождество и необходимость. – В кн.: Новое в зарубежной лингвистике, вып. XIII. М., 1982;
7. Куайн У. Референция и модальность.
8. Льюис К. Виды значения. – В кн.: Семиотика. М., 1983;
9. Смирнова Е.Д. Логическая семантика и философские основания логики. М., 1986;
10. Смирнова Е.Д. Основы логической семантики. М., 1990;
11. Даммит М. Что такое теория значения. – В кн.: Философия, логика, язык. М., 1987;
12. Финн В.К. Правдоподобные выводы и правдоподобные рассуждения. – «Итоги науки и техники». Сер.: Теория вероятности, математическая статистика, теоретическая кибернетика. М., 1988, с. 3–84;
13. Carnap R. Introduction to Semantics. Studies in Semantics. Cambr., 1942, Vol. I;
14. Елена Дмитриевна Смирнова. Формализованные языки и проблемы логической семантики. — Изд-во Московского университета, 1982-01-01. — 190 с.

Дистрибутивная семантика — Википедия

Дистрибути́вная сема́нтика — это область лингвистики, которая занимается вычислением степени семантической близости между лингвистическими единицами на основании их распределения (дистрибуции) в больших массивах лингвистических данных (текстовых корпусах).

Каждому слову присваивается свой контекстный вектор. Множество векторов формирует словесное векторное пространство.

Семантическое расстояние между понятиями, выраженными словами естественного языка, обычно вычисляется как косинусное расстояние между векторами словесного пространства.

«Дистрибутивный анализ — это метод исследования языка, основанный на изучении окружения (дистрибуции, распределения) отдельных единиц в тексте и не использующий сведений о полном лексическом или грамматическом значении этих единиц» ^[1].

В рамках данного метода к текстам изучаемого языка применяется упорядоченный набор универсальных процедур, что позволяет выделить основные единицы языка (фонемы, морфемы, слова, словосочетания), провести их классификацию и установить отношения сочетаемости между ними.

Классификация основывается на принципе замещения: языковые единицы относятся к одному и тому же классу, если они могут выступать в одних и тех же контекстах.

Дистрибутивный анализ был предложен Л. Блумфилдом в 20-х гг. XX века и применялся, главным образом, в фонологии и морфологии.

3. Харрис и другие представители дескриптивной лингвистики развивали данный метод в своих работах в 30 — 50-х гг. XX века.

Близкие идеи выдвигали основоположники структурной лингвистики Ф. де Соссюр и Л. Витгенштейн.

Идея контекстных векторов была предложена психологом Ч. Осгудом в рамках работ по представлению значений слов^[2].

Контексты, в которых встречались слова, выступали в качестве измерений многоразрядных векторов.

В качестве таких контекстов в работах Осгуда использовались антонимические пары прилагательных (например, быстрый-медленный), для которых участники опроса выставляли оценки по семибалльной шкале.

Пример пространства контекстных признаков, описывающего значение слов мышь и крыса из работы Осгуда:

Пример пространства контекстных признаков, описывающего значение слов мышь и крыса из работы Осгуда

Термин контекстный вектор был введён С. Галлантом для описания смысла слов и разрешения лексической неоднозначности ^[3].

В работах Галланта использовалось множество признаков, заданное исследователем, таких как человек, мужчина, машина и т. д.

Пример пространства контекстных признаков, описывающего значение слова астроном из работы Галланта:

Пример пространства контекстных признаков, описывающего значение слова астроном из работы Галланта

В течение последних двух десятилетий метод дистрибутивного анализа широко применялся к изучению семантики.

Была разработана дистрибутивно-семантическая методика и соответствующее программное обеспечение, которые позволяют автоматически сравнивать контексты, в которых встречаются изучаемые языковые единицы, и вычислять семантические расстояния между ними^[4].

Дистрибутивная семантика основывается на дистрибутивной гипотезе: лингвистические единицы, встречающиеся в схожих контекстах, имеют близкие значения^[5].

Психологические эксперименты подтвердили истинность данной гипотезы. Например, в одной из работ ^[6] участников эксперимента просили высказать своё суждение о синонимичности предъявляемых им пар слов. Данные опроса затем сравнивали с контекстами, в которых встречались изучаемые слова. Эксперимент показал наличие положительной корреляции между семантической близостью слов и схожестью контекстов, в которых они встречаются.

В качестве способа представления модели используются векторные пространства из линейной алгебры. Информация о дистрибуции лингвистических единиц представляется в виде многоразрядных векторов, которые образуют словесное векторное пространство. Векторы соответствуют лингвистическим единицам (словам или словосочетаниям), а измерения соответствуют контекстам. Координаты векторов представляют собой числа, показывающие, сколько раз данное слово или словосочетание встретилось в данном контексте.

Пример словесного векторного пространства, описывающего дистрибутивные характеристики слов tea и coffee, в котором контекстом выступает соседнее слово:

Размер контекстного окна определяется целями исследования^[7]:

• установление синтагматических связей −1-2 слова;
• установление парадигматических связей — 5-10 слов;
• установление тематических связей — 50 слов и больше.

Семантическая близость между лингвистическими единицами вычисляется как расстояние между векторами. В исследованиях по дистрибутивной семантике чаще всего используется косинусная мера, которая вычисляется по формуле:

∑i=1nAi×Bi∑i=1n(Ai)2×∑i=1n(Bi)2{\displaystyle {\frac {\sum \limits _{i=1}^{n}{A_{i}\times B_{i}}}{{\sqrt {\sum \limits _{i=1}^{n}{(A_{i})^{2}}}}\times {\sqrt {\sum \limits _{i=1}^{n}{(B_{i})^{2}}}}}}}

где A{\displaystyle A} и B{\displaystyle B} — два вектора, расстояние между которыми вычисляется.

После проведения подобного анализа становится возможным выявить наиболее близкие по смыслу слова по отношению к изучаемому слову.

Пример наиболее близких слов к слову кошка (список получен на основании данных веб-корпуса русского языка^[8], обработка корпуса выполнена системой Sketch Engine^[9]):

В графическом виде слова могут быть представлены как точки на плоскости, при этом точки, соответствующие близким по смыслу словам, расположены близко друг к другу. Пример словесного пространства, описывающего предметную область суперкомпьютеры, из работы Генриха Шутце^[10]:

Существует множество различных моделей дистрибутивной семантики, которые различаются по следующим параметрам:

• тип контекста: размер контекста, правый или левый контекст, ранжирование;
• количественная оценка частоты встречаемости слова в данном контексте: абсолютная частота, TF-IDF, энтропия, совместная информация и пр.;
• мера расстояния между векторами: косинус, скалярное произведение, расстояние Минковского и пр.;
• метод уменьшения размерности матрицы: случайная проекция, сингулярное разложение, случайное индексирование и пр.

Наиболее широко известны следующие дистрибутивно-семантические модели:

Уменьшение размерности векторных пространств[править | править код]

При применении дистрибутивно-семантических моделей в реальных приложениях возникает проблема слишком большой размерности векторов, соответствующей огромному числу контекстов, представленных в текстовом корпусе. Возникает необходимость в применении специальных методов, которые позволяют уменьшить размерность и разреженность векторного пространства и при этом сохранить как можно больше информации из исходного векторного пространства. Получающиеся в результате сжатые векторные представления слов в англоязычной терминологии носят название word embeddings.

Методы уменьшения размерности векторных пространств:

Предсказательные модели дистрибутивной семантики[править | править код]

Ещё один способ получения векторов малой размерности — машинное обучение, в частности искусственные нейронные сети. При обучении таких предсказательных моделей (англ. predictive models) целевым представлением каждого слова также является сжатый вектор относительно небольшого размера (англ. embedding), для которого в ходе множественных проходов по обучающему корпусу максимизируется сходство с векторами соседей и минимизируется сходство с векторами слов, его соседями не являющихся ^[12]. Однако, в отличие от традиционных счётных моделей (англ. count models), в данном подходе отсутствует стадия снижения размерности вектора, поскольку модель изначально инициализируется с векторами небольшой размерности (порядка нескольких сотен компонентов).

Подобные предсказательные модели представляют семантику естественного языка более точно, чем счётные модели, не использующие машинное обучение^[13].

Наиболее известные представители подобного подхода — алгоритмы Continuous Bag-of-Words (CBOW) и Continuous Skipgram, впервые реализованные в утилите word2vec, представленной в 2013 году^[14]. Пример применения подобных моделей к русскому языку представлен на веб-сервисе RusVectōrēs.

Модели дистрибутивной семантики нашли применение в исследованиях и практических реализациях, связанных с семантическими моделями естественного языка.

Дистрибутивные модели применяются для решения следующих задач^[15]:

• выявление семантической близости слов и словосочетаний^[16];
• автоматическая кластеризация слов по степени их семантической близости;
• автоматическая генерация тезаурусов и двуязычных словарей^[15][17];
• разрешение лексической неоднозначности;
• расширение запросов за счет ассоциативных связей;
• определение тематики документа;
• кластеризация документов для информационного поиска;
• извлечение знаний из текстов;
• построение семантических карт различных предметных областей^[7];
• моделирование перифраз;
• определение тональности высказывания;
• моделирование сочетаемостных ограничений слов ^[18].

Существует несколько программных средств для проведения исследований по дистрибутивной семантике с открытым кодом:

1. ↑ Ярцева, 1990.
2. ↑ Osgood et al., 1957.
3. ↑ Gallant, 1991.
4. ↑ Митрофанова, 2008.
5. ↑ Sahlgren, 2008.
6. ↑ Rubenstein, Goodenough, 1965.
7. ↑ ^{1 2} Шарнин и др., 2013.
8. ↑ Russian Web Corpus.
9. ↑ Sketch Engine.
10. ↑ Schutze, 1992.
11. ↑ Sahlgren, 2005.
12. ↑ Kutuzov and Andreev, 2015.
13. ↑ Baroni, Marco and Dinu, Georgiana and Kruszewski, German. Don’t count, predict! a systematic comparison of context-counting vs. context-predicting semantic vectors // Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. — 2014. — № 1. — С. 238—247.
14. ↑ Mikolov, Tomas and Chen, Kai and Corrado, Greg and Dean, Jeffrey. Efficient estimation of word representations in vector space // arXiv preprint arXiv:1301.3781. — 2013.
15. ↑ ^{1 2} Морозова и др., 2014.
16. ↑ Клышинский и др., 2013.
17. ↑ Sahlgren, Karlgren, 2005.
18. ↑ Пекар, 2004.

• Schutze H. Dimensions of meaning // Proceedings of Supercomputing’92. — 1992. — С. 787—796.
• Sahlgren M. An Introduction to Random Indexing (англ.) // Proceedings of the Methods and Applications of Semantic Indexing Workshop at the 7th International Conference on Terminology and Knowledge Engineering, TKE 2005 : конференция. — 2005. Архивировано 8 марта 2014 года.
• Sahlgren M. The Word-Space Model: Using distributional analysis to represent syntagmatic and paradigmatic relations between words in high-dimensional vector spaces (Ph.D. Thesis). — Department of Linguistics, Stockholm University, 2006. Архивная копия от 10 декабря 2015 на Wayback Machine
• Sahlgren M. The Distributional Hypothesis. From context to meaning (англ.) // Distributional models of the lexicon in linguistics and cognitive science (Special issue of the Italian Journal of Linguistics), Rivista di Linguistica : журнал. — 2008. — Vol. 20, no. 1. — P. 33—53.
• Sahlgren M., Karlgren J. Automatic Bilingual Lexicon Acquisition Using Random Indexing of Parallel Corpora (англ.) // Journal of Natural Language Engineering, Special Issue on Parallel Texts : журнал. — 2005. — Vol. 11, iss. 3. Архивировано 8 августа 2017 года.
• Gallant S. Context vector representations for document retrieval (англ.) // Proceedings of AAAI Workshop on Natural Language Text Retrieval : конференция. — 1991.
• Osgood C., Suci G., Tannenbaum P. The measurement of meaning (англ.). — University of Illinois Press, 1957.
• Rubenstein H., Goodenough J. Contextual correlates of synonymy (англ.) // Communications of the ACM : журнал. — 1965. — Vol. 8, iss. 10. — P. 627—633.
• Митрофанова О.А. Измерение семантических расстояний как проблема прикладной лингвистики (рус.) // Структурная и прикладная лингвистика. Межвузовский сборник : журнал. — Издательство СПбГУ, 2008. — Вып. 7. (недоступная ссылка)
• Шарнин М. М., Сомин Н. В., Кузнецов И. П., Морозова Ю. И., Галина И. В., Козеренко Е. Б. Статистические механизмы формирования ассоциативных портретов предметных областей на основе естественно-языковых текстов больших объемов для систем извлечения знаний (рус.) // Информатика и её применения : журнал. — 2013. — Т. 7, вып. 2. — С. 92—99.
• Морозова Ю. И., Козеренко Е. Б., Шарнин М. М. Методика извлечения пословных переводных соответствий из параллельных текстов с применением моделей дистрибутивной семантики (рус.) // Системы и средства информатики : журнал. — 2014. — Т. 24, вып. 1.
• Клышинский Э. С., Кочеткова Н. А., Логачева В. К. Метод кластеризации слов с использованием информации об их синтаксической связности (рус.) // Научно-техническая информация. Серия 2: Информационные процессы и системы : журнал. — 2013. — № 11. — С. 36—43. (недоступная ссылка)
• Пекар В. И. Дистрибутивная модель сочетаемостных ограничений глаголов (рус.) // Труды международного семинара Диалог 2004 по компьютерной лингвистике : конференция. — 2004.
• Лингвистический энциклопедический словарь (рус.) / Ярцева В. Н.. — М.: Советская энциклопедия, 1990.
• Russian Web Corpus (англ.). Lexical Computing Ltd.. Дата обращения 17 апреля 2014. (недоступная ссылка)
• Sketch Engine corpus manager (англ.). Lexical Computing Ltd.. Дата обращения 17 апреля 2014.
• Kutuzov A., Andreev I. Texts in, meaning out: neural language models in semantic similarity task for Russian (англ.) // Сборник «Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Москва, 27 — 30 мая 2015 г.)» : конференция. — 2015. — Vol. 21, iss. 14.

Семантическая информация — Википедия

Семантическая информация — смысловой аспект информации, отражающий отношение между формой сообщения и его смысловым содержанием.

Начиная с работ Клода Шеннона, принято считать^[1], что понятие информации складывается из трёх аспектов: синтаксического, семантического и прагматического. Синтаксический связан с техническими проблемами хранения и передачи информации, семантический имеет отношение к смыслу и значению истинности сообщений, прагматический затрагивает вопросы влияния информации на поведение людей. Теория семантической информации исследует область человеческих знаний и является составной частью разработки искусственного интеллекта^[2].

Формирование понятия семантической информации[править | править код]

Возникновение семиотики в 19 веке создало предпосылки для появления понятия семантической информации^[3]. Окончательно оно сложилось после появления Математической теории связи, созданной Клодом Шенноном в 1948 году^[4]. Теория Шеннона, рассматриваемая сейчас как теория синтаксической информации, полностью игнорирует смысл сообщения. Именно тогда была осознана необходимость создания теории семантической информации.

Теория Бар-Хиллела и Карнапа[править | править код]

В 1952 году Йегошуа Бар-Хиллелом и Рудольфом Карнапом была предложена теория семантической информации, основанная на понятии логических вероятностей^[5]. Семантическая информация трактуется авторами как синоним смыслового содержания, которым обладают как истинные, так и ложные выражения. Рассматриваются две основные меры количества семантической информации в предложении s{\displaystyle s}. Первая cont(s){\displaystyle {\mbox{cont}}(s)} определяется так:

cont(s)=1−q(s){\displaystyle {\mbox{cont}}(s)=1-q(s)},

где q(s){\displaystyle q(s)} — абсолютная логическая вероятность предложения s{\displaystyle s}. Вторая мера inf(s){\displaystyle {\mbox{inf}}(s)} является нелинейной функцией первой:

inf(s)=log2⁡11−cont(s)=log2⁡1q(s){\displaystyle {\mbox{inf}}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s)}}=\log _{2}{\frac {1}{q(s)}}}.

Она интересна тем, что для двух логически независимых предложений s1{\displaystyle s_{1}} и s2{\displaystyle s_{2}} имеем неравенство: cont(s1)+cont(s2)>cont(s1∧s2){\displaystyle {\mbox{cont}}(s_{1})+{\mbox{cont}}(s_{2})>{\mbox{cont}}(s_{1}\land s_{2})}, где «∧{\displaystyle \land }» — знак логической связки «И», тогда как:

inf(s1)+inf(s2)=inf(s1∧s2){\displaystyle {\mbox{inf}}(s_{1})+{\mbox{inf}}(s_{2})={\mbox{inf}}(s_{1}\land s_{2})}, (*)

что больше подходит для меры количества информации.

Для определения величин логических вероятностей предложений Бар-Хиллел и Карнап конструируют формальный язык и составляют с его помощью описания всевозможных состояний универсума (так называемое «множество возможных миров»). Приведём пример простого языка, в котором имеется одна константа a{\displaystyle a} (под ней мы будем подразумевать девушку Алису) и два предиката: B{\displaystyle B} и W{\displaystyle W}, обозначающие свойства «красива» и «умна». Тогда выражение B(a){\displaystyle B(a)} означает предложение «Алиса красива», а выражение W(a){\displaystyle W(a)} — «Алиса умна». Теперь используем логическую связку «НЕ», которую обозначим символом: «¬{\displaystyle \neg }». Тогда выражение ¬B(a){\displaystyle \neg B(a)} будет означать предложение «Алиса не красива», а выражение ¬W(a){\displaystyle \neg W(a)} — «Алиса не умна». Теперь мы можем составить все возможные описания состояний универсума для нашего скромного языка. Всего их будет четыре.

B(a)∧W(a){\displaystyle B(a)\land W(a)}

B(a)∧¬W(a){\displaystyle B(a)\land \neg W(a)}

¬B(a)∧W(a){\displaystyle \neg B(a)\land W(a)}

¬B(a)∧¬W(a){\displaystyle \neg B(a)\land \neg W(a)}

Как можно видеть, каждый мир универсума состоит из логически независимых атомарных предложений (и их отрицаний), называемых базисными. Обычно в формальных языках используется множество констант и множество предикатов, причём, не обязательно одноместных. Так что количество миров может быть очень большим.

Если не заданы предварительные условия, то логические вероятности всех миров одинаковы. В этом случае величина абсолютной логической вероятности предложения s{\displaystyle s} равна отношению числа миров, в которых s{\displaystyle s} истинно, к общему числу миров в универсуме. В теории Бар-Хиллела и Карнапа величины логических вероятностей аналитических выражений одинаковы и равны единице (поскольку они истинны во всех мирах), а логическая вероятность противоречия равна нулю. Величины логических вероятностей синтетических выражений заключены в интервале от нуля до единицы.

Чем больше миров в универсуме, тем выше неопределённость (относительно того, какой мир является истинным). После получения сообщения s{\displaystyle s} неопределённость уменьшается, поскольку те миры, в которых s{\displaystyle s} ложно, можно исключить из рассмотрения. Семантическая информация в предложении s{\displaystyle s} понимается как множество исключённых миров (оно обозначается символом Cont(s){\displaystyle {\mbox{Cont}}(s)}). По поводу этого определения авторы пишут, что оно согласуется с древним философским принципом «omnis determinatio est negatio» («всякое определение является исключением»). Теперь для меры cont(s){\displaystyle {\mbox{cont}}(s)} можем записать:

cont(s)=|Cont(s)||U|{\displaystyle {\mbox{cont}}(s)={\frac {|{\mbox{Cont}}(s)|}{|{\mbox{U}}|}}},

где |Cont(s)|{\displaystyle |{\mbox{Cont}}(s)|} — мощность множества Cont(s){\displaystyle {\mbox{Cont}}(s)}, |U|{\displaystyle |{\mbox{U}}|} — мощность множества всех миров универсума U{\displaystyle {\mbox{U}}}.

Количество семантической информации в сообщении s{\displaystyle s} относительно знаний получателя e{\displaystyle e} определяется следующим образом:

inf(s/e)=inf(s∧e)−inf(e)=log2⁡q(e)q(s∧e)=log2⁡1q(s/e){\displaystyle {\mbox{inf}}(s/e)={\mbox{inf}}(s\land e)-{\mbox{inf}}(e)=\log _{2}{\frac {q(e)}{q(s\land e)}}=\log _{2}{\frac {1}{q(s/e)}}},

где q(s/e){\displaystyle q(s/e)} — относительная (условная) логическая вероятность истинности высказывания s{\displaystyle s} при условии истинности выражения e{\displaystyle e}.

Замечательно, что чисто внешне формулы теории Бар-Хиллела и Карнапа похожи на формулы теории Шеннона. И там, и здесь мы имеем логарифмы и вероятности. Только у Шеннона все вероятности — статистические (то есть эмпирические), а не логические.

Если логическая вероятность выражения s∧e{\displaystyle s\land e} меньше логической вероятности выражения e{\displaystyle e}, то сообщение s{\displaystyle s} несёт новую информацию получателю, обогащая, таким образом, его знания. Если e{\displaystyle e} имплицирует s{\displaystyle s}, то s∧e{\displaystyle s\land e} эквивалентно e{\displaystyle e} и сообщение s{\displaystyle s} не несёт информации адресату (поскольку в нём для него нет ничего нового). Если выражение s∧e{\displaystyle s\land e} является противоречием, то q(s∧e)=0{\displaystyle q(s\land e)=0}. Количество семантической информации в противоречии по Бар-Хиллелу и Карнапу равно бесконечности. Этот парадоксальный результат впоследствии послужил поводом для критики со стороны Лучано Флориди.

Альтернативные идеи[править | править код]

Хотя теория Бар-Хиллела и Карнапа до сих пор пользуется вниманием исследователей, она вызвала поток новых идей. Александр Харкевич предложил измерять ценность информации по изменению вероятности достижения определённой цели, возникающему под воздействием данного сообщения^[6]. Юлий Шрейдер полагал, что количество семантической информации в послании любой природы можно оценивать как степень изменения системы знаний адресата в результате восприятия сообщения^[7]. Идея о семантическом аспекте связи информации и энтропии была впервые предложена в 1966 советским философом и логиком Евгением Казимировичем Войшвилло в работе «Попытка семантической интерпретации статистических понятий информации и энтропии».

Современные теории семантической информации[править | править код]

Теория Флориди[править | править код]

В своей работе 2004 года Лучано Флориди с первой строки обрушивается на теорию Бар Хиллела и Карнапа: «„Треугольник имеет четыре стороны“: согласно классической теории семантической информации в этом противоречии заключено больше смыслового содержания, чем в условно истинном утверждении „Земля имеет только одну Луну“»^[8]. Флориди назвал это «парадоксом Бар-Хиллела-Карнапа». Решение этого парадокса он видит в том, что количество семантической информации в сообщениях должно зависеть не только от заключённого в них смыслового содержания, но и от значения истинности этих сообщений. Флориди ввёл понятие условно ложного предложения (contingently false sentence), представляющего собой конъюнкцию двух его составных частей, одна из которых истинная, а вторая — ложная. Примером такого предложения может служить высказывание: «Луна вращается вокруг Земли и внутри она полая». Такое предложение одновременно несёт информацию (тем, кто не знает, что Луна вращается вокруг Земли) и дезинформацию (в обычной жизни часто приходится встречаться с подобным — дезинформацию легче продвигать, если она дополняется некоторой долей информации).

С точки зрения классической логики условно ложное предложение является просто ложным и несёт только дезинформацию. Однако приведённый пример показывает, что на самом деле это не так. Первоначальная теория Бар-Хиллела и Карнапа не в состоянии решить эту антиномию. Поэтому Флориди отверг её (как «слабую» теорию) и создал свою собственную — «сильную». Он отказался от использования логических вероятностей и заявил, что теория семантической информации не должна быть похожей на теорию Шеннона^[9]. В его собственной интерпретации количество семантической информации в сообщении определяется степенью соответствия этого сообщения ситуации (то есть тому, что происходит в данном месте и в данное время). Несоответствие возникает либо в результате бессодержательности сообщения, либо в результате его неточности. В своей теории Флориди непосредственно не использует понятие дезинформации, вместо этого он вводит понятие степени неточности условно ложных предложений. Степень неточности в условно ложном предложении s{\displaystyle s} равна:

−v(s)=−f(s)l(s){\displaystyle -v(s)=-{\frac {f(s)}{l(s)}}},

где f(s){\displaystyle f(s)} — число ложных атомарных выражений в s{\displaystyle s}; l(s){\displaystyle l(s)} — общее число атомарных предложений в s{\displaystyle s}. Для определения истинности атомарных предложений требуется принять принцип априорного всезнания. Степень бессодержательности истинного предложения s{\displaystyle s} рассчитывается по формуле:

+v(s)=m(s)n{\displaystyle +v(s)={\frac {m(s)}{n}}},

где m(s){\displaystyle m(s)} — число миров универсума, в которых s{\displaystyle s} истинно; n{\displaystyle n} — общее число миров универсума (заметим, что, согласно этому определению, величина +v(s){\displaystyle +v(s)} в точности равна величине логической вероятности q(s){\displaystyle q(s)}). Далее Флориди вводит понятие функции степени информативности:

i(s)=1−v2(s){\displaystyle i(s)=1-v^{2}(s)}.

Количество семантической информации i∗(s){\displaystyle i^{*}(s)} в сообщении s{\displaystyle s} равно определённому интегралу от функции степени информативности i(s){\displaystyle i(s)}:

i∗(s)=32∫v(s)1(1−x2)dx=1−3v(s)2+v3(s)2{\displaystyle i^{*}(s)={\frac {3}{2}}\int \limits _{v(s)}^{1}(1-x^{2})\mathrm {d} x=1-{\frac {3v(s)}{2}}+{\frac {v^{3}(s)}{2}}}.

Несмотря на все отличия между классической теорией и теорией Флориди, в них есть нечто общее. Если s{\displaystyle s} является истинным предложением, то величина +v(s){\displaystyle +v(s)} равна величине логической вероятности q(s){\displaystyle q(s)}. Мера i∗(s){\displaystyle i^{*}(s)} подобна мере cont(s){\displaystyle {\mbox{cont}}(s)}, но в отличие от последней, является нелинейной функцией v(s){\displaystyle v(s)}. К сожалению, в теории Флориди нет ничего похожего на меру inf(s){\displaystyle {\mbox{inf}}(s)}, обладающую замечательным свойством (*) для логически независимых предложений.

Теория семантической информации и дезинформации[править | править код]

Поднятая Флориди проблема может быть решена в рамках теории, основанной на логических вероятностях. Необходимо отметить, что к началу текущего века у некоторых учёных сформировалось скептическое отношение к индуктивной логике Карнапа^[10]. Однако современные математики смогли изменить ситуацию, модифицировав эту теорию^[11][12][13]. Благодаря этому интерес к логическим вероятностям вновь возродился.

В работе^[14] предлагается модифицировать классическую теорию семантической информации, включив в неё понятие дезинформации, которую несёт ложное сообщение. В новой теории, как и в теории Флориди, рассматривается множество различных ситуаций (точек пространства-времени). Одно и то же предложение языка может быть истинным в одной ситуации и ложным в другой. Поскольку получатель сообщений не может быть застрахован от ошибок при оценке их истинности, количество семантической информации оценивается отдельно с точки зрения получателя и с точки зрения всезнающего эксперта.

В каждой конкретной ситуации истинное сообщение несёт только информацию, а абсолютно ложное — одну только дезинформацию. Условно ложное предложение s{\displaystyle s} рассматривается как конъюнкция: sT∧sF{\displaystyle s_{T}\land s_{F}}, где sT{\displaystyle s_{T}} — истинная часть сообщения, sF{\displaystyle s_{F}} — ложная часть сообщения. При этом требуется, чтобы sT{\displaystyle s_{T}} и sF{\displaystyle s_{F}} были логически независимыми (это нужно, в частности, для того, чтобы противоречие не оказалось условно ложным предложением). Тогда ненормализованные меры количества информации inE(s){\displaystyle {\mbox{in}}_{E}(s)} и количества дезинформации miE(s){\displaystyle {\mbox{mi}}_{E}(s)} в условно ложном предложении s{\displaystyle s} с точки зрения эксперта определяются следующим образом:

inE(s)=cont(sT){\displaystyle {\mbox{in}}_{E}(s)={\mbox{cont}}(s_{T})},

miE(s)=cont(sF){\displaystyle {\mbox{mi}}_{E}(s)={\mbox{cont}}(s_{F})}.

Индекс «E{\displaystyle E}», которым помечены символы «in{\displaystyle {\mbox{in}}}» и «mi{\displaystyle {\mbox{mi}}}» в формулах, указывает на то, что рассматриваются количества информации и дезинформации с точки зрения эксперта. Нормализованные меры количества семантической информации infE(s){\displaystyle {\mbox{inf}}_{E}(s)} и дезинформации misE(s){\displaystyle {\mbox{mis}}_{E}(s)} в условно ложном предложении s{\displaystyle s} с точки зрения эксперта:

infE(s)=log2⁡11−cont(sT)=log2⁡1q(sT){\displaystyle {\mbox{inf}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{T})}}=\log _{2}{\frac {1}{q(s_{T})}}},

misE(s)=log2⁡11−cont(sF)=log2⁡1q(sF){\displaystyle {\mbox{mis}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{F})}}=\log _{2}{\frac {1}{q(s_{F})}}}.

Противоречие с точки зрения эксперта несёт нулевое количество информации и бесконечное количество дезинформации. Таким образом решается парадокс Бар-Хиллела-Карнапа. Бесконечное количество дезинформации объясняется тем, что, если бы противоречие вдруг кому-то показалось истиной, то мир изменился бы для него до неузнаваемости. Двумя словами это не описать. Предположим, что получатель информации имеет условно ложные знания e{\displaystyle e}, эквивалентные конъюнкции: eT∧eF{\displaystyle e_{T}\land e_{F}}, где eT{\displaystyle e_{T}} — истинная часть его знаний, eF{\displaystyle e_{F}} — заблуждения. Тогда с точки зрения эксперта, получив условно ложное сообщение s{\displaystyle s}, адресат реально имеет семантическую информацию и дезинформацию в следующих количествах:

infE(s/e)=log2⁡q(eT)q(sT∧eT)=log2⁡1q(sT/eT){\displaystyle {\mbox{inf}}_{E}(s/e)=\log _{2}{\frac {q(e_{T})}{q(s_{T}\land e_{T})}}=\log _{2}{\frac {1}{q(s_{T}/e_{T})}}},

misE(s/e)=log2⁡q(eF)q(sF∧eF)=log2⁡1q(sF/eF){\displaystyle {\mbox{mis}}_{E}(s/e)=\log _{2}{\frac {q(e_{F})}{q(s_{F}\land e_{F})}}=\log _{2}{\frac {1}{q(s_{F}/e_{F})}}}.

Если получатель воспринимает s{\displaystyle s} как истинное предложение и конъюнкция s∧e{\displaystyle s\land e} не является противоречием, то с его точки зрения он получил следующее количество информации:

infR(s/e)=log2⁡1q(s/e)=infE(s/e)+misE(s/e){\displaystyle {\mbox{inf}}_{R}(s/e)=\log _{2}{\frac {1}{q(s/e)}}={\mbox{inf}}_{E}(s/e)+{\mbox{mis}}_{E}(s/e)}.

Индекс «R{\displaystyle R}» обозначает оценку адресата. Очевидно, что точное количество информации (и дезинформации) в пришедшем сообщении может определить только эксперт, а получатель способен лишь на более-менее точные оценки.

Теория универсальной семантической информации[править | править код]

Формальное описание семантической информации, применимое для всех видов физических систем (живых и неживых) дано математиком Дэвидом Волпертом (David Wolpert) в его работе «Semantic information, agency, and nonequilibrium statistical physics»: синтаксическая информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования в состоянии низкой энтропии.

Казуальная необходимость определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и внешней средой. Критерием степени автономности физической системы является объём имеющейся семантической информации.

Примечания[править | править код]

1. ↑ Shannon C.E., Weaver W., (1949), The Mathematical Theory of Communication, Urbana: University of Illinois Press. Foreword by Richard E. Blahut and Bruce Hajek; reprinted in 1998.
2. ↑ Люгер Д.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем. – М.: Издательский дом «Вильямс», 2005. – 864 с. ISBN 5-8459-0437-4 (рус.)
3. ↑ Дмитриев В.И. Прикладная теория информации. – М.: Высшая школа, 1989. – 320 с. ISBN 5-06-000038-9
4. ↑ Shannon C.E., (1948), A Mathematical Theory of Communication. Bell Syst. Tech. J., 27: 379-423, 623-656.
5. ↑ Bar-Hillel Y., Carnap R., (1952), «An Outline of a Theory of Semantic Information», Technical Report No. 247, October 27, Research Laboratory of Electronics. – 49. [1] Архивировано 12 июля 2013 года.
6. ↑ Харкевич А. А. О ценности информации, «Проблемы кибернетики», 1960, в. 4.

Семантический поиск — Википедия

Семантический поиск — способ и технология поиска информации, основанная на использовании контекстного (смыслового) значения запрашиваемых фраз, вместо словарных значений отдельных слов или выражений при поисковом запросе. Улучшение результатов поиска при обработке запросов достигается за счет более точной интерпретации поисковых намерений пользователя.

Для осуществления семантического поиска в Сети (или в каких-либо системах с ограниченным доступом пользователей) применяются специальные технологии. При семантическом поиске учитывается информационный контекст, местонахождение и цель поиска пользователя, словесные вариации, синонимы, обобщенные и специализированные запросы, язык запроса, а также другие особенности, позволяющие получить соответствующий результат^[1].

Технология семантического поиска рассматривается как дополнение, либо альтернатива традиционным видам поиска информации. Ряд крупных поисковых систем, таких как Google и Bing, используют некоторые элементы семантического поиска, не являясь таковыми в чистом виде.

Цель семантического поиска — определять особенности пользователя и предоставлять ему наиболее релевантные результаты.

Семантический поиск возник из семантической сети, которая строится на онтологиях. В области наук об информации и вычислительной технике онтология изначально означает информационную структуру и набор фактов, представляющих собой систему знания. Теория семантического поиска уходит корнями к 2003 году и статье Р.Гуха и др., о IBM, Стэнфорде и Консорциуме Всемирной паутины^[2]. Тогда был продемонстрирован принцип работы семантического поиска.

С ростом популярности семантических сетей увеличилось и количество метаданных для поисковых систем. Почти все, что связано с запросами или сайтами, может считаться частью семантической области, имеющей отношение к результатам поиска.

Семантический поиск зависит как от семантической разметки веб-сайтов, так и от огромного количества семантической информации, которое она за собой влечет. В 2013 году первым крупным прорывом в технологиях семантического поиска стал алгоритм «Колибри»^[3]. С этим алгоритмом был применен «разговорный поиск».

Атрибуты, определяющие семантический поиск[править | править код]

Атрибуты семантического поиска (отличающие его от не семантического поиска) не обязательно являются его преимуществами. Некоторые из атрибутов могут повысить точность поиска за счет использования большого количества времени (или других ресурсов). Соответственно, эти десять атрибутов являются лишь характерными чертами семантического поиска, дающими преимущество только в идеальных условиях^[4].

1. Обработка морфологических вариаций.

2. Обработка синонимов с правильными значениями.

3. Обработка обобщений.

4. Обработка концептуального множества.

5. Обработка базы знаний.

6. Обработка запросов и вопросов, заданных простым языком.

7. Возможность определения непрерывного параграфа и наиболее соответствующего предложения.

8. Возможность к адаптации и органичному прогрессу.

9. Способность работать, не полагаясь на данные статистики, поведение пользователей и других искусственных средств.

10. Способность обнаруживать результаты своей собственной деятельности.

Семантический поиск в поисковых системах[править | править код]

Факторы, учитываемые поисковыми системами[править | править код]

Семантический поиск осуществляет не только анализ контекста, но и других факторов. Умные поисковые системы учитывают целый ряд факторов для того, чтобы получить наиболее соответствующие и подходящие поисковые запросы, включая:

1. Текущие тенденции

Если выборы президента только что закончились, и кто-то ищет информацию: «Кто стал новым президентом?», семантический поиск должен понять запрос и дать соответствующие результаты, основанные на текущих тенденциях и новостях.

2. Местонахождение пользователя

Если человек ввел запрос «Какая сейчас температура?», семантическая поисковая система должна предоставить результаты, основанные на месте его нахождения в момент запроса. Например, для ростовского жителя результатом запроса будут данные о температуре воздуха в городе Ростове-на-Дону.

3. Цель поиска

Семантический поиск основывается на выдаче подходящих результатов, основанных на цели поиска пользователя, а не определенных слов, использованных при обращении к поисковой системе.

4. Вариации слов в семантическом поиске

Семантический поиск должен учитывать лингвистические особенности запроса (падеж, число и время) и предлагать подходящие результаты для всех семантических вариаций слов, то есть видеть различия между близкими по написанию словами. Например, в таких словах как «техника» (транспортные средства или должность в род. падеже), «техники» (методики или должность во мн.ч.), «техник» (должность или методики во мн.ч), смысл часто меняется при переходе от единственного числа к множественному.

5. Синонимы

Семантические поисковые системы должны понимать синонимы и давать более или менее похожие результаты на любые синонимичные слова, запрашиваемые пользователем. Например, при запросах «наивысший пик» или «наибольший пик» ответ должен быть одинаковым.

6. Общие и специализированные запросы

Семантические поисковые системы должны обнаруживать связь между общими и специализированными запросами и предоставлять соответствующие результаты. Например, в сети существует информация как по общим вопросам здравоохранения, так и информация про «диабет». Если кто-то запрашивает информацию о состоянии здоровья, то семантический поиск должен предложить ссылки на оба источника, несмотря на то что в статье про диабет отсутствует упоминание слов «здоровье» или «здравоохранение».

7. Концептуальное множество

Это подмножество контекстной информации в семантическом поиске. Семантический поиск понимается как концепция запроса для получения соответствующих результатов. Например, запрос «проблемы дорожного движения в Москве» может выдать соответствующие результаты, включая такие, как «узкие дороги», «машины с мигалками», «ремонт дорог и строительство эстакад», «оставленный на обочинах автотранспорт» и т. д., так как с широкой концептуальной точки зрения, все это приводит к проблемам дорожного движения.

8. Простой язык при запросах

Не каждый человек — технический гуру, и не много людей знают, что именно нужно искать, чтобы получить нужный ответ. Большинство пользователей просто спросят, например, «Время во Владивостоке», на что большинство поисковых систем дадут ссылки на сайты где упоминаются «время» и «Владивосток». Умные поисковые системы сразу выдадут текущее время во Владивостоке.

9. Зависимость между значением фразы и использованными в ней словами

Конкретные слова в словосочетаниях и фразах или их порядок могут изменить истинное значение всего запроса. Например, запрос «Система приобретет новые активы в различных секторах» коренным образом отличается от запроса «Система приобретет новые очертания в различных секторах». В первом случае речь может идти о компании АФК «Система» и ее стратегии по покупке активов, вероятнее всего, в частном и государственном секторах. Второй вариант, вероятнее всего, говорит об изменении экономической модели и ее отражении на практике.

Преимущества семантического поиска в Google[править | править код]

Google не является в чистом виде семантической поисковой системой, хотя и использует некоторые элементы семантического поиска. Семантическая поисковая оптимизация, предоставляет результат, основанный на множестве факторов, а не только на значении слов запроса.

Результат семантического поиска связан:

1. С миллионами других людей, которые пишут те же слова запроса.

2. С машинным обучением Google.

3. С временными, сезонными и погодными тенденциями относительно данного запроса.

4. С поисковыми тенденциями в конкретном месте проживания.

Каждый байт данных обрабатывается таким образом, что поисковая система индексирует и предоставляет самые подходящие результаты к самому простому запросу.

Основываясь на агрегированной информации миллионов пользователей, алгоритм поисковой системы умеет понимать, чего они действительно хотят. Поисковые системы собирают огромное количество информации с каждого запроса. Google и другие поисковики используют данные по кликабельности страниц выдачи и времени нахождения на сайте для предоставления наилучших результатов поиска. Благодаря консоли поиска в Google и Google Analytics можно также получить некоторые из этих данных^[3].

Обзор семантических поисковых систем[править | править код]

Суть семантического поиска заключается не только в форме вопросов, заданных поисковой системе. Поскольку, веб — это набор неструктурированных HTML-страниц, в основе семантического поиска также лежит и базовая информация.

Одной из самых интуитивных и наиболее точных семантических баз данных считается Freebase. Freebase работает не только через текстовый поиск, а что наиболее важно, и через — MQL (Metaweb Query Language). MQL работает подобно JSON (текстовый формат обмена данными), но обладает более широкими возможностями. С его помощью можно составить любой запрос в Freebase, ответом на который будет тот же запрос, но уже с прикрепленными результатами поиска. Powerset, по сути, это тематическая база данных, которая работает с определенной структурированной информацией^[5].

Google, в первую очередь, ориентируется на статистическую частоту запросов и почти не принимает во внимание семантику. Особо стоит отметить новую систему SearchMonkey от Yahoo! Эта система ничего не добавляет к найденным результатам, но использует семантические аннотации для более полного, интерактивного и полезного пользовательского интерфейса.

Компании Hakia и Powerset постоянно работают над улучшением возможностей поиска. Их стратегия включает создание структур подобных Freebase с дальнейшим проведением поиска по наиболее релевантным результатам на естественном языке. Основное отличие заключается в том, что Hakia (как и другие) использует технологию для поиска по всей сети, а Powerset замкнул свой поиск только на Wikipedia^[5].

Поисковые системы сталкиваются с огромным числом проблем при осуществлении поиска по семантике. Первой из них является определение того, что конкретно имел в виду пользователь, когда вводил поисковый запрос, то есть существование различных значений слова или фразы в различных контекстах.

Семантический поиск не сможет помочь при решении задач, не решаемых вычислительным путем.

Существуют требующие вычисления задачи, которые не имеют ничего общего с пониманием семантики слова. На ранней стадии существования Семантического Веба считалось, что с его помощью можно решать даже сверхсложные задачи, однако, достигнуть высокого уровня все еще не удалось. Существуют пределы того, что можно вычислить, и имеется категория задач с огромным числом возможных решений, которые невозможно решить только на основе представления информации в RDF.

Кроме того, существует пласт задач, с которыми семантический веб справляется великолепно. Он решается при помощи тематической базы данных. Семантические технологии помогают отыскать тематическую информацию, рассредоточенную по всей сети, следовательно, семантические поисковые системы часто превосходят тематические запросы^[6].

Когнитивная семантика — Википедия

Когнитивная семантика является частью когнитивной лингвистики. Основными принципами когнитивной семантики являются следующие: во-первых, грамматика есть концептуализация; во-вторых, концептуальная структура закреплена в речи и мотивируется ей; в-третьих, возможность использования языка основывается на общих когнитивных ресурсах, а не на специальном языковом модуле.

В рамках области когнитивной лингвистики, метод когнитивной семантики отвергает традиционное разделение лингвистики на фонологию, синтаксис, прагматику и т. д. Вместо этого он делит семантику (смысл) на смысловое построение и выражение знания. Таким образом, когнитивная семантика изучает многое из того, что традиционно входило в сферу прагматики, а также семантики.

Методы, свойственные когнитивной семантике, как правило, используются в лексикологических исследованиях таких учёных как Леонард Талми, Джордж Лакофф, Дирк Гирартс и Брюс Уэйн Хокинс. Некоторые модели когнитивной семантики, такие как, например, модель Талми, учитывают в том числе и синтаксические структуры.

Как научную область семантику интересуют в основном три вопроса: что значит иметь «смысл» для лексем? Что значит иметь смысл для предложений? И наконец, как получается, что отдельные единицы языка могут вместе образовать законченное предложение? Таковы основные вопросы исследований в лексической семантике, структурной семантике и теории композиции соответственно. В каждой из этих областей есть разногласия между традиционными языковыми теориями и когнитивной семантикой.

Классические теории семантики (в традициях Альфреда Тарского и Дональда Дэвидсона), как правило, объясняют смысл языковых единиц с точки зрения необходимых и достаточных условий, смысл предложения с точки зрения истинных условий, а композицию с точки зрения пропозициональной функций. Каждое из этих объяснений тесно связано с другими. В соответствии с этими традиционными теориями, смысл отдельного предложения может пониматься как условие, при котором информация, содержащаяся в данном предложении, передаётся надлежащим образом. Например, выражение «снег белый» действительно, только если снег на самом деле бел. Лексические единицы могут передавать смысл либо за счёт непосредственно вещей, о которых ведётся речь (так называемый «экстенсионал» лексического значения), либо с точки зрения общих свойств этих вещей (так называемый «интенсионал» значения). Интенсионал передаёт собеседнику те необходимые и достаточные условия, при которых вещь входит в экстенсионал определённой лексической единицы. Таким образом, пропозициональные функции являются теми абстрактными инструкциями, которые позволяют собеседнику правильно заполнить переменные величины в свободном предложении и, следовательно, получить правильную информацию из предложения как единого целого. Между тем, теории в когнитивной семантике, как правило, строятся на доводе о том, что лексический смысл концептуален. То есть, смысл не обязательно является ссылкой на некий объект или отношение в реально существующем или потенциально возможном мире. Вместо этого, смысл соотносится с понятиями, находящимися в сознании и основанными на личном понимании. В результате, такие семантические факты как «Все холостяки — это неженатые мужчины» не являются фактами исключительно в языковой практике; скорее, эти факты ничем не отличаются от энциклопедического знания. Если понимать лингвистическое знание как идентичное повседневному знанию, то встаёт вопрос: как когнитивная семантика может объяснить такие семантические парадигмы как структура языковых категорий? Чтобы ответить на этот вопрос, исследователи опираются на теории из смежных областей, таких как когнитивная психология и когнитивная антропология. Одна из таких теорий объясняет структуру категорий с точки зрения узлов в сети информации. В когнитивной семантике общепризнанной является теория прототипов, которые с её точки зрения являются причиной полисемии.

Представители когнитивной семантики утверждают, что традиционные семантические теории явления-условия ограничены в своём понимании предложения. Хотя они и не отрицают семантику явления-условия полностью, они всё же указывают на то, что она не объясняет лингвистические явления до конца. То есть, её сфера сводится к индикативным предложениям, и она не предлагает какого-либо прямого или интуитивного способа понимания команд или выражений. Когнитивная же семантика стремится охватить весь спектр грамматических наклонений, используя в том числе понятия фрейма и ментального пространства.

Ещё одной отличительной чертой когнитивной семантики является признание того, что смысл не является чем-то постоянным, но зависит от конструала и общепринятых способов понимания. Процессы языкового конструала, как утверждается, ничем не отличаются от психологических процессов, связанных с обработкой энциклопедических знаний и восприятием действительности. Эта точка зрения имеет свои последствия для проблемы композициональности. Теория динамического конструала утверждает, что сами по себе слова не имеют смысла: они в лучшем случае обладают «конструалами, используемыми по умолчанию», которые в действительности являются лишь способами использования этих слов. Следовательно, когнитивная семантика утверждает, что рационализация композициональности может иметь место лишь в том случае, если принимаются во внимание такие прагматические элементы как контекст и намерение.

Когнитивная семантика стремится бросить двойной вызов традиционным теориям: во-первых, она пытается объяснить смысл предложения способами, выходящими за границы теории явления-условия; и, во-вторых, она стремится выйти за рамки понимания смысла слова с помощью необходимых и достаточных условий . Обе вышеуказанные цели достигаются при помощи исследования концептуальной структуры.

Семантика языковых фреймов[править | править код]

Теория языковых фреймов, разработанная Чарльзом Филлмором, пытается объяснить значение языковых единиц с точки зрения его отношения к их общепринятому пониманию, а не только с помощью теории явления-условия. Филлмор объясняет значение в целом (в том числе и значение лексем) с помощью языковых «фреймов». Под фреймом понимается любое понятие, которое может быть понято только в том случае, если также поняты остальные части более крупной концептуальной системы.

Филлмор: языковые фреймы[править | править код]

Теория языковых фреймов соответствует большому количеству лингвистических реалий. Во-первых, было отмечено, что значение слова строится на основе нашего телесного и культурного опыта. Например, понятие ресторан ассоциируется с рядом других понятий, таких как, например, еда, сервис, официанты, столы, употребление пищи. Эти богатые, но зависящие от обстоятельств объединения понятий не могут быть охвачены путём анализа с точки зрения необходимых и достаточных условий; в то же время, они, казалось бы, самым непосредственным образом связаны с нашим пониманием «ресторана».

Во-вторых, и более серьёзно, этих условий не достаточно для того, чтобы объяснить асимметрию в способах использования слов. Семантический анализ слов «мальчик» и «девочка» даёт нам не более чем:

1. Мальчик [+Мужчина], [+Молодой]
2. Девочка [+Женщина], [+Молодая]

Это предположение, безусловно, в какой-то мере истинно. Действительно, когнитивная семантика признаёт, что выражение определённого понятия в отдельно взятом слове находится в схематической зависимости непосредственно с этим понятием. С точки зрения семантического анализа, это считается вполне закономерным подходом.

Тем не менее, лингвисты пришли к выводу, что носители языка регулярно применяют термины «мальчик» и «девочка» таким образом, что их смысл выступает за грань чисто семантических признаков. Например, люди более склонны рассматривать молодых женщин как «девочек» (а не «женщин»), чем определять молодых представителей мужского пола как «мальчиков» (а не «мужчин»). Этот факт свидетельствует о том, что существует скрытый языковой фрейм, состоящий из культурных стереотипов, ожиданий, фоновых предположений, которые являются частью значения слова. Эти фоновые предположения не только удовлетворяют, но и выходят за рамки тех необходимых и достаточных условий, которые соответствуют семантической особенности данной языковой единицы. Таким образом, теория языковых фреймов стремится систематизировать исследования в области этих сложных особенностей лексических единиц.

В-третьих, когнитивная семантика утверждает, что семантика явления-условия не способна адекватно объяснить некоторые аспекты значения на уровне предложения. Возьмём, например, следующее предложение:

1. Вы не дали мне провести ни одного дня на море; вы лишили меня этого дня.

В этом случае, информация, содержащаяся в антецеденте предложения, не отвергается в пропозиционной его части. Вместо этого отвергается способ, которым эта информация предоставляется.

И, наконец, с помощью теории языковых фреймов лингвист может объяснить более широкий круг семантических явлений, нежели с помощью только необходимых и достаточных условий. Некоторые слова имеют одинаковые определения или интенции и одни и те же экстенции, но используются в слегка различных областях. Так, например, лексемы «земля» и «суша» являются синонимами, хотя они по своей природе контрастируют с различными вещами — воздухом и морем соответственно.

Как мы уже видели, теория языковых фреймов ни в коем случае не ограничена исследованием лексем — с её помощью, исследователи могут изучать выражения на более сложных уровнях, включая уровень предложения (или, точнее, высказывания). Понятие языкового фрейма рассматривается как родственное понятию вспомогательного предположения в прагматике. Философ и лингвист Джон Сёрль стремится объяснить последнее, обращаясь к читателям с просьбой рассмотреть предложение «Кот на ковре». Для того, чтобы это предложение имело для читателя какой-то смысл, читателю необходимо сделать ряд предположений: существует гравитация, кот параллелен ковру, и они соприкасаются друг с другом или кот изображена на ковре. Для того, чтобы вложить в предложение какой-либо смысл, говорящий подразумевает, что собеседник обладает каким-либо идеальным или используемым по умолчанию языковым фреймом.

Лангакер: профиль и база[править | править код]

Теория Филлмора получила альтернативное развитие в работе Рональда Лангакера, который обозначил различие между профилем и базой понятия. Под профилем понятия подразумевается обозначающее его слово, в то время как база есть энциклопедическое знание о том, что это понятие обозначает. Например, определение «радиуса» звучит как «отрезок, который соединяет центр окружности с любой точкой на этой окружности». Если всё, что мы знаем о понятии радиус — это его профиль, то мы знаем всего лишь, что это отрезок, который соединён с чем-то под названием «окружность» в некотором более крупном целом под названием «круг». То есть, наше понимание имеет лишь фрагментарный характер до тех пор пока базовое понятие круга твёрдо не закрепится в нашем сознании.

В том случае, когда одна база присуща различным профилям, образуется «домен». Например, концептуальные профили «арка», «центр» и «окружность» находятся в домене круга, потому что каждый из них использует понятие круга в качестве базы. Следовательно, мы можем обозначить понятие языкового фрейма как базу концептуального профиля либо (в более общем смысле) как домен, частью которого данный профиль является.

Категоризация и познание[править | править код]

Большое расхождение в подходах к когнитивной семантике наблюдается в понимании структуры категорий. Как уже упоминалось выше, анализ семантических единиц уступает анализу языковых фреймов той или иной категории. Следовательно и в этом вопросе альтернативный подход должен выйти за рамки классических теорий, а также объяснить то богатство деталей, с которыми у носителей языка ассоциируется конкретная категория.

Теория прототипов, выдвинутая Элеонорой Рош, дала некоторые основания предполагать, что структура многих естественных лексических категорий является ступенчатой, то есть в ней есть прототипы, которые «лучше соответствуют» данной категории, чем остальные. Например, малиновка для большинства людей будет являться лучшим примером категории «птица», чем пингвин. Если эта точка зрения верна, то можно утверждать, что в структуре категорий есть центральные и периферические члены.

Эта тема была продолжена последователем Людвига Витгенштейна Джорджем Лакоффом, который отмечал, что некоторые категории связаны друг с другом лишь посредством так называемого семейного сходства. Таким образом, кроме классических категорий, основанных на необходимых и достаточных условиях, существует ещё по меньшей мере два других вида категорий: генеративные и радиальные.

Генеративные категории — это категории, которые могут быть созданы путём нахождения центральных случаев использования и применения определённых критериев для обозначения принадлежности к категории. Принцип подобия является примером одного из правил, на основе которых из прототипа образуется более широкая категория.

Радиальными категориями являются общепризнанные, но не всегда соответствующие правилам категории. Понятие «мать», например, может быть объяснено с точки зрения ряда условий, которые могут или не могут быть достаточными. Эти условия могут включать в себя: состоит в браке, всегда была женщиной, родила ребёнка, предоставила ребёнку половину его ген, воспитывает ребёнка, замужем за генетическим отцом ребёнка, на одно поколение старше ребёнка, является законным опекуном этого ребёнка. Любое из вышеуказанных условий может быть не реализовано: например, «мать-одиночка» не состоит в замужестве, а «суррогатная мать» вовсе не обязательно проявляет заботу. Если собрать все эти аспекты вместе, то, хотя они и они образуют некий прототипный образ матери, но тем не менее не проводят точных границ этой категории. То, какое именно значение будет центральным, конвенционально устанавливается конкретным сообществом пользователей языка.

С точки зрения Лакоффа, влияние прототипов может быть объяснено в значительной степени последствиями идеализированных когнитивных моделей. То есть, образование доменов происходит вокруг идеального значения слова, которое может или не может соответствовать действительности. Например, слово «холостяк» обычно означает «взрослый мужчина, не состоящий в браке». Тем не менее, это понятие образовалось вокруг некоего идеального представления о холостяке: совершеннолетний, не дававший обет безбрачия, независимый, социализированный, беззаботный. В реальной ситуации содержание понятия может быть расширено, либо же могут образоваться ложные предположения. Например, люди, как правило, включат в значение слова «холостяк» такое исключение как «сексуально активный семнадцатилетний юноша, живущий один и владеющий собственной фирмой» (фактически ещё не совершеннолетний, но всё же холостяк), и этот случай может быть рассмотрен как пример расширения границ понятия. Кроме того, говорящий, как правило, исключит из понятия «холостяк» некоторые ложные предположения, например, взрослых неженатых мужчин, не обладающих должным сходством с идеалом, таких как Папа Римский или Тарзан. Влияние прототипов может также быть объяснено как результат категоризации базового уровня и типичности, сходности с идеалом, стереотипизации.

Если рассматривать теорию прототипов таким образом, то она, казалось бы, объясняет структуру языковых категорий. Тем не менее, есть ряд критических замечаний касательно этой интерпретации языковых данных. Действительно, Рош и Лакофф, которые сами являются сторонниками теории прототипов, отмечали в своих более поздних работах, что выводы теории прототипов не обязательно дают нам информацию о структуре категорий. Некоторые представители традиции когнитивной семантики подвергают сомнению выводы, сделанные как классическими теориями, так и теорией прототипов касательно структуры категорий, предлагая взамен теорию динамичного конструала, которая утверждает, что структура категорий всегда создаётся «в режиме реального времени» — следовательно, категории не имеют структуры вне контекста использования.

Ментальные пространства[править | править код]

В традиционной семантике смысл предложения есть ситуация, которую оно передаёт, и эта ситуация может быть описана с точки зрения того возможного мира, где эта ситуация возможна. Кроме того, значение предложения может зависеть от пропозициональных установок, формирующихся в соответствии с чьими-либо мнениями, желаниями, и психическими состояниями. То, играют ли пропозициональные установки какую-либо роль в семантике явления-условия, является спорным вопросом. Однако, существует предположение, что при их помощи семантика явления-условия всё же сможет зафиксировать смысл предложения, выражающего чьё-либо мнение, такого как «Фрэнк считает, что Ред Сокс победят в следующей игре». Общему смыслу этого предложения соответствует совокупность абстрактных условий, при которых в сознании Фрэнка существует определённая пропозициональная установка, и эта установка есть не что иное, как отношение Фрэнка к тому возможному миру, в котором Ред Сокс выиграют следующую игру.

Тем не менее, многие лингвисты выражают недовольство неуклюжим выражением и сомнительной онтологией семантики возможных миров. Альтернативный подход был разработан Жилем Фоконье. С точки зрения Фоконье, смысл предложения может быть получен путём анализа «ментальных пространств». Ментальные пространства есть когнитивные структуры, существующие исключительно в умах собеседников. В соответствии с его теорией существует два вида ментальных пространств. Базовое пространство используется для описания реальности (оно понятно обоим собеседникам). Пространственными конструкторами (либо сконструированными пространствами) являются те ментальные пространства, которые выходят за рамки реальности путём апеллирования к возможным мирам наряду с временными выражениями, вымышленными конструкциями, играми и т. д. Кроме того, семантика Фоконье проводит различие между ролью и значением. Семантическая роль понимается как описание категории, в то время как значениями являются конкретные примеры, входящие в состав категории. (В этом смысле, различие между ролью и значением является особым случаем различия между типом и знаком.)

Фоконье утверждает, что при помощи изложенного выше разделения могут быть объяснены многие любопытные семантические конструкции, такие как, например, следующее предложение:

1. В 1929 году женщина с белыми волосами была блондинкой.

Семантолог должен уметь объяснить тот очевидный факт, что это предложение не противоречит самому себе. Фоконье строит свой анализ на основе наблюдения, что существует два различных ментальных пространства (пространство настоящего времени и пространство 1929 года). В соответствии со сформулированным им принципом доступа, «значение в одном пространстве может быть описано с помощью той роли, которую выполняет его двойник в другом пространстве, даже если эта роль является недействительной в первом пространстве». Итак, в рамках данного предложения, значением в пространстве 1929 года является «блондинка», хотя в пространстве настоящего времени она описывается ролью «женщины с белыми волосами».

Как было показано выше, когнитивная семантика объясняет построение значения как на уровне предложения, так и на уровне лексемы с точки зрения структуры понятий. Однако, не вполне ясно, какие конкретно когнитивные процессы играют в этом роль. Кроме того, неясно, каким образом могут быть объяснены способы употребления понятий в дискурсе. Похоже на то, что, если наша задача состоит в том, чтобы объяснить, как семантические цепочки передают различное семантическое содержание, то сначала нужно выяснить, какие именно когнитивные процессы приводят к этому. Исследователи могут ответить на оба вопроса, изучив конструальные операции, задействованные в обработке языка — то есть, изучив способы построения людьми личного опыта при помощи языка.

Язык полон конвенций, которые позволяют передавать личный опыт в тонких и мелких деталях. Например, языковые фреймы наблюдаются во всём спектре лингвистических данных, простираясь от самых сложных высказываний до тона, выбора слов, выражений, образованных за счёт морфемного состава. Другим примером являются схемы изображений, то есть способы, при помощи которых мы структурируем и понимаем элементы нашего личного опыта, полученного на основе одного из чувств.

По мнению таких лингвистов как Уильям Крофт и Д. Алан Круз, существует четыре вида общих когнитивных способностей, которые играют активную роль в построении конструалов. К ним относятся: внимание /основные моменты, мнение/ сравнение, контекст и конституция/гештальт. Каждая общая категория содержит определённое количество субпроцессов, каждый из которых помогает объяснить то, каким из единственных в своём роде способов мы кодируем личный опыт при помощи языка.

Формальная семантика — Википедия

Материал из Википедии — свободной энциклопедии

Формальная семантика — дисциплина, изучающая семантику (интерпретации) формальных и естественных языков путём их формального описания в математических терминах.

Формальный язык может быть задан без какой-либо интерпретации. Это достигается заданием множества символов (также называемого алфавитом) и множества правил вывода (также называемого формальной грамматикой), которые определяют, какие строки символов являются правильно построенными формулами. При добавлении правил преобразования и принятии некоторых предложений за аксиомы (что вместе называется дедуктивной системой), формируется логическая система. Интерпретация — это задание смысла её символам и значений истинности её предложениям.

Условия истинности различных предложений, которые могут присутствовать в аргументах, зависят от их смысла, поэтому добросовестные учёные не могут полностью обойтись без какого-либо описания смысла этих предложений. Семантика логики описывает различные подходы к пониманию и определению тех частей смысла, которые представляют интерес. Как правило, интерес с точки зрения логики представляет не само по себе предложение, а оно же в пропозиционной, идеализированной форме, подходящей для логических преобразований.

До становления современной логики, в «Органоне» Аристотеля, а именно в работе «Об истолковании» были заданы основы понимания и значения логики. Введение кванторов должно было решить проблему общности множеств, не решаемую в рамках субъектно-предикатного анализа Аристотеля, хотя в логике термов появляется новый интерес, а именно попытки построить исчисление в духе силлогистики Аристотеля, но используя свойства общности кванторов из современной логики.

Основными современными подходами к семантике для формальных языков являются:

• Теоретико-модельная семантика, архетип семантики теории истинности Альфреда Тарского, основанной на его Т-схеме, является одной из ключевых концепций модельной теории. Это один из наиболее распространённых подходов. Основная его идея в том, что смысл различных частей утверждения задаются всевозможными способами рекурсивного задания группы функций интерпретации, отображающих предложения на некоторые заранее заданные математические множества. Так, интерпретация логики предикатов первого порядка задаётся отображением термов в универсум, и отображение предикатов в значения истинности «истина» и «ложь». На модельно-теоретической семантике основан подход в теории смысла под названием семантика условной Истины, который впервые был предложен Дональдом Девидсоном. Семантика Крипке по сути вносит некоторые дополнения к семантике Тарского.
• Теоретико-доказательная семантика^[en] связывает смысл утверждений с ролями, которые они играют в рассуждении. Герхард Генцен, Даг Правиц (швед. Dag Prawitz) и Майкл Даммет считаются основателями этого подхода. На него сильно повлияла поздняя философия Людвига Витгенштейна, особенно его афоризм «смысл — это применение».
• Семантика значений истинности^[en] (также известная как подстановочная квантификация) была предложена Рут Маркус (англ. Ruth Barcan Marcus) для модальных логик в начале 1960-х и затем развита в трудах Дана (Michael Dunn), Белнапа (англ. Nuel Belnap) и Леблана (Hugues Leblanc) в качестве стандартной логики первого порядка. Джеймс Гарсон (англ. James Garson) получил некоторые результаты в областях адекватности интенсиональных логик, снабжённых такой семантикой. Условия истинности квантифицированных формул задаются исключительно в терминах истинности, без использования множеств (отсюда и название).
• Теоретико-игровая семантика^[en] недавно была возрождена Яакко Хинтиккой для логик (конечной) частично покрытой квантификации, которые изначально исследовались Леоном Хенкиным.
• Вероятностная семантика — обобщение семантики значений истинности, созданное Филдом (Hartry Field).

Лингвисты редко применяли формальные семантики до тех пор, пока Ричард Монтегю не показал как можно воспринимать английский (или любой другой естественный язык) как формальный язык. Его вклад в лингвистическую семантику, известный как грамматика Монтегю, представляет основу для того, что лингвисты называют формальной семантикой.