Что такое логи, как посмотреть логи сервера, где хранятся log-файлы и как их проверить

Специалистам больше не приходится записывать файлы и анализировать их вручную, ведь у них есть логи сервера.

Давайте начнём с того, что такое логи, как их посмотреть и почему так важно их использовать.

Что такое логи

Ваши системы и приложения, включая серверы, автоматически генерируют журналы при возникновении событий. Например, программное обеспечение для резервного копирования создает журналы, которые дают вам представление о всём происходящем процессе.

Серверы постоянно создают определённые файлы, которые представляют собой необработанные данные о соответствующей активности сервера – например, благодаря им можно проверить веб-сервер и узнать о трафике сайта. Файлы журналов сервера также могут предоставить системным администраторам детали и понимание, необходимые для эффективного устранения неполадок.

Логи сервера или журнал сервера – это текстовые файлы, которые автоматически создаются и хранятся на жёстком диске веб-сервера в хронологическом порядке. В них содержится информация о пользователях и их активности на платформе, а также о работе сервера.

Каждый раз, когда любой браузер или пользовательский агент, включая Google, запрашивает какой-либо ресурс с вашего сервера – страницы, изображения, файл javascript, что угодно, – эта информация записывается в log file – логи сервера.

В них включается информация о запросе, включая IP-адрес клиента, дату и время запроса, запрошенную страницу, код HTTP и так далее. Эти данные можно объединить в один файл или разделить на отдельные логи, такие как access_log или error_log.

Как правило, эти файлы недоступны для обычных пользователей интернета, только для разработчика или других администраторов.

Существует множество различных типов логов, но основные это:

Системные логи представляют собой журнал событий, происходящих в операционной системе: уведомления о запуске, обновление системы, неожиданные завершения работы, сбои и предупреждения и прочее.

Логи авторизации и доступа содержат список пользователей или ботов, которые обращались к определённым программам или файлам.

Серверные логи отслеживают действия на сервере в течение некоторого периода времени.

Логи безопасности отслеживают события, непосредственно связанные с безопасностью вашего устройства.

Зачем нужны логи

Логи сервера важны, поскольку в них хранится ценная информация, благодаря которой можно:

• найти бреши в системе безопасности;
• оперативно выявить ошибки, сбои и вредоносное ПО;
• проанализировать трафик веб-сайта.

Что хранится в логах

В журнале веб-сервера чаще всего встречаются следующие значения:

• трафик и количество уникальных пользователей;
• продолжительность посещения и последние посещения;
• наиболее загруженные активностью дни недели и часы;
• домены посетителей хоста;
• список хостов;
• авторизованные пользователи и их последние посещения;
• количество просмотров веб-страниц;
• самые просматриваемые страницы;
• типы файлов;
• ОС пользователя;
• браузер пользователя;
• поисковые системы, ключевые слова, используемые для поиска анализируемого веб-сайта.

Как читать логи

Так как существуют разные типы логов, они могут читаться абсолютно по-разному. Мы рассмотрим как интерпретировать логи доступа (access_log) на следующем примере:

11.222.333.44 — — [1/Dec/2021:11:01:28 –0600] «GET /blog/page-address.htm HTTP/1.1» 200 182 «-» «Mozilla/5.0 Chrome/60.0.3112.113»

Итак:

11.222.333.44 – IP-адрес, с которого был сделан запрос;

[1/Dec/2021:11:01:28 –0600] – дата и время запроса, а также часовой пояс;

GET – тип запроса,

/blog/page-address.htm – объект запроса;

HTTP/1.1 – протокол, по которому прошёл запрос;

200 – код ответа сервера;

182 – количество байт полученных посетителем;

Mozilla/5.0 Chrome/60.0.3112.113 – данные о посетителе.

Как проверить логи сервера

Просто открыть файл логов сервера, как правило, несложно. Хотя в некоторых случаях доступ к журналам сервера может быть ограничен в целях безопасности, и его придётся запросить у веб-разработчиков.

Однако давайте предположим, что у вас всё-таки есть доступ к ним. В таком случае встаёт вопрос: где хранятся логи сервера, и как их открыть?

Чтобы посмотреть содержимое логов, нужно открыть папку логов и скачать нужный файл на свой ПК. Это можно сделать с помощью различных сервисов: Plesk, ISPmanager и cPanel.

Plesk

1. В первую очередь откройте панель управления хостингом.
2. В меню слева выберите вкладку Файлы.
3. Найдите папку logs и откройте её.
4. Скачайте нужные вам файлы, выделив их и нажав
   Скачать.

cPanel

1. Откройте панель управления хостингом.
2. Раскройте меню Файлы и выберите опцию Менеджер файлов.
3. Найдите папку с названием «logs».

4. Скачайте нужные вам файлы. Для этого выделите их и нажмите Скачать.

ISPmanager

1. Откройте панель управления хостингом.
2. В левой панели выберите Менеджер файлов.
3. Перейдите в logs.

4. Скачайте необходимые файлы.

Все эти файлы можно открыть вручную с помощью программ, которые уже есть в вашей системе:

• Многие файлы логов записываются в виде обычного текста, что означает, что вы можете использовать любой текстовый редактор (Блокнот, Microsoft Office или TextEdit) для открытия и просмотра файла логов сервера.
• Кроме того, можно воспользоваться браузером и открыть файл логов сервера в формате HTML.
• Другой вариант открытия логов в операционной системе Windows – через Event Viewer, служебную программу с большей функциональностью, чем указанные выше варианты.

Заключение

Использование логов сервера даёт множество преимуществ. Они помогают обнаруживать вредоносное ПО, различные ошибки, повысить уровень безопасности сервера и даже проанализировать весь трафик сервера.

Если вам нужно доказать кому-то их необходимость, попробуйте рассказать о том, что узнали в этой статье: о ценности логов, какую информацию они содержат и в каких случаях к ним обращаются. Мы уверены, что уже этого будет достаточно, чтобы донести до человека важность этих файлов.

  

Туториал: как проверить логи сервера

Файл регистрации | это… Что такое Файл регистрации?

Файл регистрации, протокол, журнал или лог (англ. log) — файл с записями о событиях в хронологическом порядке. Различают регистрацию внешних событий и протоколирование работы самой программы — источника записей (хотя часто всё записывается в единый файл).

Содержание 1 Регистрация внешних событий 2 Протоколирование работы программы 3 См. также 4 Примечания 5 Ссылки 6 Литература

Регистрация внешних событий

Лог-файлы сервера — специальные файлы, в которых протоколируются определённые действия пользователя или программы на сервере.^[1] Например, в лог-файлы веб-сервера записывается информация, откуда пришёл тот либо иной посетитель, когда и сколько времени он провел на сайте, что там смотрел и скачивал, какой у него браузер и какой IP-адрес у его компьютера. Каждая запись в лог-файле соответствует определенному хиту, так как сервер может фиксировать именно запрос к одному из элементов сайта.

Проанализировав лог-файлы, можно получить сводные цифры активности пользователей, изучить закономерности поведения групп пользователей и оценить эффективность рекламной компании. Часто используемые данные (статистика) могут записываться сразу в базу данных (а не только в лог-файл). Например, так работают биллинговые системы учёта.

Протоколирование работы программы

Ведение протокола, или протоколирование, — хронологическая запись с различной (настраиваемой) степенью детализации сведений о происходящих в системе событиях (ошибки, предупреждения, сообщения), обычно в файл. В абсолютном большинстве современных программ используются текстовые файлы протоколов (одно событие — одна строка), они легко генерируются программой и анализируются человеком. Как исключение, в интерактивных утилитах (командной строки) сообщения о событиях выводятся прямо на экран пользователю, однако и этот вывод при необходимости можно перенаправить в файл.

Исследование содержимого файла регистрации ошибок после возникновения неполадок часто позволяет понять их причины.

Чтобы ограничить рост размера лог-файлов, как правило, применяют ротацию — каждые сутки (или по достижении определённого размера) текущий лог-файл переименовывается (добавляется цифра или часть даты), создаётся новый файл, и записи пишутся в него; файлы старше определённого времени удаляются.

Наиболее подходящей парадигмой для решения задач ведения файлов регистрации считается аспектно-ориентированное программирование.

См. также

• Журналирование
• Call Detail Record
• Анализ логов
• Лог-анализатор
• Код ответа
• Биллинг
• LOGML

Примечания

1. ↑ Словарь Электронной коммерции. Архивировано из первоисточника 14 февраля 2012.

Ссылки

• Долгов, Дмитрий Протоколирование. Способы отладки приложений. Архивировано из первоисточника 14 февраля 2012. Проверено 11 августа 2006.
• Карпов, Андрей Построение систем автоматического протоколирования Си/Си++ кода. Архивировано из первоисточника 14 февраля 2012. Проверено 7 июля 2008.
• Логирование в БД PostgreSQL
• Логирование в Питоне

Литература

• Юрасов А.В. Основы электронной коммерции = Учебник для вузов. — М.: Горячая линия (издательство). Телеком, 2008. — С. 480. — ISBN 978-5-9912-0013-4

Файлы журнала: определение, типы и важность

Арфан Шариф — 21 декабря 2022 г.

Что такое файл журнала?

Файл журнала — это событие, которое произошло в определенное время и может содержать метаданные, контекстуализирующие его.

Файлы журналов представляют собой исторические записи обо всем, что происходит в системе, включая такие события, как транзакции, ошибки и вторжения. Эти данные могут передаваться различными способами и могут быть как в структурированном, полуструктурированном, так и в неструктурированном формате.

Базовая структура файла журнала включает:

• Отметку времени — точное время, когда произошло зарегистрированное событие
• Информация о пользователе
• Информация о событии – какое действие было предпринято

Однако, в зависимости от типа источника журнала, файл также может содержать большое количество важных данных. Например, журналы сервера также будут включать указанную веб-страницу, код состояния http, количество обслуживаемых байтов, пользовательские агенты и многое другое.

Откуда берутся файлы журналов?

Почти все создает ту или иную версию журнала, в том числе:

• Приложения
• Контейнеры
• Базы данных
• Брандмауэры
• Конечные точки
• IoT-устройства
• Сети
• серверов
• Веб-службы

Список можно продолжить, но суть в том, что почти вся инфраструктура, с которой вы ежедневно взаимодействуете, создает файл журнала.

Кто использует файлы журналов?

Файлы журналов могут предоставить практически каждой роли в организации ценную информацию. Ниже приведены некоторые из наиболее распространенных вариантов использования по должностным обязанностям:

ITOps

• определение баланса инфраструктуры
• Управление рабочими нагрузками
• Поддерживать работоспособность/отключения
• Обеспечение непрерывности бизнеса
• Снижение затрат и рисков

 DevOps

• Управление CI/CD
• Поддержание работоспособности приложения
• Обнаружение критических ошибок приложения
• Определите области для оптимизации производительности приложений

DevSecOps

• Совместное владение разработкой приложений и безопасностью
• Экономия времени/денег и репутационных рисков за счет обнаружения потенциальных проблем до развертывания

SecOps/Безопасность 

• Раскройте подсказки о том, кто, когда и где атаковал
• Выявление подозрительной активности
• См. всплески заблокированного/разрешенного трафика
• Внедрение методологий, таких как цикл НОРД

ИТ-аналитики 

• Управление соответствием и отчетность
• Эксплуатационные и капитальные затраты
• Бизнес-аналитика

Типы журналов

Почти каждый компонент в сети создает разные типы данных, и каждый компонент собирает эти данные в свой собственный журнал. По этой причине существует множество типов журналов, в том числе:

• Журнал событий : журнал высокого уровня, в который записывается информация о сетевом трафике и использовании, например о попытках входа в систему, неудачных попытках ввода пароля и событиях приложений.
• Журнал сервера : текстовый документ, содержащий запись действий, связанных с определенным сервером в определенный период времени.
• Системный журнал (syslog) : запись событий операционной системы. Сюда входят сообщения о запуске, системные изменения, непредвиденные завершения работы, ошибки и предупреждения, а также другие важные процессы. Windows, Linux и macOS генерируют системные журналы.
• Журналы авторизации и журналы доступа
  : включают список людей или ботов, получающих доступ к определенным приложениям или файлам.
• Журналы изменений : включают хронологический список изменений, внесенных в приложение или файл.
• Журналы доступности : отслеживание производительности системы, времени безотказной работы и доступности.
• Журналы ресурсов : предоставляют информацию о проблемах с подключением и ограничениях емкости.
• Журналы угроз : содержат информацию о системном, файловом или прикладном трафике, который соответствует предварительно определенному профилю безопасности в брандмауэре.

Важность управления журналами

Несмотря на то, что, казалось бы, из файлов журналов можно извлечь бесконечную информацию, существует несколько основных проблем, которые не позволяют организациям раскрыть ценность данных журналов.

Задача №1: объем

С появлением облачных технологий, гибридных сетей и цифровой трансформации объем данных, собираемых журналами, увеличился на порядки. Если почти все ведет журнал, как организация может управлять огромным объемом данных  чтобы быстро осознать всю ценность файлов журналов?

Задача №2: стандартизация

К сожалению, не все файлы журналов имеют единый формат . В зависимости от типа журнала данные могут быть структурированными, полуструктурированными или неструктурированными. Чтобы в режиме реального времени получать и извлекать ценную информацию из всех файлов журналов, данные требуют определенного уровня нормализации, чтобы их было легко анализировать.

Задача № 3: цифровая трансформация

По данным Gartner, многие организации, особенно предприятия среднего размера и организации с менее зрелыми операциями по обеспечению безопасности, имеют пробелы в своих возможностях мониторинга и расследования инцидентов. Децентрализованный подход к управлению журналами в их ИТ-средах делает практически невозможным обнаружение угроз и реагирование на них.

Кроме того, многие организации полагаются на решения SIEM, которые ограничены по стоимости и возможностям. Модели лицензирования SIEM основаны на объеме или скорости передачи данных, принимаемых SIEM, что часто увеличивает затраты на технологию, делая широкий сбор данных непомерно дорогим (хотя многие инструменты управления журналами имеют аналогичные модели ценообразования). Кроме того, по мере роста объемов данных инструменты SIEM могут испытывать проблемы с производительностью, а также увеличивать эксплуатационные расходы на настройку и поддержку.

Регистрируйте все, отвечайте на любые вопросы — бесплатно

Falcon LogScale Community Edition (ранее Humio) предлагает бесплатную современную платформу управления журналами для облака. Используйте прием потоковых данных для обеспечения мгновенной видимости в распределенных системах, а также для предотвращения и устранения инцидентов.

Falcon LogScale Community Edition, доступная мгновенно и бесплатно, включает следующее:

• Загрузка до 16 ГБ в день
• 7-дневное хранение
• Кредитная карта не требуется
• Постоянный доступ без пробного периода
• Ведение журнала без индексов, оповещения в реальном времени и интерактивные информационные панели
• Получите доступ к нашему магазину и пакетам, включая руководства по созданию новых пакетов
• Учитесь и сотрудничайте с активным сообществом

Начните бесплатно

ЗНАКОМЬТЕСЬ С АВТОРОМ

Арфан Шариф (Arfan Sharif) — руководитель отдела маркетинга портфолио Observability компании CrowdStrike. У него более 15 лет опыта работы с решениями для управления журналами, ITOps, Observability, Security и CX для таких компаний, как Splunk, Genesys и Quest Software. Арфан окончил факультет компьютерных наук в Университете Бакса и Чилтернса и занимается маркетингом продуктов и инженерами по продажам.

Что такое файлы журналов? — Объяснение файлов журнала

Что такое файлы журнала?

Файлы журналов — это файлы, созданные программным обеспечением, содержащие информацию об операциях, действиях и шаблонах использования приложения, сервера или ИТ-системы. Они включают в себя исторические записи обо всех процессах, событиях и сообщениях, а также дополнительные описательные данные, такие как метки времени, для контекстуализации этой информации. Временные метки показывают, что произошло внутри системы и когда это произошло. Так что, если что-то пойдет не так с вашими системами, у вас есть подробный отчет о каждом действии до инцидента.

Почему важны файлы журналов?

Файл журнала содержит подробную и легкодоступную запись системной информации, которую в противном случае было бы трудно сопоставить. Это дает представление о производительности и соответствии ваших приложений и систем. Файлы журнала имеют решающее значение для облачных приложений из-за их динамических и распределенных функций.

Облачные приложения часто имеют сервис-ориентированную архитектуру. Они состоят из нескольких независимых программных компонентов, называемых микросервисами, которые постоянно взаимодействуют друг с другом для нормального функционирования системы. Устранение неполадок может быть невозможным без доступа к этим журналам связи.

Некоторые преимущества файлов журналов включают следующее:

• Вы можете получить ценную информацию об общем состоянии и функциональности вашей системы
• Вы можете получить временную шкалу инцидентов для более быстрого устранения неполадок
• Вы можете выявлять ошибки безопасности и минимизировать риски безопасности
• Вы можете оптимизировать производительность приложений с течением времени

Какие существуют типы файлов журналов?

Ниже приведены некоторые распространенные типы файлов журналов.

Журналы событий

Журнал событий — это высокоуровневый журнал, в который записываются данные об активности системы, чтобы обеспечить контрольный журнал для устранения неполадок. Журналы событий необходимы для понимания поведения сложных систем, особенно в случае приложений с небольшим взаимодействием с пользователем. Например, в сетях журналы событий записывают сетевой трафик, доступ и использование.

Системные журналы

В системный журнал записываются события операционной системы, такие как системные изменения, сообщения о запуске, ошибки, предупреждения и неожиданные завершения работы.

Журналы доступа

В журнале доступа записывается список всех запросов на отдельные файлы, которые пользователи или приложения запрашивают у системы. Он включает информацию об аутентификации пользователя, о том, кто запросил конкретный системный файл, когда они его запросили, а также другую связанную информацию.

Журналы сервера

Журнал сервера — это файл журнала, который сервер автоматически создает и поддерживает. Он содержит список действий, которые выполняет сервер, например количество запросов страниц, IP-адреса клиентов, типы запросов и т. д.

Журналы изменений

Журнал изменений — это файл, содержащий хронологическую запись изменений, внесенных в программное обеспечение. Например, он может регистрировать изменения между разными версиями приложения или регистрировать изменения конфигурации системы.

Другие типы журналов

В зависимости от варианта использования существуют другие типы файлов журналов, например следующие:

• Журналы доступности, которые отслеживают производительность и доступность системы
• Журналы ресурсов, содержащие информацию о проблемах с подключением
• Журналы угроз, содержащие информацию о подозрительных сетевых профилях

Для чего используются файлы журналов?

Операторы приложений и инфраструктуры используют файлы журналов для устранения неполадок, в то время как заинтересованные лица получают информацию из данных, встроенных в сообщения журналов. Ниже приведены некоторые примеры использования.

Выявление и устранение ошибок

Журналы событий играют важную роль в мониторинге приложений и серверов. Программное обеспечение для мониторинга может отправлять автоматические оповещения, если оно обнаруживает непредвиденные события в файле журнала. Команды разработчиков приложений затем используют предоставленные записи для отладки и улучшения систем.

Улучшение операций

По мере усложнения приложений и систем возрастает и сложность управления ими. Системный журнал упрощает для ИТ-специалистов выявление тенденций и оптимизацию инфраструктуры. Системные инженеры также используют файлы журналов для выявления потенциальных проблем и предотвращения инцидентов.

Повышение эффективности

Неожиданные перегрузки сервера негативно влияют на производительность и удобство работы пользователей. Файлы системного журнала помогают отслеживать использование ресурсов и улучшают распределение ресурсов. В результате вы можете принимать более обоснованные решения о том, когда увеличивать или уменьшать масштаб ресурсов. Например, вы можете обнаружить, что определенные запросы данных замедляют работу системы и выделяют для них ресурсы, интенсивно использующие память.

Понимание поведения пользователей

Вы можете использовать файлы журналов с системами мониторинга пользователей в режиме реального времени, чтобы лучше понять пути ваших пользователей. Отслеживая конечные точки и рабочие процессы пользовательского интерфейса, вы получаете представление о том, как пользователи взаимодействуют с вашим приложением. Эти идеи еще больше повышают удовлетворенность клиентов и могут даже способствовать запуску новых продуктов и услуг. Например, вы можете обнаружить, что загрузка файлов замедляет работу вашего приложения, и вместо этого выбрать демонстрацию контента в виде видео в приложении.

Повышение безопасности

Анализ данных журналов помогает вашей команде по кибербезопасности быстро реагировать на необычные события приложений и снижать риск несанкционированного доступа третьих лиц. Данные журнала, которые связывают системное или сетевое событие с действиями пользователя, дают представление о стандартном поведении пользователя. В результате вы можете настроить оповещения о необычных действиях, выходящих за рамки наблюдаемого типичного шаблона, чтобы обеспечить полное соблюдение требований и безопасность. Например, несколько неудачных попыток входа в систему могут вызвать оповещение для группы безопасности.

Что такое проблемы с управлением файлом журнала?

Хотя файлы журналов имеют решающее значение для эффективного обслуживания ИТ-инфраструктуры, вы можете столкнуться с проблемами управления из-за их уникальных функций.

Volume

Поскольку современные ИТ-системы записывают каждое действие, количество и размер файлов журнала быстро увеличивается. Без надлежащих процедур вы можете получить огромный объем журналов, которые требуют ручного анализа, чтобы быть практически полезными.

Изменение формата

Различные системы генерируют данные файла журнала в различных форматах, таких как структурированный, полуструктурированный или неструктурированный. Однако журналы необходимо разбирать или анализировать построчно, чтобы разработчики и администраторы могли их точно использовать. Отсутствие стандарта ведения журнала делает синтаксический анализ более сложным и трудоемким.

Скорость обработки

Большой объем журнальной информации и требования к ее разбору могут увеличить время управления журналом. Неэффективные системы управления журналами не позволяют организациям действовать в режиме реального времени из-за низкой скорости обработки журналов.

Как Amazon может удовлетворить ваши требования к управлению файлами журналов?

Amazon CloudWatch — это служба мониторинга и наблюдения, которая предоставляет данные и полезную информацию для наблюдения за вашими приложениями, реагирования на общесистемные изменения производительности и оптимизации использования ресурсов. CloudWatch собирает данные мониторинга и оперативные данные в виде журналов, метрик и событий. Вы получаете унифицированное представление о работоспособности и получаете полную информацию о ваших ресурсах, приложениях и сервисах AWS, работающих как на AWS, так и локально.