Syslog что это такое
Syslog
syslog
syslog — стандарт отправки сообщений о происходящих в системе событиях (логов), использующийся в компьютерных сетях, работающих по протоколу IP.
Протокол syslog прост: отправитель посылает короткое текстовое сообщение, размером меньше 1024 байт получателю сообщения. Получатель при этом носит имя «syslogd», «syslog daemon», либо же, «syslog server». Сообщения могут отправляться как по UDP, так и по TCP. Как правило, такое сообщение отсылается в открытом виде. Тем не менее, используя специальные средства (такие, как Stunnel, sslio или sslwrap), возможно шифрование сообщений и отправка их по SSL/TLS.
Syslog используется для удобства администрирования и обеспечения информационной безопасности. Он реализован под множество платформ и используется в множестве устройств. Поэтому, использование syslog позволяет обеспечить сбор информации с разных мест и хранение её в едином репозитории.
Командный интерфейс к syslog — logger
Содержание
История
Syslog был разработан в 1980 году Эриком Оллманом (Eric Allman) как часть проекта Sendmail, и использовался первоначально только для Sendmail. Зарекомендовав себя как стабильное и удобное решение, Syslog был использован и в других приложениях, став стандартом логгирования в системах UNIX и GNU/Linux. Позднее появились реализации и под другие операционные системы.
До недавнего времени, syslog использовался как стандарт de facto без каких-либо формальных спецификаций. Поэтому существовало множество реализаций, некоторые из которых были несовместимы друг с другом. Первые шаги по решению этой проблемы были предприняты в 2001 году — протокол syslog был описан в RFC 3164. Формальная спецификация, стандартизация содержания сообщений и механизм их передачи были выпущены в 2005 году.
Реализации
UNIX-подобные ОС
Microsoft Windows NT 5.x
Кросс-платформенная
Полезное
Смотреть что такое «Syslog» в других словарях:
syslog — (англ. system log системный журнал) стандарт отправки и регистрации сообщений о происходящих в системе событиях (т.е. создания логов), использующийся в компьютерных сетях, работающих по протоколу IP. Термином syslog называют как ныне… … Википедия
Syslog-ng — is an open source implementation of the Syslog protocol for UNIX and UNIX like systems. It extends the original syslogd model with content based filtering, rich filtering capabilities, flexible configuration options and adds important features to … Wikipedia
Syslog — Familie: TCP/IP Einsatzgebiet: Übermittlung von Log Meldungen in einem IP Rechnernetz Ports: 514/UDP syslog im TCP/IP‑Protokollstapel: Anwendung syslog Transport … Deutsch Wikipedia
Syslog — Fonction Transmission de journaux Port UDP 514 RFC RFC 3164 … Wikipédia en Français
Syslog — es un estándar de facto para el envío de mensajes de registro en una red informática IP. Por syslog se conoce tanto al protocolo de red como a la aplicación o biblioteca que envía los mensajes de registro. Un mensaje de registro suele tener… … Wikipedia Español
Syslog-ng — Maintainer Balázs Scheidler Aktuelle Version 3.2.1 Aktuelle Vorabversion 4.7.3 (v4 devel), 25. November 2010; 5.7.2 (v5 devel), 26 November 2010; 6.1.2 (v6 devel), 16 Dezember 2010 Betriebssystem … Deutsch Wikipedia
Syslog-ng — Développeur Balázs Scheidler Première version 1998 … Wikipédia en Français
SYSLOG — System Log file … Acronyms
syslog — ● np. m. ►UNIX►APPLI Démon tenant à jour les journaux systèmes sous Unix … Dictionnaire d’informatique francophone
ИТ База знаний
Полезно
— Онлайн генератор устойчивых паролей
— Онлайн калькулятор подсетей
— Руководство администратора FreePBX на русском языке
— Руководство администратора Cisco UCM/CME на русском языке
— Руководство администратора по Linux/Unix
Навигация
Серверные решения
Телефония
FreePBX и Asterisk
Настройка программных телефонов
Корпоративные сети
Протоколы и стандарты
Большинство сетевых устройств, таких как маршрутизаторы и коммутаторы, могут отправлять сообщения системного журнала. Кроме того, серверы *nix также могут генерировать данные системного журнала, как и большинство брандмауэров, некоторые принтеры и даже веб-серверы, такие как Apache. Серверы на базе Windows изначально не поддерживают Syslog, но большое количество сторонних инструментов позволяет легко собирать данные журнала событий Windows или IIS и пересылать их на сервер Syslog.
Syslog серверы
Syslog сообщения
Сообщения системного журнала обычно содержат информацию, помогающую определить основную информацию о том, где, когда и почему был отправлен лог: IP-адрес, отметка времени и фактическое сообщение.
Системный журнал использует концепцию, называемое “facility”, чтобы идентифицировать источник сообщения на любом компьютере. Например, facility “0” будет сообщением ядра, а facility «11» будет сообщением FTP. Это восходит своими корнями к syslog’а UNIX. В большинстве сетевых устройств Cisco используются коды объектов «Local6» или «Local7».
| 0 | Emergency | Система не работоспособна |
|---|---|---|
| 1 | Alert | Система требует немедленного вмешательства |
| 2 | Critical | Состояние системы критическое |
| 3 | Error | Сообщения об ошибках |
| 4 | Warning | Предупреждения о возможных проблемах |
| 5 | Notice | Сообщения о нормальных, но важных событиях |
| 6 | Informational | Информационные сообщения |
| 7 | Debug | Отладочные сообщения |
Недостатки syslog
У протокола syslog есть несколько недостатков.
Наконец, есть некоторые проблемы безопасности. В сообщениях syslog’а нет аутентификации, поэтому один компьютер может выдать себя за другой компьютер и отправить ложные события журнала. Он также подвержен повторным атакам.
Несмотря на это, многие администраторы считают, что syslog является ценным инструментом, и что его недостатки относительно незначительны.
Система сбора, анализа, уведомлений и визуализации логов на syslog-ng, elasticsearch, kibana, grafana, elasticalert
Что мы получим после этой статьи:
Систему сбора и анализа логов на syslog-ng, elasticsearch в качестве хранилища данных, kibana и grafana в качестве систем визуализации данных, kibana для удобного поиска по логам, elasticalert для отправки уведомлений по событиям. Приготовьтесь, туториал объемный.
Какие логи будем собирать:
Обоснование выбора системы
Почему я выбрал связку с syslog-ng в качестве отправителя, парсера и приемщика логов? Да потому что он очень быстрый, надежный, не требовательный к ресурсам(да да — logstash в качестве агентов на серверах и виртуальных машинах просто убожество в плане пожирания ресурсов и требованием java), с внятным синтаксисом конфигов(вы видели rsyslog? — это тихий ужас), с широкими возможностями — парсинг, фильтрация, большое количество хранилищ данных(postgresql,mysql,elasticsearch,files и т.д.), буферизация(upd не поддерживает буферизацию), сторонние модули и другие фишки.
Требования:
Приступим или добро пожаловать под кат
Небольшое пояснение.
Только кластер elasticsearch можно использовать в production, система из одной ноды просто загнется. В production используем кластер из master ноды и нескольких датанод. Отказоустойчивый кластер здесь рассматривать не будем. Кому интересно — вперед гуглить. Elastic рекомендует использовать одинаковую конфигурацию для нод кластера, так как кластер все равно будет работать со скоростью самой медленной ноды. Я использую ноды по 4 cpu и 12 gb озу и 700 gb ssd.
Наша система логов будет состоять из нескольких виртуальных машин — головного сервера(elasticnode1) и датанод elasticsearch(elasticnode2-9), на которых будут только храниться данные.
Сразу поправим файл /etc/hosts, если у вас нет настроенного dns сервера.
Меняем планировщика — у нас же ssd
Компоненты головного сервера
(elasticnode1):
Компоненты отправителей логов:
На данный момент появилась версия 6 продуктов elasticsearch, kibana и т.д., я же в production использую 5.6.3 — пока не было возможности мигрировать на последнюю версию.
Настраиваем отправители логов.
Устанавливаем syslog-ng последней версии. Ставить будем из репозитория. Здесь установка для Ubuntu 16.04.
Использование syslog
Протокол syslog прост: отправитель посылает короткое текстовое сообщение, размером меньше 1024 байт получателю сообщения. Получатель при этом носит имя «syslogd», «syslog daemon», либо же, «syslog server». Сообщения могут отправляться как по UDP, так и по TCP. Как правило, такое сообщение отсылается в открытом виде. Тем не менее, используя специальные средства (такие, как Stunnel, sslio или sslwrap), возможно шифрование сообщений и отправка их по Что такое SSL сертификат для сайта, почты/TLS. Syslog используется для удобства администрирования и обеспечения информационной безопасности. Он реализован под множество платформ и используется в множестве устройств. Поэтому, использование syslog позволяет обеспечить сбор информации с разных мест и хранение её в едином репозитории.
В случае аварии системы, сообщение о возникшей проблеме, скорее всего, не будет записано на диск.
Примеры настроек syslog.conf
Файл syslog.conf служит для настройки протокола Использование syslog. После любых изменений в конфигурационном файле демон syslogd должен быть перезапущен, например так
Как показывает практика, оптимальней новые записи добавлять в начало файла.
Настройка syslog для iptables
По умолчанию Правила iptables логи записывает в журналы /var/log/messages, /var/log/syslog, и /var/log/kern.log. Настроим протоколирование iptables в отдельный файл iptables.log. Уровень протоколирования выбран –log-level INFO
Алгоритм изменений syslog:
syslog
Syslog (англ. system log — системный журнал) — стандарт отправки и регистрации сообщений о происходящих в системе событиях (т.е. создания логов), использующийся в компьютерных сетях, работающих по протоколу IP. Термином syslog называют как ныне стандартизированный сетевой протокол syslog, так и программное обеспечение (приложение, библиотека), которое занимается отправкой/получением системных сообщений. syslog был создан на платформе BSD и получил широкое распространение на UNIX и Linux-платформах.
Механизм syslog
Предложенный Эриком Оллманом (Eric Allman) и реализованный им в процессе участия в разработке систем TCP/IP Berkeley Software Distribution (BSD) Калифорнийского Университета (University of California) программный механизм Syslog оказался настолько удачен, прост и легко масштабируем, что достаточно быстро он был перенесен на многие другие операционные системы, а также встроен во множество сетевых устройств.
Суть механизма Syslog проста и остается неизменной по сей день с незначительными вариациями: источники формируют простые текстовые сообщения о происходящих в них событиях и передают их на обработку серверу Syslog (называемому «syslogd», «syslog daemon», либо же, «syslog server»), используя один из сетевых протоколов семейства IP (UDP или TCP). Формирование сообщений о событиях и их передача происходит по определенным правилам, называемым протоколом Syslog. Как правило сообщение имеет небольшой размер (до 1024 байт) и отсылается в открытом виде. Тем не менее, используя специальные средства (такие, как Stunnel, sslio или sslwrap), возможно шифрование сообщений и отправка их по SSL/TLS.
Поскольку источники сообщений и сервер Syslog могут располагаться на разных машинах, то это позволяет организовать сбор и хранение сообщений от множества географически разнесенных разнородных источников в едином хранилище (репозитарии), что чрезвычайно важно для администраторов сетей, которые могут и не иметь физического доступа сразу ко всем устройствам и компьютерам в сети.
Также серверы Syslog, как правило, могут не только регистрировать сообщения, но и пересылать их другим серверам Syslog, основываясь на степени важности сообщения (Severity) и категории сформировавшего сообщение субъекта (Facility), что позволяет организовать, например, иерархическую систему хранилищ. А это может помочь, например, снизить время реакции персонала на критические события. Допустим, что существует некая крупная сеть, состоящая из нескольких сегментов. В каждом сегменте есть свой сервер Syslog, получающий сообщения только от источников внутри своего сегмента. Если эти серверы (нижний уровень) настроить так, чтобы они пересылали сообщения критического уровня важности и выше на один общий сервер (верхний уровень), то администратору сети, контролирующему через него всю сеть, будет легче отследить возникновение критической ситуации, поскольку таких сообщений немного и они не утонут в потоке нужных, но менее важных сообщений.
Текущая версия протокола Syslog предлагает усовершенствованный формат сообщений, позволяющий использовать точную отметку времени создания сообщения и осуществлять надежную идентификацию источника сообщения, а также применять кодировку UTF-8 для текста сообщения, что позволяет решить проблему интернационализации. Необязательные дополнительные поля (структурированные данные) могут использоваться для передачи различной информации, например, о погрешности локальных часов источника сообщения и точности их синхронизации с внешними часами точного времени, о языке, на котором написано сообщение, и т.д. Ввиду отмены привязки к конкретному транспорту, протокол Syslog может использовать любой из описанных в отдельных RFC механизмов доставки сообщений, но предпочтение отдается транспортам TLS.
История
Syslog был разработан в 1980 году Эриком Оллманом (Eric Allman) как часть проекта Sendmail, и использовался первоначально только для Sendmail. Зарекомендовав себя как стабильное и удобное решение, Syslog был использован и в других приложениях, став стандартом ведения журналов в системах UNIX и GNU/Linux. Позднее появились реализации и под другие операционные системы.
До недавнего времени, syslog использовался как стандарт de facto без каких-либо формальных спецификаций. Поэтому существовало множество реализаций, некоторые из которых были несовместимы друг с другом. Первые шаги по решению этой проблемы были предприняты в 2001 году — протокол syslog был описан в RFC 3164. Формальная спецификация, стандартизация содержания сообщений и механизм их передачи были выпущены в 2005 году.
Вышедший в августе 2001 года информационный RFC 3164 «The BSD Syslog Protocol» (Протокол BSD Syslog) описал сложившееся на момент публикации состояние. В результате проведенной работы по анализу существующих реализаций были определены место и значимость протокола Syslog в информационных системах, формализована структура сообщений, рассмотрены базовые модели развертывания и сформулированы возможные проблемы безопасности. В качестве транспортного механизма был заявлен UDP (порт 514) из семейства IPv4, а также введены некоторые ограничения, связанные с использованием данного транспорта.
В ноябре 2001 года вышел RFC 3195 «Reliable Delivery for Syslog» (Гарантированная доставка для Syslog), в котором предлагалось решение, позволяющее повысить надежность протокола Syslog за счет применения определенной реализации BEEP в качестве носителя сообщений и использования TCP (порт 601) из семейства IPv4 в качестве транспорта.
Март 2009 года ознаменовался выходом целой группы RFC, предложивших достаточно серьезные усовершенствования протокола Syslog.
RFC 5424 «The Syslog Protocol» (Протокол Syslog), во-первых, постулировал, что в качестве механизма доставки сообщений может быть использован любой транспорт, и поэтому из описания протокола были исключены определения транпортных механизмов и, соответственно, описание ограничений и проблем безопасности, напрямую связанных с конкретным транспортом. Во-вторых, предложил новый формат сообщения, предполагающий наличие в теле сообщения, кроме заголовка и текста, ещё и структурированных данных, элементы которых либо непосредственно зарегистрированы в IANA, либо управление ими делегируется предприятиям, зарегистрировавшим в IANA свой личный номер в соответствии со SMIv2. Кроме того, новый формат сообщения позволяет с большей точностью локализовать источник и время создания сообщения. В-третьих, продолжая процесс интернационализации, предложил использовать для текста сообщения кодировку UTF-8 в качестве предпочтительной.
RFC 5425 «Transport Layer Security (TLS) Transport Mapping for Syslog» (Механизм доставки для Syslog, обеспечивающий безопасность на транспортном уровне (TLS)) описал применение механизма TLS для доставки сообщений с использованием TCP (порт 6514) из семейства IPv4/v6 в качестве транспорта, его ограничения и проблемы безопасности.
RFC 5426 «Transmission of Syslog Messages over UDP» (Передача сообщений Syslog через UDP) описал механизм доставки сообщений, не использующий TLS, посредством UDP (порт 514) из семейства IPv4/v6 в качестве транспорта, его ограничения и проблемы безопасности.
RFC 5427 «Textual Conventions for Syslog Management» (Текстовые соглашения для управления Syslog) задал набор текстовых соглашений, описывающих важность (Severity) и категорию (Facility) сообщений Syslog в формате MIB, чтобы другие модули MIB могли их использовать в процессе определения управляемых объектов.
В октябре 2009 года увидела свет ещё одна группа RFC, связывающая управление объектами с протоколом Syslog.
RFC 5674 «Alarms in Syslog» (Аварийные сигналы в Syslog) открыл путь к использованию базы аварийных сигналов IETF (Alarm MIB) в сообщениях Syslog.
А задачи, решаемые RFC 5675 «Mapping Simple Network Management Protocol (SNMP) Notifications to SYSLOG Messages» (Механизм трансляции уведомлений протокола простого управления сетями (SNMP) в сообщения Syslog) и RFC 5676 «Definitions of Managed Objects for Mapping SYSLOG Messages to Simple Network Management Protocol (SNMP) Notifications» (Определения управляемых объектов для механизма трансляции сообщений Syslog в уведомления протокола простого управления сетями (SNMP)), понятны из названий документов.
Вышедший в мае 2010 года RFC 5848 «Signed Syslog Messages» (Подписанные сообщения Syslog) описал применение криптографической подписи в сообщениях Syslog.
В октябре 2010 года вышел RFC 6012 «Datagram Transport Layer Security (DTLS) Transport Mapping for Syslog» (Механизм доставки для Syslog, обеспечивающий безопасность датаграмм на транспортном уровне (DTLS)), предложивший применение механизма TLS для доставки сообщений с использованием UDP (порт 6514) из семейства IPv4/v6 в качестве транспорта, его ограничения и проблемы безопасности.
В апреле 2012 года вышел RFC 6587 «Transmission of Syslog Messages over TCP» (Передача сообщений Syslog через TCP), описавший механизм доставки сообщений, не использующий TLS, посредством TCP из семейства IPv4/v6 в качестве транспорта, его ограничения и проблемы безопасности.
Стандарты syslog
Следующие стандарты RFC, изданные IETF, описывают протокол syslog: