Брокер сетевых пакетов что это
Туннель под безопасностью и брокеры сетевых пакетов
В современных сетях с виртуализацией и автоматизацией широкое применение получило туннелирование трафика. Однако, туннелирование ориентировано на построение сети и обеспечение надежной передачи данных, а вопросы информационной безопасности и мониторинга обычно остаются «за скобками». Проблема невидимости туннелированного трафика для систем информационной безопасности – давно известная проблема – уже в 2011 году было опубликовано RFC 6169 «Security Concerns with IP Tunneling», указывающее на потенциальные риски применения туннелей. Непосредственно средства DPI не отстают от инфраструктуры и уже давно разбирают туннели и смотрят пользовательский трафик (когда это в целом технически возможно), однако, остается узкое место – передача данных из инфраструктуры на эти системы.
Туннелирование и передача трафика в системы мониторинга и информационной безопасности
GTP, GRE, L2TP, PPPoE, VXLAN и другие аббревиатуры туннелей знакомы любому сетевому инженеру. Туннелирование трафика позволяет:
Большая часть систем информационной безопасности и системы мониторинга работают с копией трафика. При этом передача данных из инфраструктуры обеспечивается одним из трех способов:
Чаще всего применяется комбинация из пассивных оптических ответвителей и брокеров сетевых пакетов.
TAP обеспечивают сохранение надежности сети, а брокеры сетевых пакетов – обеспечение корректной передачи данных на системы DPI и оптимизацию их использования. Однако при использовании туннелирования это возможно только в одном случае – если брокер сетевых пакетов поддерживает анализ туннельных конструкций и может распределять трафик на основании вложенных заголовков пакетов туннелированного трафика.
Фильтрация и классификация туннелированного трафика
Без возможности анализа брокером сетевых пакетов вложенных заголовков туннелированных пакетов бессмысленно говорить об оптимизации средств DPI. Фильтрация и классификация, позволяющие снизить нагрузку на системы DPI и уменьшить их количество, должны работать именно по полям пользовательского трафика (вложенных заголовков). Иначе отделить IP-адреса конкретных пользователей, требуемые протоколы или шифрованный трафик невозможно – по внешним полям это будет просто туннель. Попытка очистить трафик на системы DPI от нецелевого по внешним полям только создаст «дыру в безопасности» — целевой трафик «проскользнет мимо» информационной безопасности и мониторинга в туннеле.
В результате, при отсутствии функции анализа по вложенным заголовкам, для обеспечения безопасности или качественного мониторинга, весь трафик необходимо направлять на системы анализа. Покупать новые сервера и лицензии на дополнительную производительность, арендовать помещения для серверных и нанимать дополнительных сотрудников, которые будут этот парк обслуживать.
Балансировка туннелированного трафика
Еще более многогранна проблема балансировки туннелированного трафика. Во-первых, при распределении пользовательских пакетов между разными туннелями (в мобильных сетях, при резервировании с балансировкой нагрузки, да и просто при передаче прямого и обратного потока по разным туннелям) без анализа вложенных заголовков невозможно обеспечить целостность сессий пользовательского обмена.
Возьмём 2 сессии (AB-ВА и CD-DC) и передадим их через туннелированные каналы T1, T2 и T3. Допустим, речь идёт об абонентах мобильного оператора, гуляющих между базовыми станциями. Пакеты этих сессий окажутся в разных туннелях и при попадании туннелированного трафика на брокер сетевых пакетов есть 2 варианта их балансировки с сохранением целостности сессий:
То есть, если сессии AB и CD по 10 Гбит/с каждая инкапсулированы в туннель T1, то получается 20 Гбит/с трафика (которые могут передаваться по интерфейсу 40GbE/100GbE или через агрегированные каналы LAG 10GbE). После копирования и попадания данного потока в брокер сетевых пакетов возникает необходимость разбалансировать этот трафик на несколько систем DPI по интерфейсам 10 GbE. Сделать это с сохранением целостности сессий используя внешние заголовки невозможно – поток превысит пропускную способность выходного интерфейса и пакеты начнут теряться.
Балансировка по вложенным заголовкам обеспечивает возможность разделить поток на более мелкие без ущерба для целостности информационного обмена и качества работы систем DPI.
Балансировка фрагментированного туннелированного трафика
Отдельной проблемой при балансировке является фрагментация трафика, вызванная туннелированием: добавление туннельных заголовков приводит к превышению MTU и фрагментации пакетов.
Когда на вход туннелирующего устройства приходит пакет с размером равным MTU, то после добавления туннельных заголовков пакет начинает MTU превышать (на количество байт туннельного заголовка) и делится на фрагменты. Причём вложенный заголовок содержится только в первом фрагменте. В результате два пакета одной сессии (AB1 и AB2), попавшие в разные туннели (T1 с заголовком XY и T2 с заголовком XZ) превращаются в четыре пакета:
Столкнувшиеся с указанными проблемами в большой части трафика понимают их и решают. Как обычно хуже всего, когда проблема касается менее 10% трафика – она может быть незаметна и создается иллюзия, что всё в безопасности. А под безопасностью – туннель.
Современные решения для построения систем информационной безопасности — брокеры сетевых пакетов (Network Packet Broker)
Информационная безопасность отделилась от телекоммуникаций в самостоятельную отрасль со своей спецификой и своим оборудованием. Но есть малоизвестный класс устройств, стоящий на стыке телекома и инфобеза – брокеры сетевых пакетов (Network Packet Broker), они же балансировщики нагрузки, специализированные/мониторинговые коммутаторы, агрегаторы трафика, Security Delivery Platform, Network Visibility и так далее. И нам, как российскому разработчику и изготовителю таких устройств, очень хочется рассказать о них подробнее.
Область применения и решаемые задачи
Брокеры сетевых пакетов – специализированные устройства, которые нашли наибольшее применение в системах информационной безопасности. Как таковой класс устройств относительно новый и малочислен в общепринятой сетевой инфраструктуре по сравнению с коммутаторами, маршрутизаторами и т.д. Пионером в разработке данного типа устройств была американская компания Gigamon. В настоящее время игроков на этом рынке стало значительно больше (в том числе подобные решения есть у известного производителя тестовых комплексов — компании IXIA), но о существовании таких устройств по-прежнему знает только узкий круг профессионалов. Как было отмечено выше, даже с терминологией нет однозначной определенности: названия варьируются от «системы обеспечения прозрачности сети» до простого «балансеры».
Разрабатывая брокеры сетевых пакетов, мы столкнулись с тем, что, помимо анализа направлений развития функционала и испытаний в лабораториях/тест-зонах, необходимо параллельно объяснять потенциальным потребителям о существовании такого класса оборудования, поскольку не все знают о нем.
Еще 15-20 лет назад трафика в сети было мало, и это были преимущественно маловажные данные. Но закон Нильсена практически повторяет закон Мура: скорость интернет-соединения увеличивается ежегодно на 50 %. Объем трафика также неуклонно растет (на графике представлен прогноз 2017 года от компании Cisco, источник Cisco Visual Networking Index: Forecast and Trends, 2017–2022):
Вместе со скоростью возрастает важность циркулирующей информации (это и коммерческая тайна, и пресловутые персональные данные) и в целом работоспособность инфраструктуры.
Соответственно, появилась и отрасль информационной безопасности. Промышленность откликнулась на это появлением целого спектра устройств глубокого анализа трафика (DPI): от систем предотвращения DDOS-атак до систем управления событиями информационной безопасности, включая IDS, IPS, DLP, NBA, SIEM, Antimailware и так далее. Обычно каждое из этих средств – это программное обеспечение, устанавливаемое на серверную платформу. Причём каждая программа (средство анализа) устанавливается на свою серверную платформу: производители ПО разные, да и вычислительных ресурсов для анализа на L7 требуется много.
При построении системы информационной безопасности требуется решить ряд основных задач:
Как всем известно, спрос рождает предложение, в ответ на эти потребности и начали развиваться брокеры сетевых пакетов.
Общее описание брокеров сетевых пакетов
Брокеры сетевых пакетов работают на уровне пакетов, и в этом они похожи на обычные коммутаторы. Главное отличие от коммутаторов заключается в том, что правила распределения и агрегации трафика в брокерах сетевых пакетов полностью определяются настройками. В брокерах сетевых пакетов нет стандартов построения таблиц пересылки (MAC-таблиц) и протоколов обмена с другими коммутаторами (типа STP), а поэтому диапазон возможных настроек и понимаемых полей в них гораздо шире. Брокер может равномерно распределить трафик из одного или нескольких входных портов на заданный диапазон выходных портов с функцией равномерной нагрузки по выходу. Можно задать правила на копирование, фильтрацию, классификацию, дедупликацию и модификацию трафика. Данные правила можно применять к разным группам входных портов брокера сетевых пакетов, а также применять последовательно друг за другом в самом устройстве. Важным достоинством пакетного брокера является возможность обработки трафика на полной скорости потока и сохранение целостности сессий (в случае балансировки трафика на несколько однотипных систем DPI).
Сохранение целостности сессий заключается в передаче всех пакетов сессии транспортного уровня (TCP/UDP/SCTP) в один порт. Это важно, так как системы DPI (обычно это программное обеспечение, запущенное на сервере, подключенном к выходному порту пакетного брокера) анализируют содержимое трафика на уровне приложений, и все пакеты, отправляемые/принимаемые одним приложением, должны поступать на один и тот же экземпляр анализатора. Если пакеты одной сессии теряются или распределяются между различными устройствами DPI, то каждое отдельное устройство DPI окажется в ситуации, аналогичной чтению не цельного текста, а отдельных слов из него. И, скорее всего, текст не поймет.
Таким образом, будучи ориентированными на системы информационной безопасности, брокеры сетевых пакетов имеют функционал, помогающий подключить к высокоскоростным телекоммуникационным сетям программные комплексы DPI и снизить нагрузку на них: осуществляют предварительную фильтрацию, классификацию и подготовку трафика для упрощения последующей обработки.
Кроме того, поскольку брокеры сетевых пакетов выдают широкий перечень статистики и часто оказываются подключены к различным точкам сети, то и при диагностике проблем работоспособности самой сетевой инфраструктуры они также находят свое место.
Базовые функции брокеров сетевых пакетов
Название «специализированные/мониторинговые коммутаторы» возникло от базового назначения: собрать трафик с инфраструктуры (обычно при помощи пассивных оптических ответвителей TAP и/или SPAN-портов) и распределить между средствами анализа. Между разнотипными системами трафик зеркалируется (дублируется), между однотипными – балансируется. В базовые же функции обычно входят фильтрация по полям до L4 (MAC, IP, TCP/UDP-порт и т.д.) и агрегация нескольких слабонагруженных каналов в один (например, для обработки на одной системе DPI).
Этот функционал обеспечивает решение базовой задачи — подключение систем DPI к сетевой инфраструктуре. Брокеры различных производителей, ограничивающиеся базовым функционалом, обеспечивают обработку до 32 интерфейсов 100G на 1U (больше интерфейсов физически не помещается на переднюю панель 1U). Однако они не позволяют снизить нагрузку на средства анализа, а для сложной инфраструктуры не могут обеспечить даже требования к базовой функции: сессия, распределенная по нескольким туннелям (или снабженная MPLS-метками) может разбалансироваться на разные экземпляры анализатора и в целом выпасть из анализа.
Помимо добавления интерфейсов 40/100G и, как следствие, повышения производительности, брокеры сетевых пакетов активно развиваются в части предоставления принципиально новых возможностей: от балансировки по вложенным заголовкам туннелей до дешифрации трафика. К сожалению, такие модели не могут похвастаться производительностью в терабиты, зато позволяют построить на самом деле качественную и технически «красивую» систему информационной безопасности, в которой каждое средство анализа гарантированно получает только необходимую ему информацию в наиболее подходящем для анализа виде.
Расширенные функции брокеров сетевых пакетов
1. Упомянутая выше балансировка по вложенным заголовкам в туннелированном трафике.
Почему это важно? Рассмотрим 3 аспекта, которые могут быть критичны вместе или по отдельности:
2. Модификация трафика.
Одна из самых широких по своим возможностям функций, количество подфункций и вариантов их применения множество:
4. Расширенные функции фильтрации – от поиска конкретных значений по заданному смещению до сигнатурного анализа по всему пакету.
5. Генерация NetFlow/IPFIX – сбор широкого перечня статистики по проходящему трафику и его передача на средства анализа.
6. Дешифрация SSL-трафика, работает при условии предварительной загрузки сертификата и ключей в брокер сетевых пакетов. Тем не менее это позволяет существенно разгрузить средства анализа.
Есть еще множество функций, полезных и маркетинговых, но основные, пожалуй, перечислены.
Развитие систем обнаружения (вторжений, DDOS-атак) в системы их предотвращения, а также внедрение активных средств DPI потребовало изменение схемы включения с пассивной (через TAP или SPAN-порты) на активную («в разрыв»). Данное обстоятельство повысило требования к надежности (ибо выход из строя в таком случае приводит к нарушению работоспособности всей сети, а не только к потере контроля над информационной безопасностью) и привело к замене оптических ответвителей на оптические bypass (чтобы решить проблему зависимости работоспособности сети от работоспособности систем информационной безопасности), но основной функционал и требования к нему остались прежними.
Мы разработали Брокеры сетевых пакетов DS Integrity с интерфейсами 100G, 40G и 10G от конструкции и схемотехники до встроенного программного обеспечения. Причём в отличие от других пакетных брокеров функции модификации и балансировки по вложенным заголовкам туннелей у нас реализуются аппаратно, на полной скорости портов.
Современные решения для построения систем информационной безопасности — брокеры сетевых пакетов (Network Packet Broker)
Категории
Свежие записи
Наши услуги
Информационная безопасность отделилась от телекоммуникаций в самостоятельную отрасль со своей спецификой и своим оборудованием. Но есть малоизвестный класс устройств, стоящий на стыке телекома и инфобеза – брокеры сетевых пакетов (Network Packet Broker), они же балансировщики нагрузки, специализированные/мониторинговые коммутаторы, агрегаторы трафика, Security Delivery Platform, Network Visibility и так далее. И нам, как российскому разработчику и изготовителю таких устройств, очень хочется рассказать о них подробнее.
Область применения и решаемые задачи
Брокеры сетевых пакетов – специализированные устройства, которые нашли наибольшее применение в системах информационной безопасности. Как таковой класс устройств относительно новый и малочислен в общепринятой сетевой инфраструктуре по сравнению с коммутаторами, маршрутизаторами и т.д. Пионером в разработке данного типа устройств была американская компания Gigamon. В настоящее время игроков на этом рынке стало значительно больше (в том числе подобные решения есть у известного производителя тестовых комплексов — компании IXIA), но о существовании таких устройств по-прежнему знает только узкий круг профессионалов. Как было отмечено выше, даже с терминологией нет однозначной определенности: названия варьируются от «системы обеспечения прозрачности сети» до простого «балансеры».
Разрабатывая брокеры сетевых пакетов, мы столкнулись с тем, что, помимо анализа направлений развития функционала и испытаний в лабораториях/тест-зонах, необходимо параллельно объяснять потенциальным потребителям о существовании такого класса оборудования, поскольку не все знают о нем.
Еще 15-20 лет назад трафика в сети было мало, и это были преимущественно маловажные данные. Но закон Нильсена практически повторяет закон Мура : скорость интернет-соединения увеличивается ежегодно на 50 %. Объем трафика также неуклонно растет (на графике представлен прогноз 2017 года от компании Cisco, источник Cisco Visual Networking Index: Forecast and Trends, 2017–2022):
Вместе со скоростью возрастает важность циркулирующей информации (это и коммерческая тайна, и пресловутые персональные данные) и в целом работоспособность инфраструктуры.
Соответственно, появилась и отрасль информационной безопасности. Промышленность откликнулась на это появлением целого спектра устройств глубокого анализа трафика (DPI): от систем предотвращения DDOS-атак до систем управления событиями информационной безопасности, включая IDS, IPS, DLP, NBA, SIEM, Antimailware и так далее. Обычно каждое из этих средств – это программное обеспечение, устанавливаемое на серверную платформу. Причём каждая программа (средство анализа) устанавливается на свою серверную платформу: производители ПО разные, да и вычислительных ресурсов для анализа на L7 требуется много.
При построении системы информационной безопасности требуется решить ряд основных задач:
И следующие сопутствующие задачи:
Как всем известно, спрос рождает предложение, в ответ на эти потребности и начали развиваться брокеры сетевых пакетов.
Общее описание брокеров сетевых пакетов
Брокеры сетевых пакетов работают на уровне пакетов, и в этом они похожи на обычные коммутаторы. Главное отличие от коммутаторов заключается в том, что правила распределения и агрегации трафика в брокерах сетевых пакетов полностью определяются настройками. В брокерах сетевых пакетов нет стандартов построения таблиц пересылки (MAC-таблиц) и протоколов обмена с другими коммутаторами (типа STP), а поэтому диапазон возможных настроек и понимаемых полей в них гораздо шире. Брокер может равномерно распределить трафик из одного или нескольких входных портов на заданный диапазон выходных портов с функцией равномерной нагрузки по выходу. Можно задать правила на копирование, фильтрацию, классификацию, дедупликацию и модификацию трафика. Данные правила можно применять к разным группам входных портов брокера сетевых пакетов, а также применять последовательно друг за другом в самом устройстве. Важным достоинством пакетного брокера является возможность обработки трафика на полной скорости потока и сохранение целостности сессий (в случае балансировки трафика на несколько однотипных систем DPI).
Сохранение целостности сессий заключается в передаче всех пакетов сессии транспортного уровня (TCP/UDP/SCTP) в один порт. Это важно, так как системы DPI (обычно это программное обеспечение, запущенное на сервере, подключенном к выходному порту пакетного брокера) анализируют содержимое трафика на уровне приложений, и все пакеты, отправляемые/принимаемые одним приложением, должны поступать на один и тот же экземпляр анализатора. Если пакеты одной сессии теряются или распределяются между различными устройствами DPI, то каждое отдельное устройство DPI окажется в ситуации, аналогичной чтению не цельного текста, а отдельных слов из него. И, скорее всего, текст не поймет.
Таким образом, будучи ориентированными на системы информационной безопасности, брокеры сетевых пакетов имеют функционал, помогающий подключить к высокоскоростным телекоммуникационным сетям программные комплексы DPI и снизить нагрузку на них: осуществляют предварительную фильтрацию, классификацию и подготовку трафика для упрощения последующей обработки.
Кроме того, поскольку брокеры сетевых пакетов выдают широкий перечень статистики и часто оказываются подключены к различным точкам сети, то и при диагностике проблем работоспособности самой сетевой инфраструктуры они также находят свое место.
Базовые функции брокеров сетевых пакетов
Название «специализированные/мониторинговые коммутаторы» возникло от базового назначения: собрать трафик с инфраструктуры (обычно при помощи пассивных оптических ответвителей TAP и/или SPAN-портов) и распределить между средствами анализа. Между разнотипными системами трафик зеркалируется (дублируется), между однотипными – балансируется. В базовые же функции обычно входят фильтрация по полям до L4 (MAC, IP, TCP/UDP-порт и т.д.) и агрегация нескольких слабонагруженных каналов в один (например, для обработки на одной системе DPI).
Этот функционал обеспечивает решение базовой задачи — подключение систем DPI к сетевой инфраструктуре. Брокеры различных производителей, ограничивающиеся базовым функционалом, обеспечивают обработку до 32 интерфейсов 100G на 1U (больше интерфейсов физически не помещается на переднюю панель 1U). Однако они не позволяют снизить нагрузку на средства анализа, а для сложной инфраструктуры не могут обеспечить даже требования к базовой функции: сессия, распределенная по нескольким туннелям (или снабженная MPLS-метками) может разбалансироваться на разные экземпляры анализатора и в целом выпасть из анализа.
Помимо добавления интерфейсов 40/100G и, как следствие, повышения производительности, брокеры сетевых пакетов активно развиваются в части предоставления принципиально новых возможностей: от балансировки по вложенным заголовкам туннелей до дешифрации трафика. К сожалению, такие модели не могут похвастаться производительностью в терабиты, зато позволяют построить на самом деле качественную и технически «красивую» систему информационной безопасности, в которой каждое средство анализа гарантированно получает только необходимую ему информацию в наиболее подходящем для анализа виде.
Расширенные функции брокеров сетевых пакетов
1. Упомянутая выше балансировка по вложенным заголовкам в туннелированном трафике.
Почему это важно? Рассмотрим 3 аспекта, которые могут быть критичны вместе или по отдельности:
Брокер сетевых пакетов разбирает внешние заголовки и последовательно проходит по указателям до самого вложенного IP-заголовка и балансирует уже по нему. Как результат – потоков становится существенно больше (соответственно можно разбалансировать равномернее и на большее число платформ), и система DPI получает все пакеты сессии и все связанные сессии мультисессионных протоколов.
2. Модификация трафика.
Одна из самых широких по своим возможностям функций, количество подфункций и вариантов их применения множество:
3. Дедупликация – очистка от повторяющихся пакетов трафика, передаваемого на средства анализа. Повторяющиеся пакеты чаще всего возникают из-за особенностей подключения к инфраструктуре – трафик может проходить через несколько точек анализа и зеркалироваться с каждой из них. Также встречается повторная отправка недошедших TCP-пакетов, но если их много, то это скорее вопросы к мониторингу качества сети, а не к информационной безопасности в ней.
4. Расширенные функции фильтрации – от поиска конкретных значений по заданному смещению до сигнатурного анализа по всему пакету.
5. Генерация NetFlow/IPFIX – сбор широкого перечня статистики по проходящему трафику и его передача на средства анализа.
6. Дешифрация SSL-трафика, работает при условии предварительной загрузки сертификата и ключей в брокер сетевых пакетов. Тем не менее это позволяет существенно разгрузить средства анализа.
Есть еще множество функций, полезных и маркетинговых, но основные, пожалуй, перечислены.
Развитие систем обнаружения (вторжений, DDOS-атак) в системы их предотвращения, а также внедрение активных средств DPI потребовало изменение схемы включения с пассивной (через TAP или SPAN-порты) на активную («в разрыв»). Данное обстоятельство повысило требования к надежности (ибо выход из строя в таком случае приводит к нарушению работоспособности всей сети, а не только к потере контроля над информационной безопасностью) и привело к замене оптических ответвителей на оптические bypass (чтобы решить проблему зависимости работоспособности сети от работоспособности систем информационной безопасности), но основной функционал и требования к нему остались прежними.
Мы разработали Брокеры сетевых пакетов DS Integrity с интерфейсами 100G, 40G и 10G от конструкции и схемотехники до встроенного программного обеспечения. Причём в отличие от других пакетных брокеров функции модификации и балансировки по вложенным заголовкам туннелей у нас реализуются аппаратно, на полной скорости портов.
Добавить комментарий Отменить ответ
Для отправки комментария вам необходимо авторизоваться.