последняя стабильная
    версия: 3.4.0rc1
    главная     скачать     документация     поддержка     форум     разработка

Документация

Releases

База знаний

Примеры конфигурации

 

Протоколирование запрошенных ссылок (URL)


Поддержка этой долгожданной возможности появилась в NeTAMS 3.3.3

Что протоколируется

При работе ряда сервисов data-source (кроме netflow) есть возможность "заглянуть" вовнутрь IP-пакета и проанализировать протоколы "выше" чем TCP/IP. Так, к примеру, пользовательский запрос к веб-сайту происходит согласно спецификации протокола HTTP/1.1. При должном анализе проходящих пакетов средствами NeTAMS стало возможным "запоминать" запрашиваемую ссылку и сохранять ее в таблице monitor. В комплекте поставки NeTAMS идет "недоразвитый" скрипт, позволяющий как-то просматривать собранную информацию.

Как включить

  1. Собрать и поставить новую версию NeTAMS
    Скачать как обычно дистрибутив, распаковать, скомпилировать, установить. При компиляции по умолчанию сборка будет вестись с ключом -DLAYER7_FILTER. Не забудьте установить новые CGI-скрипты, особенно monitor.cgi.

  2. Настроить сервис data-source
    Пропишите в конфигурацию нужного сервиса новый параметр: layer7-detect urls

  3. Создать новую политику учета
    В конфигурации сервиса processor добавьте описание новой политики:
    policy name urls target layer7-detect
    
  4. Указать политику учета для тех юнитов, которые надо отслеживать
    В конфигурации сервиса processor для нужных юнитов добавьте новую политику учета:
    unit host name pupkin ip 172.16.1.3 acct-policy urls
    
    или, для всех юнитов
    default acct-policy urls
    
  5. Настроить сервис мониторинга
    Как описано в этом документе. Дополнительных действий не требуется. Специально указывать юниты, которые хочется мониторить на layer7, не требуется. Если же вас интересует полный мониторинг какого-то юнита (по-старому), тогда такой юнит указывать все же необходимо.

  6. (Опционально) обновить SQL-таблицу сервиса monitor
    Если вы использовали мониторинг ранее (таблица monitor уже существует), ее необходимо обновить:
    mysql netams
    alter table monitor add column layer7 varchar(80);
    

  7. Запустить NeTAMS

Проверка работы

Работоспособность механизма мониторинга ссылок можно проверить командами:
#netamsctl show ds     
host: localhost port: 20001 login: anton password: aaa
cmd: show ds 
 Data-source ID=1 type LIBPCAP source xl1:0 loop 82356480 average 35 mcsec
    Perf: average skew delay 2676 mcsec, PPS: 1060, BPS: 904985
    IP tree: 258 nodes [12] + 4 dlinks [1024] + 254 unodes [20] = 12272 bytes
    Flows: 1644/2507 act/inact entries (796992 bytes), 3332872 flows sent
    HASH: size=65536, 1644 flows hashed, 1622 nodes used, max chain= 2
    FIFO: 0/1871 used/ready messages, each 152, total 284392 bytes
    Libpcap xl1 : EN10MB: 83735013 packets received, 488394 dropped

Эта команда показывает, что data-source действительно получает трафик и выдает сервису processor информацию о прошедших потоках.
#netamsctl show monitor
host: localhost port: 20001 login: anton password: aaa
cmd: show monitor 
service monitor 1
Monitoring to storage: 1
Units: 
Packets monitored: 1985769
Эта команда показывает, что сервис мониторинга получает информацию о потоках и пишет ее в базу.
debug ds_ip
debug monitor
Покажет, определяются ли ссылки в проходящем трафике и идет ли присвоение атрибута LAYER7 информации о потоках.
mysql netams
select count(*) from monitor where layer7 != NULL;
Показывает, сколько строк собралось в таблице мониторинга с информацией о ссылках.

Проблемы

  • Мониторинг в SQL базу активно пожирает дисковое пространство! Например, за неделю работы программы, при общем количестве прошедшего трафика порядка 40 гигабайт (82 миллиона пакетов), в таблице мониторинга образовалось 2 миллиона записей). Размер SQL-таблицы и индекса составляет 240 мегабайт.
  • Статистика по трафику для записанных в мониторинге ссылок относится не с скаченной информации, а к запросам на скачивание. Т.е. не надо обращать на цифры большого внимания. К сожалению, это обусловленно нессимитричностью хэш-функции преобразования данных IP-заголовка в индекс потока, т.е. трафик "запроса" и "ответа" попадет в разные потоки и длина "ответа", т.е. фактически скаченной по данному запросу информации, в таблице мониторинга не учтется. Изменить такое поведение технически очень непросто.

Отображение статистики

Отображением статистики занимается скрипт monitor.cgi, входящй с дистрибутив. Как им пользоваться - очевидно из его интерфейса. Пара скриншотов:






Рейтинг@Mail.ru