WrSpy: Анализатор логов WinRoute и не только




Хронология старых изменений

Версия Изменения
V0.1.19e - 1. Добавлена обработка логов POP3 туннеля для BSB. Учет идет не в почтовом, а http трафике. Пока...
2. Добавлена новая, более удобная (по моему мнению) форма для редактирования данных пользователя.
3. Реализован вывод гистограмм в файл bmp и в html отчет.
4. Поправлен баг с авторизацией в программе.
5. Можно включить/выключить вывод в отчет информации о стоимости.
Программе настоятельно требуется полная переработка. Планируется сделать:
1. Нормальное управление графами и разделами отчетов.
2. Управление функциями автоматического режима. Оставить один, но реализовать возможность его программирования.
3. Сделать клиентскую версия программы.
4. Написать наконец нормальную инструкцию :)
5. Пожелания принимаются...
Займет это 1-2 месяца, в зависимости от загруженности по основному роду деятельности.
V0.1.19d - 1. Реализована нормальная поддержка www и socks логов WinGate. Но из-за безобразного (с моей точке зрения) алгоритма формирования файлов логов в WG, не удалось реализовать режим "Докачка". Те, независимо от выбраного режима ввода, каждый раз вводятся все найденые логи. Нужно указать каталог, в котором лежат подкаталоги с логами. В нем программа сама найдет ...\WWW Proxy server\ и ...\SOCKS Proxy server\
2. Добавлена возможность выбора каталога для размещения отчетов.
3. Поправлена ошибка автоматического выбора интервала анализа.
4. Для UserGate учитывает почтовый трафик через него. Из-за малой информативности почтовых записей в логе, информация помещается в http отчет, а не в почтовый.
V0.1.19c - 1. Stepan Razin предложил алгоритм блокирования пользователей, превысивших лимит трафика в Squid NT. Смотрите, что получилось...
2. Несколько изменен алгоритм подсчета исходящего трафика.
V0.1.19b - 1. В выборе интервала анализа теперь четыре режима выбора, текущий месяц, текущая неделя, текущие сутки и ручной.
2. В автоматическом режиме 4 нормально формируются отчеты трафика по сайтам для пользователей и станций.
3. Для WinGate реализована возможность совместного накопления логов http и socks. Но файлы пока все равно нужно указывать вручную...
V0.1.19a - Эксперимент с WinGate. Удалось реализовать только анализ http и socks трафика поотдельности (те нужно указывать соответствующие файлы). Структура его логов не позволяет сделать большего. Вот если бы все писалось в один файл... Для полной поддержки WG надо делать отдельный вариант, только для него самого. Если будут пожелания, займусь.
V0.1.18a - Совершенно нечаяно получилась поддержка анализа логов Squid NT :)
V0.1.17a - С наступающим Новым годом всех!
1. Добавлен анализ логов Kerio Mail Server. Настройка: выбрать KMS, прописать через точку-с-запятой (;) список почтовых доменов, указать вручную пути к файлам логов, при необходимости - прописать соответствие учетных записей+почтовых серверов=почтовому адресу (есть на страничке в "Подробности"). Для того, чтобы почтовый трафик раздавался поюзверьно - прописать им их почтовые ящики во "Внешние ящики" (у юзера может быть любое количество ящиков).
2. Исправлено нескольколько мелких ошибок: зацикливание анализа почтовых логов WR при наличии пустого адреса отправителя в исходящих, заблокирована возможность запуска второй копии программы и тд...
V0.1.16b - Прошу прощения, сильно облажался с предыдущей версией, даже не буду перечислять исправленые ошибки, их слишком много...
V0.1.16a - 1. Добавлена поддержка UserGate.
2. Поставив птицу во "Внешние ящики", можно исключить соответствующий ящик из анализа.
V0.1.15d - Поправлен режим 4. Рассылку отчетов производит однократно только что заблокированым пользователям.
V0.1.15c - Появился режим запуска 4. Тот же 3 (см. V0.1.14e), только еще и рассылает автоматически отчеты по почте.
V0.1.15b - Можно отключить учет стоимости почтового трафика в общей стоимости трафика. Таким образом блокировка пользователей может производится и по суммарному, и только по http+ftp трафику.
V0.1.15a - Теперь программа умеет анализировать не только лог почтового сервера самого WinRoute, но и довольно популярного MDaemon. За что огромное спасибо denis'у и Stepan Razin'у, без их помощи этот режим не появился бы.
Следует иметь в виду, что настройки "Данных пользователя" - "Почтовые сервера" и "Учетные записи" нужны только для мэйлера WinRote.
V0.1.14i - 1. Далеко не все используют мейлер WinRoute. Введена возможность отключить вывод в HTML и Excel'ные отчеты данные о почтовом трафике. По умочанию - отчеты по почтовому трафику не формируются.
2. Переделана процедура обнаружения новых станций/пользователей. Исключена возможность появления в "Данных пользователей" записей с повторяющимися адресами/логинами.
V0.1.14h - 1. Добавлена возможность авторизации при входе в программу.
2. В HTML отчеты по пользователей/станций по сайтам выводятся их лимиты.
V0.1.14g - 1. Для пользователей BSB - исправлена обработка длинных URL. Имена файлов должны формироваться правильно.
2. Для них же - поправлена обработка записей для метода CONNECT.
3. Добавлена возможность использования авторизации на SMTP сервере при рассылке отчетов.
4. Устранен баг с выбором файлов логов при переходе от ручного выбора к автоматическому.
5. HTML отчеты по каждому пользователю/станции складываются каждый в свой каталог.
V0.1.14f - Исправлена ошибка первоначального запуска.
V0.1.14e - "Ну нет старику мне покоя..." (А.С. Пушкин). Добавлен режим запуска 3. Для пользователей NT и W2K. Тот же 1, только проверяет превышения лимита трафика и автоматически блокирует/разблокирует пользователя.
V0.1.14d - Точно устал, при исправлении одной старой внесена одна новая...
Режим "Файлы пользователя", сильно заторможенный в предыдущей версии, вернул свое быстродействие.
V0.1.14c - Устал я от этой проги, много ошибок стал делать. Исправления последних обнаруженных глюков (некоторые уже довольно почтенного возраста), и на некоторое время на покой...
V0.1.14b - Поправлен глюк с выводом списка доступных интерфейсов при отображении реального трафика.
V0.1.14a - 1. Теперь программа умеет вести учет реального трафика для 10 интерфейсов, не взирая на то, поднят на них NAT или нет.
2. Некоторые мелкие модернизации.
V0.1.13c - 1. Добавлена иформация о распределении суммарного трафика по времени суток.
2. Предпринята попытка в NT-образных системах автоматически останавливать WR при изменении прав доступа. Процедура недоотлажена по разным причинам, буду рад любой информации на этот счет.
V0.1.13b - Исправлено несколько мелких ошибок. В HTML отчетах установлена кодовая страница.
V0.1.13a - 1. В HTML отчет по суммарному трафику введены ссылки на соответствующие отчеты трафика по сайтам пользователя/станции. Включается в случае одновременного формирования отчетов по суммарному трафику и трафику по сайтам, при условии, что в именах файлов НЕ включается дата-время создания.
2. Добавлена рассылка HTML отчетов пользователям. Не требует наличия почтового клиента. Отключается, если в "Настройка"-"Рассылка отчетов" не прописан "Адрес отправителя" или "IP адрес SMTP сервера". Получат отчеты только те пользователи, для которых там же прописаны почтовые адреса. Необходимо установить дополнительную dll из архива SMTP.rar
V0.1.12a - 1. Известно, что даже при самой стогой настройке трафик по логам вседа меньше реального. Нет честных путей выравнить эти значения. Зато есть безчестный. Введены коэффициенты для согласования величины учтеного и реального трафиков.
2. Указав стоимость одного мегабайта, можно получить стоимость всего трафика. Единицы измерения не учитываются. Задав стоимость мегабайта = 1, получим трафик в мегабайтах :). Лимитирование теперь производится по суммарной величине стоимости трафика. Для тех, кто платит за входящий и исходящий трафик, имеется возможность учета в суммарной стоимости этих составляющих, причем по разной цене. Лимит пересчитывается по цене входящего трафика.
Управление всем этим зарыто в настройках вида отчета.
V0.1.11k - 1. В журналах прокси и почтовом можно посмотреть исходный лог.
2. В "Трафике по сайтам" добавлен поиск по url.
3. Добавлена возможность закрыть все окна сразу.
V0.1.11j - 1. Появился прогресс-индикатор при вводе лога.
2. В "Файлы пользователей" добавлен выбор нужного пользователя/станции.
V0.1.11i - В Excel'ный отчет добавлены данные о трафике групп пользователей/станций.
V0.1.11h - 1. Добавлена возможность исключить из суммарных отчетов трафик по отдельным пользователям/станциям.
2. В Excel'ный отчет добавлены данные о бюджете времени пользователей/станций.
V0.1.11g - Иногда возникает необходимость спрятать трафик по некоторым сайтам от бдительного ока шефа. Введена возможность исключить такие сайты из анализа.
V0.1.11f - Есть люди, работающие через прокси без авторизации. Дабы несколько разгрузить их отчеты, добавлена возможность включить запрет на формирование отчетов по пользователям.
V0.1.11e - Бюджет времени оказался штучкой неоднозначной... Результаты очень сильно зависят от конкретной ситуации и подходу к ним. Поэтому теперь разбиение интервала анализа для подсчета бюджета времени можно производить на отрезки от 1 до 30 минут, по желанию.
V0.1.11d - Исправлена ошибка обработки трафиков более 10Гб за отчетный период. Сейчас правильно считаются трафики до 100Tб.
V0.1.11c - Уборка мусора и украшательства... Полезно использующим блокировку пользователей. В HTML отчете по суммарному трафику, для пользователей, превысивших лимит, изменены цвета выделения. Малиновый - превышение, не заблокирован. Синий - превышение, заблокирован.
И неприятности. На By.ru вышли новые правила хостинга. Я не прохожу по двум пунктам: размещение файловых архивов и ограничение трафика на один IP в день - 1М (а у меня дистрибутив - 3.5М)
Может кто подскажет куда податься ? Мне уже надоело по серверам прыгать...
V0.1.11b - Мелкие изменения: выдача отчета по бюджету времени в HTML, установка автоматического выбора интервала анализа на текущий месяц, подчистка формочек...
Удручает почти полное отсутствие откликов. На уведомления об обновлениях подписалось аж 2 человека... Может я что-то не то делаю? Может этим никто, кроме меня, не пользуется?...
V0.1.11a - Наконец наряду с датой появилось и время. Фигурирует в:
1. Журналах http и почтовом
2. Трафик пользователя/станции по времени суток
3. Бюджет времени пользователя/станции. Здесь несколько поподробнее. Предпринята попытка оценить время, проведенное пользователем/станцией в Интернете. Принцип простейший: весь диапазон анализа поделен на интервалы по 5 минут. Если в этих интервалах наблюдалась активность пользователя/станции, то в бюджет заносится эти самые 5 минут. Точность конечно еще та, но пока лучше, чем ничего...
ОБЯЗАТЕЛЬНО прочитать Install.txt
V0.1.10l - 1. Формирование html отчета трафика по сайтам для всех пользователей/станций сразу, можно разрешить/запретить одновременно с формированием отчета по суммарному трафику.
2. Исправлена ошибка вывода окна поиска в журнале http (и как она осталась незамечена столько времени?)
Обязательно обновить файл r_setup.dbf!
V0.1.10k - Добавлена возможность вывести html отчет трафика по сайтам для всех пользователей/станций сразу.
V0.1.10j - Возражений против лимитрования по входящему трафику не поступило, поэтому приведен в соответствие с этим отчет в формате html.
PS Еще в версии 0.1.10i поправлен алогоритм обнаружения новых станций/пользователей.
V0.1.10i - Поправлен алгоритм чтения из реестра данных о реальном трафике. В Excel'ном отчете графа "Суммарный почтовый" заменена на "Суммарный входящий".
V0.1.10h - Поправлен алгоритм востановления заблокированого пользователя. Лимитирование и блокировка пользователя теперь производится не по суммарному, а по входящему трафику (другие мнения есть?)
Более серьезные изменения откладываются до середины лета, не ранее. Проблемы-с...
V0.1.10g - 1. В гистограммах проставлены относительные значения соответствующего параметра.
2. Немного поправлен алгоритм передачи в Excel данных о реальном трафике.
V0.1.10f - Появилась панель инструментов. Пожелания по ее изменению принимаются только вместе с иконками для кнопочек :). Самому мне сей тяжкий труд явно не по силам...
V0.1.10e - Добавлена возможность учета выставленного временного интервала при просмотре журналов http и mail
V0.1.10d - Исправлен досадный глюк с некорректной обработкой временного интервала в отчетах "Детализация:..."
V0.1.10c - 1. Можно посмотреть логины пользователей, которым закрыт доступ.
2. Поправлена ошибка управления доступом пользователей, логины которых содержат буквы верхнего регистра.
V0.1.10b - Добавлен экспорт данных в Excel
V0.1.10a - Эксперементы, и опять с реестром (несколько сомнительного качества)... Реализована возможность полуавтоматического отключения пользователей, превысивших лимит трафика (полуавтоматический, потому что не смог корректно осуществить программную остановку движка WR). Может быть полезно работающим через прокси с большим количеством пользователей. Осуществляется путем переноса пользователей, превысивших лимит, в группу, для которой нет правил в доступе прокси и востановления их в старых группах после исправления ситуации. Несколько мутновато и не совсем удобно, поэтому людям осторожным, рекомендую версию 0.1.09 - все тоже, кроме вышеперечисленного
Пару слов об использовании. Необходимо создать группу пользователей, не имеющих права ни на что. Потом в "Настройках" сходить в "Блокировку доступа" и выбрать эту группу. После этого, при ручном запуске ввода лога, будет проверятся превышения/недостижения лимита. При обнаружении ситуации, требующей изменения прав доступа, будет выводится сообщение с требованием остановить WR. Если ситуация позволяет это сделать, то остановите WR и нажмите "ОК", если делать этого не хочется (или не можется), то "Отмена". После запуска WR, все пользователи, превысившие лимит, окажутся в группе, не имеющей никаких прав. Все пользователи, для которых перестало выполнятся условие превышения - в своих старых группах. Если эта процедура не нужна, в "Блокировке доступа" надо снять выбор группы.
V0.1.09d - Спасибо Дмитрию Страшникову, не дал помереть от безысходности... С его подачи добавлен импорт/экспорт данных пользователя из/в текстовый файл. Весьма полезно...
V0.1.09c - Немного наврал. Добавлены гистограммки почтового и реального трафика по дням. Но теперь уже точно никаких идей нет...
V0.1.09b - Ловля жучков и уборка мусора... Уменьшен объем рабочих файлов, добавлен поиск в почтовом логе, изменена процедура фильтрации кривых записей в логе... ОБЯЗАТЕЛЬНО обновить файлы http.dbf и http.cdx, установить нужную ширину полей и переввести лог!
Новых идей нет, отзывов и пожеланий нет, тупик...
V0.1.09a - Кроме исправления выловленых глюков, внесено несколько изменений. Как то: новая процедура первого запуска, открытие html отчета сразу после создания, поиск в журнале прокси...
V0.1.08c - Работа над ошибками... И это еще не конец...
V0.1.08b - Автоматизирован самый трудоемкий процесс настройки, ввод информации о принадлежности почтовых ящиков.
Если уже введены имена и логины, почтовые сервера и учетные записи, то программа сама, на основе информации из реестра, пропишет какой ящик кому принадлежит. Остается только проверить и подкорректировать по необходимости.
Предыдущий вариант не вызвал ни у кого никакой реакции, поэтому продолжаю эксперименты с реестром вслепую :(
V0.1.08a - Первые попытки использовать WR'овскую статистику интерфейсов. Пока несколько замороченая, поэтому пару слов...
1. Зайдите в "Настройка - выбор интерфейса". Там нажмите "Обновить" и выберете Tiny или Kerio :), высветится информация об имеющихся интерфейсах.
2. Проставте "птицу" на том, который глядит в И-нет. Теперь при вводе лога программа будет читать и запоминать статистику интерфейсов из раздела total
3. Пока еще толку от этого мало. Надо накопить статистику хотя бы за пару дней
4. Зайдите "Отчеты - суммарный трафик: детализация - калькулятор реального трафика". Не пугайтесь числам, это трафик с "сотворения мира"
5. Обозначте начало и конец интервала времени, за который хотите получить трафик, и получите его...
V0.1.07b - Мелкие исправления...
V0.1.07a - Реализована полноценная возможность оперировать не только IP адресами но и доменными именами, просто можно установить требуемую ширину поля IP :) Перед установкой обновления - прочитать Install.txt
V0.1.06e - Выловлено и исправлено два глюка, связаных с ошибками при удалении всех записей в данных пользователя и невозможностью посмотреть статистику по сайтам и файлам при максимально возможной ширине полей
V0.1.06d - Новый (пока эксперементальный) инсталятор. Несколько меньше ростом и попроще...
V0.1.06d - 1. Веден учет трафика ftp
2. Исправлены мелкие ошибки в меню. Убраны дублирующие друг друга пункты и исправлено название у "Распределения пользователей по станциям"
V0.1.06c - Украшательства...
1. Добавлено выделение цветом степени приближения пользователя/станции с лимиту. Зеленый - нет лимита, чем краснее тем ближе к нему, посинел - превысил. Можно оттключить.
2. Добавлена возможность выбора вида сортировки отчета по суммарному трафику, по имени/адресу или по суммарному трафику
3. Веедена возможность включить/выключить добавление даты-времени к имени файла отчета.
V0.1.06b - Исправлено несколько мелких ошибок.
V0.1.06a - Несколько новинок.
1. Новая менюшка от Andrew Sloper'а.
2. Режим просмотра распределения трафика пользователей и станций по дням (с гистограммкой).
3. Режим просмотра трафика пользователей с конкретных станций.
4. В отчете по суммарному трафику в формате html выделены превышения лимитов трафика.
V0.1.05a - Ничего особо нового... Просто так дальше алфавита не хватит :) Добавлена возможность вывести в отчет информацию о скачаных пользователем файлах
V0.1.04e - Исправлена ошибка загрузки сайта из просмотра трафика по сайтам. Добавлены гистограммы трафика групп.
V0.1.04d - Исправлена ошибка работы с нулевым почтовым трафиком
V0.1.04c - Исправлена ошибка, возникающая при попытке посмотреть гистограмму для малого количества пользователей
В отчете по суммарному трафику исходящий http+ftp заменен на суммарный входящий трафик. Ведь именно за него мы платим деньги :)
V0.1.04b - Исправлена ошибка выдачи в отчет почтового трафика
V0.1.04a - Добавлена выдача отчета по трафику пользователей и станций по сайтам в формате html
V0.1.03a - Реализована возможность немного украсить рабочий экран программы
V0.1.02a - Добавлена выдача отчета по суммарному трафику в формате html
V0.1.01a - Улучшена работа с окнами
V0.1.00a - Полность переделаный вариант. Обновленный интерфейс, новые режимы...