DPI: Много трафика для Topsites-Business: Financial Times News

DPI: Много трафика для Topsites-Business: Financial Times News, UniFi Network

Hsd1965

Guest

10.03.2017 08:44:00

Я заметил за последние несколько месяцев, что большая часть моего трафика попадает в категорию Topsites-Business: Financial Times News. Сейчас общий трафик с момента последней перезагрузки USG три дня назад составляет 17,1 ГБ, из которых Financial Times News занимает 1,5 ГБ. Но я вообще не посещаю этот сайт. Поэтому думаю, что часть моего трафика ошибочно классифицируется как Financial Times News. У кого-то еще такое наблюдается?

mullasci Guest	#2 02.09.2017 06:37:00 Не думаю, что это могут быть объявления. У меня блокировка рекламы на уровне сети через DNS.

BeeWry Guest	#3 27.07.2017 07:14:00 У меня версия 4.3.46, и FTN всё ещё появляется. За последнюю неделю 550 МБ.

KenPwr Guest	#4 21.06.2017 22:08:00 Планировал перейти на .46 позже на этой неделе, ещё нужно отправить уведомление о сбое. Но хотя бы нашёл активного клиента для этого. Раньше постоянно видел это в отчётах, но впервые поймал на деле.

Hsd1965

Guest

21.06.2017 21:34:00

Сейчас у меня стоит прошивка USG версии 4.3.46, и, похоже, проблема решена. Трафик Windows Store теперь правильно определяется, и я больше не вижу трафика Financial Times News. После обновления прошивки я вручную запустил утилиту обновления DPI-определений, она нашла и загрузила новые определения. Не знаю, как часто USG автоматически проверяет наличие новых DPI-определений.

KenPwr

Guest

21.06.2017 21:19:00

@UBNT-Kannan,

@UBNT-cmb, я всё ещё на версии .41, но заметил, что у нас сейчас где-то в сети есть Xbox с трафиком FTN. У меня запущен локально ntopng. Поскольку «время и трафик» не совсем совпадают — похоже, USG быстрее сбрасывает данные о потоках после их истечения, чем ntop — сравнение получается не идеальным, но если напишешь в личку, я вышлю всё, что смогу.

Bruce banner Guest	#7 09.04.2017 09:57:00 The New York Times — это новостная лента на сайтах Bing и MSN (начальная страница в Edge и IE).

phk46

Guest

03.04.2017 13:40:00

Я бы хотел, чтобы правила классификации DPI были обнародованы. Это помогло бы понять, что именно означают названные категории, и позволило бы сообществу помочь выявлять ошибки в классификации. Я не видел никакого внятного объяснения того, как реализован DPI, но предполагаю, что существует набор правил, которые сопоставляют определённые поля в пакетах, и каждый пакет классифицируется по тем правилам, которым он соответствует.

phk46

Guest

07.04.2017 15:36:00

Я немного покопался и наткнулся на такую дискуссию: https://community.ui.com/questions/008fdc5d-dd64-4054-b295-481f7e095478#comment/2f566674-46a1-4197-aaff-d5c025c6ec93. Там говорится: «Да, это уже обсуждалось, движок DPI и правила – проприетарные и в бинарном формате, так что сейчас мы не можем поддерживать кастомные правила и прочее.» Но я не видел, кому именно это принадлежит. Поскольку похожие штуки есть у других производителей роутеров, я предполагаю, что это не эксклюзив Ubiquiti. Возможно, это купленное ПО. Было бы раздражающе, если правила проприетарные, потому что тогда мы не сможем ни разобраться с ошибками классификации, ни понять, что конкретно означает та или иная категория.

JasonJoel Guest	#10 07.04.2017 14:46:00 Интересно. Я почти уверен, что раньше видел, как YouTube тоже туда относили.

Hsd1965

Guest

#11

07.04.2017 14:43:00

@UBNT-cmb

@UBNT-Kannan

Сегодня заметил, что трафик на Financial Times News резко вырос, пока клиент на Windows 10 проверял и скачивал обновления Windows и из Windows app store. Правка: кажется, это именно из Windows app store. Запустил загрузку из app store на другом клиенте Windows 10 и сразу же увидел трафик на Financial Times News для этого клиента.

pengiun Guest	#12 05.04.2017 20:16:00 @UBNT-cmb Трудно сказать, постараюсь узнать и дать обратную связь.

UI-Team Guest	#13 05.04.2017 20:12:00 @UBNT-Kannan занимается этим вопросом. Если кто-то знает, что за трафик на их сети классифицируется именно так, это было бы очень полезно.

jndfx22 Guest	#14 05.04.2017 16:26:00 У меня такая же ситуация на всех моих USG. Хотелось бы знать, что это на самом деле.

jpda

Guest

#15

05.04.2017 15:55:00

Я только что скачал файл, и TRF датирован 31.08.16, а XML — 02.09.16. Интересно, что я смог достать другой TRF-файл от ASUS, который использует тот же самый файл. Правда, он примерно на 40% меньше, чем тот, что на моём USG (332 КБ против 576 КБ на USG). Его можно взять здесь: https://dlcdnets.asus.com/pub/ASUS/wireless/ASUSWRT/WW_1150_un.zip — на самом деле это не ZIP-файл, а TRF с другим расширением (почему они так делают — не понятно... так же поступают и с текстовыми файлами).

Я ещё немного покопался с этим TRF и запустил /usr/sbin/tdts_rule_agent для файла от ASUS и для оригинального. Выяснилось, что файл на наших USG уже новая версия 🙁

Первый пример — на правилах от ASUS: видите, он *действительно* парсит и открывает его правильно, но младшая версия 150 против 174 у USG.

jpd@Core:/usr/sbin$ sudo /usr/sbin/tdts_rule_agent -r /tmp/asusrule.trf
[main(177)]: kaStartup() passed
[main(188)]: GetPolicy() passed (ret=339400)
[main(194)]: Loading policy succeeded
[main(199)]: Signature version: major = 1, minor = 150
[main(212)]: Enable IPS!
[main(217)]: IPS enable = 1
[main(223)]: IPS-0.0.8
[main(227)]: kaShutDown()

jpd@Core:/usr/sbin$ sudo /usr/sbin/tdts_rule_agent -r /etc/ubnt/tdts/rule.trf.orig
[main(177)]: kaStartup() passed
[main(188)]: GetPolicy() passed (ret=718572)
[main(194)]: Loading policy succeeded
[main(199)]: Signature version: major = 1, minor = 174
[main(212)]: Enable IPS!
[main(217)]: IPS enable = 1
[main(223)]: IPS-0.0.8
[main(227)]: kaShutDown()

Henk-Jan.S

Guest

#16

03.04.2017 14:46:00

Правила DPI загружаются скриптом в /usr/sbin под названием ubnt-update-dpi. Этот скрипт скачивает файл с http://dl.ubnt.com/firmwares/edgemax/dpi/0001: rule.tar. В tar-архиве два файла: один в формате XML, его можно посмотреть, и .TRF, который, по всей видимости, бинарный. Скрипт копирует оба файла в /etc/ubnt/tdts/. Файл .TRF, скорее всего, содержит соответствия категориям и – возможно – позволяет создавать собственные категории сайтов. Если поискать в интернете «rule.trf», то есть ссылка на Trend Micro, где используется такое же имя файла для похожей функции. Однако пока мне не удалось понять, что именно внутри и как устроена структура... Похоже, что содержимое обновляется нечасто – когда я вручную скачивал копию, отметки времени были от 31.08.16 и 03.09.16 соответственно.

jpda Guest	#17 03.04.2017 12:10:00 Да, я вижу десятки гигабайт, отправленных в Financial Times, и это продолжается уже несколько месяцев. Думаю, это какая-то ошибка в классификации, но было бы здорово узнать, что именно это такое.

Читают тему (гостей: 1)