Проблема с Port Mirroring, помогите пожалуйста!

Проблема с Port Mirroring, помогите пожалуйста!, UniFi Network

bugsland

Guest

03.01.2017 04:44:00

Привет! Недавно я настроил следующую сеть:
USG на версии v4.3.33
Все остальные устройства на версии v3.7.29.5446

Интернет | |
Unify Security Gateway | | (Порт 2)
Unify Switch 8 (Первый коммутатор) -------- Unify AP-AC Pro (Первое AP) | |
Unify Cloud Key |
Unify Switch 8 (Второй коммутатор) ---- Unify AP-AC Pro (Второе AP) | |
Unify AP-AC Pro (Третье AP)

К первому коммутатору у меня подключен IDS с двумя Ethernet кабелями: один с IP-адресом для управления, второй — к span-порту, который я настроил на этом коммутаторе. И тут начинаются проблемы.

Что я хочу сделать:
- Отражать весь трафик, идущий в интернет (Порт 2 на первом коммутаторе), на span-порт (Порт 8 на первом коммутаторе).
- Сохранять видимость всех IP-адресов в моей сети — как с второго коммутатора, так и с двух AP.

Для информации:
- Подключение управления IDS у меня на Порте 7 первого коммутатора.
- Я использую зарезервированные DHCP-адреса для всех своих IPS (возможно, не связано с проблемой, но, к слову, настройка этого в Ubiquity Unify — та ещё головная боль, как писали в других постах 😀).

Я проверил правильность настройки IDS по следующим пунктам:
1. Интерфейс управления получает DHCP-адрес при подключении к правильному порту (Порт 7), а интерфейс мониторинга не получает DHCP-адрес, если подключен к span-порту (Порт 8). Я также пробовал подключить управляющий интерфейс к span-порту — он не получил DHCP-адрес, как и ожидалось.
2. В старой конфигурации у меня был Netgear GS105E для зеркалирования трафика, и при его использовании я нормально видел span-трафик на IDS.

Проблема в том, что сейчас, кажется, я вижу только локальный трафик для IDS, а не трафик всей сети.

Настройка зеркалирования порта на первом коммутаторе:
Порт 8 → Advanced Option → Operation → Mirroring
Mirroring Port → 2
Link Negotiation → Auto
Isolation → не выбрано

Не понимаю, что делаю не так. Как я уже сказал, со старым GS105E всё работало нормально, если вставить его между портом 2 и USG, что, видимо, говорит о том, что зеркалирование портов сейчас не работает...

Буду признателен за любую помощь с устранением проблемы!
B.

bugsland Guest	#2 23.01.2017 05:57:00 Спасибо за информацию!

UI-Team Guest	#3 22.01.2017 22:39:00 В этом случае родная VLAN оказывается с тегом, и, скорее всего, в этом разница (поэтому ESX не передаёт её дальше, а Hyper-V поступает так же).

chrislong

Guest

21.01.2017 17:59:00

Привет, @bugsland, проблема в первую очередь связана с ESXi, а не с оборудованием Ubiquiti. Как ты заметил, обычное железо видит пакеты вне зависимости от того, отмечены ли они VLAN, но vSwitch в ESXi по умолчанию решает обрабатывать VLAN-пакеты иначе. Установка VLAN ID в 4095 фактически говорит vSwitch’у игнорировать тегирование и просто передавать пакеты виртуальным машинам. По крайней мере, я именно так это понимаю.

bugsland

Guest

21.01.2017 10:30:00

Хотя это частично исправлено (нужно ещё настроить IDS), не мог бы сотрудник Ubiquity подтвердить, что ваши коммутаторы используют какой-то вид VLAN-инкапсуляции, даже если я использую только одну VLAN? Мне всё же хотелось бы понять, чем вы, ребята, отличаетесь от всех обычных роутеров, когда речь идёт о коммутаторе с одной единственной VLAN? Спасибо. B.

UI-Team Guest	#6 20.01.2017 02:47:00 Спасибо всем за уточнения. Рад, что это всё.

oftedal Guest	#7 19.01.2017 14:01:00 Использование VLAN 4095 решило проблему для меня. Я тоже использую VMWare ESXi.

bugsland

Guest

19.01.2017 05:55:00

Crislong, большое спасибо! Это действительно работает! (по крайней мере на ESXi, на моей виртуальной машине Fusion я ещё не пробовал). Мне пришлось перезагрузить виртуалку ESXi, потому что она почему-то зависла после того, как я изменил VLAN ID для моего «сниффинг-интерфейса». Читая статью, которую ты прислал, они упоминают VLAN... Мне интересно, не использует ли коммутатор Ubiquity какую-то VLAN-инкапсуляцию для внутреннего трафика, чего нет у других более «народных» коммутаторов. Возможно, поэтому раньше всё отлично работало с моими старыми коммутаторами. Ещё раз спасибо, наконец-то я получил нужную мне конфигурацию! B.

bugsland Guest	#9 19.01.2017 05:15:00 Только что увидел твой ответ, Chrislong... сейчас проверю! (Это будет похожая настройка Fusion VMware на Mac для моей мобильной виртуальной машины?) B.

bugsland

Guest

#10

19.01.2017 05:13:00

Действительно странно!
Смотрю на твой пост — сделал то же самое... и теперь тоже вижу трафик в обоих направлениях!

Итак, вот как у меня всё настроено и работает/не работает:
- Macbook с USB Ethernet-адаптером, настроенным в промискуитетном режиме: вижу весь трафик на USwitch.
- Macbook с Kali VM, использующей тот же USB Ethernet-адаптер через mac: трафик только в одну сторону.
- Такая же конфигурация, но подключаясь к Netgear GS105E с зеркалированием: трафик виден в обоих направлениях.
- ESXi с VM Security Onion IDS и ещё одна VM с SELKS IDS: оба ядра трафика работают с Netgear, а с USwitch — только однонаправленный трафик.

Короче, USwitch, похоже, работает — я вижу весь трафик, если смотрю прямо с Macbook, но через VM — нет. Можно подумать, что это проблема конфигурации виртуальной машины, но тогда зачем это работает в VM с другим железом для зеркалирования, при том, что настройка не менялась?

Вот тут у меня знаний в сети не хватает, но не может ли быть, что USwitch как-то «инкапсулирует» пакеты по-другому, когда общается с другим оборудованием Ubiquity? Или он переключается на что-то типа IPv6 на внутреннем уровне, и по умолчанию Wireshark/Packet Capture в VM не настроены видеть или понимать этот трафик, а нативный Wireshark 2.2.3 на Mac — видит?

Наверное, глупые теории, но почему это вообще происходит? 😀

Коллеги из Ubiquity, если можете помочь — было бы здорово, потому что мне реально нужно, чтобы порт-мирроринг на USwitch работал с моей VM. Понимаю, что вы не поддерживаете виртуальные машины, но если есть хоть какая-то информация, чем ваше оборудование по функции зеркалирования отличается от Netgear GS105 — буду признателен.

Кстати, работает не только Netgear GS105, я проверял и с микротиковским роутером, и с «Throwing star LAN Tap». Из четырёх устройств для зеркалирования — три показывают трафик с моими разными VM, а только Ubiquity пока нет.

Спасибо!

chrislong

Guest

#11

19.01.2017 04:51:00

Наконец-то разобрался. Мой хост на Linux — это виртуальная машина, запущенная на ESXi с физической сетевой картой. Оказалось, что нужно было установить VLAN ID на 4095 на vSwitch, чтобы он стал видеть этот трафик. Видимо, ESXi работает с VLAN-трафиком особенным образом, и установка VLAN ID в 4095 говорит системе позволить виртуальной машине самой решать, как обрабатывать этот трафик (вместо свитча). http://www.yellow-bricks.com/2010/06/10/vlan-id-4095/

chrislong

Guest

#12

19.01.2017 03:43:00

Ну это странно. Я только что проверил тот же порт на своем Mac и могу подтвердить, что вижу и исходящий, и входящий трафик. Но как только переключаю кабель обратно на свой Linux, я снова вижу только входящие пакеты. Сегодня вечером копну глубже и постараюсь понять, что вообще происходит 😀

UI-Team

Guest

#13

18.01.2017 08:46:00

Я запускаю конфигурацию @bugsland на том же коммутаторе, при этом 172.28.0.200 подключён к мониторинговому порту, и на этом порту я вижу весь двунаправленный трафик этого хоста. Вот небольшой фрагмент.
01:53:23.773444 IP 172.28.0.200.49717 > 74.125.28.109.465: Flags [.], seq 276116:277484, ack 3962, win 8780, options [nop,nop,TS val 997830750 ecr 378097210], length 1368
01:53:23.813650 IP 74.125.28.109.465 > 172.28.0.200.49717: Flags [.], ack 270644, win 1622, options [nop,nop,TS val 378097254 ecr 997830667], length 0

То же самое и с конфигурацией @chrislong — всё работает как надо. Точно так же и у другого человека с другим коммутатором и такой же настройкой.

Я ещё отключил порты 9 и 10 в конфигурациях и восстановил настройку на US-8 для дополнительной проверки — там тоже всё нормально.

Мы уже перебрали кучу вариантов, и единственная проблема оказалась на стороне хоста, который делает захват, никаких проблем с коммутаторами нет.

Если кто-то из вас сможет дать мне доступ к вашему контроллеру и к Linux-системе, подключённой к мониторинговому порту, я проверю, как это выглядит в вашей среде.

bugsland

Guest

#14

18.01.2017 06:38:00

Пока никаких новостей, последнее, что я слышал — они подтвердили получение моей конфигурации и собирались провести дополнительные тесты на похожем оборудовании. Надеюсь, они скоро найдут баг или какой-нибудь обходной вариант! Быстрее бы.

chrislong Guest	#15 18.01.2017 04:29:00 @UBNT-cmb Есть какие-то новости по этому поводу? Если вместо этого обновляется тикет, можешь добавить меня в копию? Это уже признали багом? Есть какие-нибудь обходные решения?

Читают тему (гостей: 1)