Проблемы с протоколом Spanning Tree в Unifi

Проблемы с протоколом Spanning Tree в Unifi, UniFi Network

scifiman

Guest

11.02.2022 23:23:00

Всем привет! Пытаюсь разобраться с проблемой, которую, как я думаю, вызывает spanning-tree (RSTP). Хочу создать резервные каналы между коммутаторами. На UDMP у меня версия 6.5.55. Я настроил резервные каналы и отключил порт на одном из коммутаторов, чтобы подготовиться и убедиться, что нет петель. Затем убедился, что spanning-tree включён на нужных портах и профилях. После этого включил отключённый порт, чтобы проверить, работает ли spanning-tree. В этот момент вторичный канал перешёл в режим блокировки, и всё выглядело нормально. Потом я отключал порты, чтобы проверить, что канал распознаёт разрывы и правильно перенаправляет трафик. И, опять же, всё вроде работало.

Потом я дал системе поработать несколько часов и проверил снова. И к своему удивлению обнаружил, что все коммутаторы и точки доступа застряли в циклах "adoption failed". Они постоянно пытаются подключиться, не удаётся, ждут положенное время и пытаются снова. На мой взгляд, это говорит о наличии петли, которую spanning-tree не учитывает, но я не понимаю, где именно. Порты, настроенные для резервных каналов, установлены как транковые с профилем "ALL", то есть со всеми VLAN. И ещё раз: во время тестов всё казалось, что порты блокируются правильно. Как мне найти и решить эту проблему?

Заранее спасибо!
Джефф

ssaunders Guest	#2 07.02.2023 08:36:00 И вот спустя неделю, @dmkjr, никакой бури, и сеть работает без сбоев. Определённо проблема решилась обновлением прошивки.

ssaunders

Guest

03.02.2023 07:12:00

Отчитываюсь, @dmkjr. Уже 48 часов без шторма. Резервная ссылка по-прежнему заблокирована. Похоже, проблема решилась прошивкой, ведь за последние шесть месяцев в моей сети ничего не менялось. Спасибо, что подтолкнули пересмотреть этот вопрос.

ssaunders

Guest

01.02.2023 08:47:00

Только что увидел это, @dmkjr. Коммутаторы на версии 6.4.18, UAP — на 6.5.17. UDM-Pro — 2.4.27 с Network 7.3.83. Я только что включил резервное соединение между SW2 и SW4, позже расскажу, что из этого вышло. Порт сейчас показывает состояние "заблокирован", как и ожидалось. Процесс занял несколько часов, поэтому отпишусь через день-два, или раньше, если что-то пойдет не так.

dmkjr Guest	#5 07.09.2022 13:24:00 @ssaunders, с последними версиями прошивки USW и UAP, это решило твою проблему с STP?

ssaunders Guest	#6 22.04.2022 10:44:00 Хорошая мысль, но я не вижу способа включить RSTP на Unifi AP. К тому же, mesh отключён, так что они должны видеть сеть только через подключённый коммутатор. 🤔

Uberseehandel Guest	#7 22.04.2022 05:48:00 В зависимости от настройки WiFi-сети это может иметь некоторое значение — какие преимущества дает включение STP на WiFi-точке доступа? — Server Fault

ssaunders

Guest

21.04.2022 23:42:00

@Uberseehandel писал: Не верю, что делаю какие-то из этих распространённых ошибок. Использую RSTP, где только можно. Каждый порт ISL настроен на профиль «All» для всех VLAN, поэтому никаких обрезанных транков. Единственные порты, назначенные на конкретный VLAN — это периферийные устройства CCTV. С этой проблемой уже сталкивался, так что знаю, как её избегать.

На каждом коммутаторе правильно выставлен приоритет, так что «случайный» корневой коммутатор не выбирается. На ядре агрегаторы с самым низким приоритетом, подключены к 10G, на двух вузлах кампуса приоритет повыше, подключены к SW24 для периферийных устройств, приоритет самый низкий, а на периферии — коммутаторы «крысы и мыши».

Нигде не использую устаревшие протоколы. Всё — последние версии прошивок Unifi. RSTP — единственный протокол, который работает на коммутаторах. Другие устройства в сети используют BGP внутри, но это к коммутации отношения не имеет. BGP настроен на DNS и реверс-прокси-серверах, а также в контейнере BGP на UDM для выбора живого маршрута. HSRP/VRRP — нет. Даже если бы использовал, сеть не упала бы, максимум — небольшая задержка в пару микросекунд на пакет, насколько я понимаю.

В любом случае спасибо за ответ.

ssaunders

Guest

21.04.2022 23:13:00

Чтобы продолжить, я проснулся и увидел, что сеть превратилась в кашу. RSTP, по всей видимости, всё ещё "блокирует", а количество BPDUs неуклонно растёт. Либо в моей конфигурации что-то не так, либо RSTP ведёт себя странно. Если дело в чём-то другом — я не могу этого найти.

(UBNT) #show spanning-tree interface 0/15

Hello Time..................................... Не настроено
Port Mode...................................... Включен
BPDU Guard Effect.............................. Выключен
Root Guard..................................... Ложь
TCN Guard...................................... Ложь
BPDU Filter Mode............................... Выключен
BPDU Flood Mode................................ Выключен
Auto Edge...................................... Вкл
Port Up Time Since Counters Last Cleared....... 0 дней 13 часов 18 минут 4 секунды
STP BPDUs Transmitted.......................... 0
STP BPDUs Received............................. 0
RSTP BPDUs Transmitted......................... 4
RSTP BPDUs Received............................ 23944
MSTP BPDUs Transmitted......................... 0
MSTP BPDUs Received............................ 0
SSTP BPDUs Transmitted......................... 0
SSTP BPDUs Received............................ 0

(UBNT) #show spanning-tree

Bridge Priority................................ 8192
Bridge Identifier.............................. 20:00:F4:92:BF:A7:3B:0A
Time Since Topology Change..................... 0 дней 13 часов 22 минуты 56 секунд
Topology Change Count.......................... 4
Topology Change in progress.................... Ложь
Designated Root................................ 00:00:24:5A:4C:12:B0:B1
Root Path Cost................................. 2000
Root Port Identifier........................... 80:42
Bridge Max Age................................. 20
Bridge Max Hops................................ 20
Bridge Tx Hold Count........................... 6
Bridge Forwarding Delay........................ 15
Hello Time..................................... 2
Bridge Hold Time............................... 6
CST Regional Root.............................. 20:00:F4:92:BF:A7:3B:0A
Regional Root Path Cost........................ 0

Ассоциированные FIDs Ассоциированные VLAN
--------------- ----------------
1 1
2 2
8 8
15 15

(UBNT) #show spanning-tree active

Spanning Tree: Включено Portfast BPDU Filtering: Выключено
Режим: rstp
CST Regional Root: 20:00:F4:92:BF:A7:3B:0A
Regional Root Path Cost: 0

###### MST 0 Vlan Mapped: 1-2, 8, 15

ROOT ID
Priority 0
Address 24:5A:4C:12:B0:B1
Path Cost 2000
Root Port 3/1
Hello Time: 2s Max Age: 20s Forward Delay: 15s

Bridge ID
Priority 8192
Address F4:92:BF:A7:3B:0A
Hello Time: 2s Max Age: 20s Forward Delay: 15s

Интерфейсы

Имя Состояние Prio.Nbr Стоимость Статус Роль Ограничен
--------- -------- --------- --------- ----------- ----- --------------
0/1 Включен 128.1 20000 Forwarding Desg Нет
0/2 Включен 128.2 20000 Forwarding Desg Нет
0/3 Включен 128.3 20000 Forwarding Desg Нет
0/4 Включен 128.4 20000 Forwarding Desg Нет
0/5 Включен 128.5 20000 Forwarding Desg Нет
0/6 Включен 128.6 20000 Forwarding Desg Нет
0/12 Включен 128.12 20000 Forwarding Desg Нет
0/14 Включен 128.14 20000 Forwarding Desg Нет
0/15 Включен 128.15 20000 Discarding Altn Нет
0/16 Включен 128.16 20000 Forwarding Desg Нет
0/17 Включен 128.17 20000 Forwarding Desg Нет
0/18 Включен 128.18 20000 Forwarding Desg Нет
0/19 Включен 128.19 200000 Forwarding Desg Нет

Uberseehandel Guest	#10 21.04.2022 10:28:00 6 Распространённых Ошибок в Spanning Tree и Как Их Избежать (auvik.com)

ssaunders

Guest

#11

21.04.2022 10:13:00

Резервная ссылка с SW2 на SW4 (порт 0/15 на обоих) теперь включена. (UBNT) #show spanning-tree active

Spanning Tree: Включено Portfast BPDU Filtering: Отключено
Режим: rstp
CST Regional Root: 20:00:F4:92:BF:A7:3B:0A
Regional Root Path Cost: 0

###### MST 0 Vlan Mapped: 1-2, 8, 15
ROOT ID
Priority 0
Address 24:5A:4C:12:B0:B1
Path Cost 2000
Root Port 3/1
Hello Time: 2s Max Age: 20s Forward Delay: 15s

Bridge ID
Priority 8192
Address F4:92:BF:A7:3B:0A
Hello Time: 2s Max Age: 20s Forward Delay: 15s

Интерфейсы

Name State Prio.Nbr Cost Sts Role RestrictedPort
--------- -------- --------- --------- ------------- ----- --------------
0/1 Включён 128.1 20000 Forwarding Desg Нет
0/2 Включён 128.2 20000 Forwarding Desg Нет
0/3 Включён 128.3 20000 Forwarding Desg Нет
0/4 Включён 128.4 20000 Forwarding Desg Нет
0/5 Включён 128.5 20000 Forwarding Desg Нет
0/6 Включён 128.6 20000 Forwarding Desg Нет
0/12 Включён 128.12 20000 Forwarding Desg Нет
0/14 Включён 128.14 20000 Forwarding Desg Нет
0/15 Включён 128.15 20000 Отклонение Altn Нет
0/16 Включён 128.16 20000 Forwarding Desg Нет
0/17 Включён 128.17 20000 Forwarding Desg Нет
0/18 Включён 128.18 20000 Forwarding Desg Нет
0/19 Включён 128.19 200000 Forwarding Desg Нет
0/21 Включён 128.21 20000 Forwarding Desg Нет
0/22 Включён 128.22 200000 Forwarding Desg Нет
0/23 Включён 128.23 200000 Forwarding Desg Нет
0/24 Включён 128.24 200000 Forwarding Desg Нет
3/1 Включён 128.66 1000 Forwarding Root Нет

И по порту: (UBNT) #show spanning-tree interface 0/15

Hello Time..................................... Не настроено
Port Mode...................................... Включён
BPDU Guard Effect.............................. Отключено
Root Guard..................................... Ложь
TCN Guard...................................... Ложь
BPDU Filter Mode............................... Отключено
BPDU Flood Mode................................ Отключено
Auto Edge...................................... ИСТИНА
Port Up Time Since Counters Last Cleared....... 0 дней 0 ч 13 мин 49 сек
STP BPDUs Transmitted.......................... 0
STP BPDUs Received............................. 0
RSTP BPDUs Transmitted......................... 4
RSTP BPDUs Received............................ 417
MSTP BPDUs Transmitted......................... 0
MSTP BPDUs Received............................ 0
SSTP BPDUs Transmitted......................... 0
SSTP BPDUs Received............................ 0

Как и ожидалось, 0/15 сейчас отклоняет трафик. Так что я жду... (И как и ожидалось, счётчик полученных RSTP BPDU постоянно растёт.)
RSTP BPDUs Received............................ 676
И я сообщу, когда всё пойдёт наперекосяк. На момент 8 вечера по местному времени, когда я начал этот тест, с резервным каналом всё было в порядке.
(ДОПОЛНЕНИЕ: Ждал ещё дольше... Сейчас тут полночь, я иду спать. Четыре часа теста позади. Сеть всё ещё работает отлично, но, честно говоря, в прошлый раз проблемы появлялись позже...)

ssaunders

Guest

#12

21.04.2022 08:46:00

Все коммутаторы работают на версии v6.2.14. Mesh/uplink отключен. Всем коммутаторам назначены статические сетевые параметры. Когда у меня получится снова «сломать» сеть, переподключив резервную линию, я проверю SW4. Конфигурация выглядит нормально.

Из вывода команды 'show run':
flowcontrol
spanning-tree mst priority 0 8192
spanning-tree mode rstp

А вот вывод 'show spanning-tree', когда всё работает нормально. Дизайнированный корень — агрегационный коммутатор (00:00:24:5A:4C:12:B0:B1), как и ожидалось.

(UBNT) #show spanning-tree

Bridge Priority ................................ 8192
Bridge Identifier ................................ 20:00:F4:92:BF:A7:3B:0A
Time Since Topology Change ..................... 0 day 0 hr 5 min 28 sec
Topology Change Count ........................... 3
Topology Change in progress ..................... False
Designated Root ................................ 00:00:24:5A:4C:12:B0:B1
Root Path Cost .................................. 2000
Root Port Identifier ............................ 80:42
Bridge Max Age .................................. 20
Bridge Max Hops ................................ 20
Bridge Tx Hold Count ............................ 6
Bridge Forwarding Delay ........................ 15
Hello Time ..................................... 2
Bridge Hold Time ............................... 6
CST Regional Root ............................... 20:00:F4:92:BF:A7:3B:0A
Regional Root Path Cost ......................... 0

Associated FIDs Associated VLANs
--------------- ----------------
1 1
2 2
8 8
15 15

GeorgeCZzz

Guest

#13

20.04.2022 05:35:00

Возможно, стоит написать здесь, какую версию прошивки вы используете на коммутаторах? И имеют ли коммутаторы статический IP-адрес? Беспроводное подключение по верхнему уровню отключено? Также, когда это произошло, можно ли локально подключиться к CLI коммутатора SW4 и показать stp? Точно не знаю, как это называется, но нужно проверить состояние STP на этом коммутаторе, кто у него root.

ssaunders

Guest

#14

15.04.2022 04:49:00

ИЗМЕНЕНИЕ: Нет, не сработало. Свитчи вроде бы продолжают работать, но точки доступа начали вести себя странно. AP1 пропала. Качество Wi-Fi на AP2/3/4 ухудшилось. Отключил резервную ссылку на порту 15 — и всё вернулось в норму. Это раздражает!

Я попробовал новую конфигурацию @scifiman. SW1 Aggregation: Priority 0
SW2 USW Pro: Priority 4096
SW3 US XG: Priority 4096
SW4 USW Pro: Priority 8192

Теперь резервная ссылка на порту 15 между SW2 и SW4 показывает статус blocked на SW4. Раньше блокировка была на SW2. Пока что сеть не сошла с ума, похоже, смена приоритетов решила проблему. Попробуйте тоже.

Запускаю ping -t с конечного устройства на SW6 до AP1 — время отклика стабильно меньше 1 мс. Иногда появляются групповые таймауты — примерно 3 секунды пропущенных пакетов, потом всё снова отлично. Странно.

Ping -t с того же ПК на NAS, подключённый к SW1, таких проблем не показывает — постоянно меньше 1 мс без потерь.

Так что пока всё отлично. Если снова начнутся проблемы, отпишусь.
(А топология сама по себе исправилась, не знаю, связано ли это.)

ssaunders

Guest

#15

15.04.2022 03:46:00

Если честно, @scifiman, я сейчас в похожей ситуации, так что, думаю, твоя конфигурация, скорее всего, нормальная. Или же у нас обоих настройки сломаны примерно одинаково.

Моя сеть «жужжит», пока резервный канал 1 Гбит/с на порту 15 обоих коммутаторов SW2/4 не подключён (как показано на примитивном рисунке). Как и ожидалось, порт 15 сразу же блокируется RSTP на SW2, но сеть быстро превращается в кашу с симптомами петли.

Основные каналы между SW1 и SW2/3 — агрегированные 10 Гбит, а между SW3 и SW4 — тоже агрегированные 10 Гбит. Приоритет у SW2 и SW4 — 8192, у SW1 и SW3 — 4096. RSTP и управление потоком включены на всех коммутаторах, которые это поддерживают (кроме UDM Pro, увы, и «малышей» USW flex). Кстати, UBB отключены, так что петли от этого нет, а сама топология у Ubiquiti немного неправильная: SW8 на самом деле подключён к SW4, а не к SW3.

gregorio

Guest

#16

09.03.2022 19:29:00

Извини, раньше не заметил. MO — это основной коммутатор? К какому устройству он подключается вверх по цепочке? Чтобы уточнить, к MO напрямую подключены только SB и AR, правильно? И других коммутаторов, подключенных к SB и AR, тоже нет? Вы используете SFP+ на 10G для соединения MO и SB? Можешь попробовать такие приоритеты: MO=12288, SR=16384 и AR=16384. Тогда MO останется основным и для SR, и для AR. Вариант, который у тебя сейчас, тоже должен работать, но учитывая, что это Unifi, всё может быть по-своему.

scifiman

Guest

#17

09.03.2022 18:54:00

@gregorio Если посмотреть на диаграмму, которая была приложена ранее, то там просто добавляется соединение между коммутатором AR и коммутатором SB. Коммутаторы MO и SB — это USW-Pro-24-POE, а коммутатор AR — более старый US-8-60W.

gregorio Guest	#18 07.03.2022 16:29:00 Какие модели коммутаторов используются? Как они связаны между собой? На каких скоростях портов работает связь? Нужна более понятная схема, даже если это будет простой набросок от руки.

scifiman Guest	#19 07.03.2022 01:54:00 Я всё ещё не могу с этим разобраться. Если у кого-то есть идеи, буду признателен.

Читают тему (гостей: 1)