CloudKey Gen2+ ax88179_178a kevent 2 могло быть потеряно

CloudKey Gen2+ ax88179_178a kevent 2 могло быть потеряно, UniFi Protect

Smith6612

Guest

10.11.2022 19:06:00

Всем привет! Я заметил тревожную ситуацию с оборудованием UniFi CloudKey Gen2+ на прошивке 2.5.11. У меня развёрнуто несколько CloudKey в разных местах с сетями и камерами разного размера. Последние несколько месяцев я пытался диагностировать медленный запуск стримов и их обрывы на CloudKey, и наткнулся на одну вещь в логе `dmesg`. Записи выглядят примерно так.

[170891.383947] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385767] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385781] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385787] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385793] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385799] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385805] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385810] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385816] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385822] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159786] net_ratelimit: 8815 callbacks suppressed
[170943.159804] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159826] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159862] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159874] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159943] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160020] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160027] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160033] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160039] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160044] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104077] net_ratelimit: 721 callbacks suppressed
[171293.104095] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104110] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104137] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104144] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104150] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104156] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104162] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104168] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104173] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104190] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped

Эти записи начинают появляться на CloudKey Gen2+, когда uptime превышает несколько часов. Похоже, это связано с увеличением сетевого трафика от камер или при выполнении простых команд вроде curl или iperf для проверок. Когда эти записи появляются, я также могу воспроизвести потерю пакетов UDP через iperf в локальной сети, в основном на входящем направлении (сеть → ключ). Если перезагрузить CloudKey, потеря пакетов и логи пропадают до тех пор, пока uptime снова не вырастет.

В сети советуют, что это проблема драйвера или перегрузка движка разгрузки (offload engine) сетевой карты трафиком. На текущий момент с этим CloudKey связано 17 камер, 3 точки доступа, два коммутатора, USG и Viewport. Я видел такое даже на меньших конфигурациях: 3 камеры, четыре точки доступа, два коммутатора и USG.

Кстати, вот вывод ethtool о настройках разгрузки.

root@cloudkey:~# ethtool -k eth0
Features for eth0:
rx-checksumming: on
tx-checksumming: on
        tx-checksum-ipv4: on
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: on
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off [fixed]
        tx-checksum-ipv6-udp: off [fixed]
scatter-gather: off
        tx-scatter-gather: off [fixed]
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off [fixed]
        tx-tcp-ecn-segmentation: off [fixed]
        tx-tcp6-segmentation: off [fixed]
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off [requested on]
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: off [fixed]
tx-vlan-offload: off [fixed]
ntuple-filters: off [fixed]
receive-hashing: off [fixed]
highdma: off [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
busy-poll: off [fixed]

На прошлой неделе на этом же ключе вышел из строя жёсткий диск, я установил замену SSD, но логи остались. Вижу, что Ethernet-контроллер USB-шный, судя по `lsusb`, он сидит на том же хабе, что и SATA-контроллер. Сначала думал, что проблема в старом медленном/битом диске, но, похоже, нет.

Есть мысли? Это баг?

NeilM-KCC Guest	#2 16.10.2023 17:32:00 Вот ссылка — посмотрим, что будет. Хотелось бы ошибиться, но моё предсказание: абсолютно ничего.

NeilM-KCC

Guest

16.10.2023 16:49:00

Не парься, я знаю, в чём дело — они действительно возвращаются, просто не желают взаимодействовать с такими, как я, кто хочет и может помочь, но я их бешу (у некоторых эго размером с папиросную бумагу), так что они лучше дадут своему продукту сгореть, чем перетерпят. Чисто ради прикола начну ещё один пост — у меня сейчас больше 50 миллионов kevent 2 в день, и при этом производительность моих камер 5x просто рухнула, как только количество kevent сошло с ума.

NeilM-KCC

Guest

03.10.2023 11:21:00

Очередной месяц, а ничего не меняется — вот сводка записей логов kevent 2:
2023-09-01 76,711
2023-09-02 49,382
2023-09-03 89,184
2023-09-04 1,130,031
2023-09-05 1,717,503
2023-09-06 1,460,804 <---- Обновление fw 3.1.6 до fw 3.1.16 в 21:10 (перезагрузка)
2023-09-07 200
2023-09-08 100
2023-09-09 0
2023-09-10 1,047
2023-09-11 937
2023-09-12 828
2023-09-13 1,822
2023-09-14 11,604
2023-09-15 13,817
2023-09-16 55,431
2023-09-17 306
2023-09-18 637,183
2023-09-19 242,728
2023-09-20 1,654,395 <--- 19:42 Обновление Protect 2.9.16 -> 2.9.21
2023-09-21 347,107
2023-09-22 676,882
2023-09-23 978,218
2023-09-24 1,714,762
2023-09-25 2,459,828
2023-09-26 2,241,797
2023-09-27 15,061,620 <--- 16:10 Обновление Protect 2.9.21 -> 2.9.22
2023-09-28 34,742,388
2023-09-29 41,722,472
2023-09-30 39,052,410
2023-10-01 37,602,321
2023-10-02 43,248,853
Совершенно невероятно. После перезагрузок проходит несколько дней, пока сообщения kevent 2 начнут появляться, а затем количество записей в логах неуклонно растёт, пока не достигает эпических ежедневных объёмов (десятки миллионов в день). Когда ядро логгирует с такой скоростью, значительная часть времени процессора тратится на генерацию этих сообщений, а не на что-то полезное. Добавьте к этому спам от systemd-networkd-fallbacker, который я тоже наблюдаю (и который тоже игнорируется), и файлы моего лога ядра раздуваются такими темпами, что я всерьёз опасаюсь, что это преждевременно угробит eMMC-накопитель в UCKG2+.
@UI-Team — вы можете что-то сделать? Пора бы кому-то проявить гордость за фундамент этого железа, а не только за эффектный GUI. Я получаю эти сообщения годами, так что если вам нужен кто-то для расследования — я здесь. /машет рукой

NeilM-KCC Guest	#5 03.10.2023 11:08:00 К сожалению, похоже, что ответ — однозначно «да». 🙄

NeilM-KCC Guest	#6 06.09.2023 18:59:00 Ещё 3,5 миллиона ошибок kevent 2 за 3-4 дня. @UI-Glenn чем я могу помочь? Очевидно, что в этой прошивке (3.1.6) серьёзная проблема с драйвером USB. Мы что, будем это игнорировать? 2023-09-03 89,184 2023-09-04 1,130,031 2023-09-05 1,717,503 2023-09-06 547,255

NeilM-KCC

Guest

03.09.2023 03:00:00

867,196,178 кэвентов 2 ошибок залогировано на моём UCKG2+ с 6 августа 2023 года (меньше чем за месяц). Более 867 МИЛЛИОНОВ ошибок. Меньше чем за 30 дней. Господи. 🥺

Дата # подавленных записей kevent 2
2023-08-06 55,985,816
2023-08-07 57,107,341
2023-08-08 61,172,640
2023-08-09 66,949,056
2023-08-10 63,648,608
2023-08-11 73,905,906
2023-08-12 57,794,793
2023-08-13 57,607,192
2023-08-14 65,145,072
2023-08-15 7,822,634
2023-08-16 0
2023-08-17 0
2023-08-18 0
2023-08-19 45,469,748
2023-08-20 52,874,549
2023-08-21 63,114,577
2023-08-22 62,442,583
2023-08-23 74,325,868
2023-08-24 1,659,975
2023-08-25 0
2023-08-26 0
2023-08-27 0
2023-08-28 2,805
2023-08-29 7,890
2023-08-30 1,667
2023-08-31 31,631
2023-09-01 76,543
2023-09-02 49,284
2023-09-03 0

UCKG2+ перезагружался 15.08.2023 и 24.08.2023, что на несколько дней глушило ошибки kevent 2, а потом они снова начинаются — как по часам. Последняя неделя была не такой плохой, не знаю, почему так, ведь система не обновлялась месяцами (намеренно, чтобы избежать «окирпичивания»), просто перезагружалась пару раз (тестирование ИБП).

NeilM-KCC

Guest

03.09.2023 02:37:00

Я сообщаю об этом уже много лет. Обидно, что все это время они игнорировали признаки — сомневаюсь, что они успеют это исправить, пока оборудование UCKG2+ не устареет. К сожалению, это повторяющаяся проблема в драйверах USB-мостов на дешевом ARM-железе, так что она вполне может появиться в будущих продуктах Ubiquiti, если они не обратят на это внимание. UCKG2+ 3.1.6 с SSD на 1 ТБ, Protect 2.7.34, 5 камер G3 Instant, UNA 7.4.150, 14 беспроводных клиентов, 12 проводных, 3 коммутатора, 1 U6-LR. Десятки тысяч записей kevent 2, спамящих в журнал ядра каждые несколько минут. Почти уверен, что это вызывает повреждение данных на USB и случайные, необъяснимые баги (которые Ubiquiti тоже игнорирует). Обычно именно такое значение имеет эта ошибка, когда другие вендоры добросовестно исследовали ту же проблему в драйверах USB-мостов, используемых в их собственных продуктах (некоторые, как RPi Foundation, даже смогли её исправить, но это был титанический труд с их стороны).

4Blanchards

Guest

18.05.2023 21:17:00

Наблюдаю ту же проблему. Вот количество срабатываний "kevent 2 may have been dropped" по дням:
2023-05-18 — 108 411 (пока что)
2023-05-17 — 151 268
2023-05-16 — 151 618
2023-05-15 — 149 163
2023-05-14 — 148 533
2023-05-13 — 145 949
2023-05-12 — 146 370
Cloudkey Gen2+ v3.0.13
Protect Version 2.7.33
Есть идеи?

Smith6612 Guest	#10 24.12.2022 06:12:00 Воспроизведено и приложено, как и просили.

UI-Glenn Guest	#11 23.12.2022 15:24:00 Привет @Smith6612, я отправил тебе другую сборку — установи её, воспроизведи проблему и забери новые файлы поддержки.

Smith6612 Guest	#12 22.12.2022 22:39:00 Привет, Гленн, я прикрепил файл поддержки к этой теме.

UI-Glenn Guest	#13 22.12.2022 12:39:00 Привет @brightdroid @Wdavis Можешь открыть свою собственную тему и отметить меня в ней? Включая файлы поддержки? Приватно.

brightdroid Guest	#14 22.12.2022 12:35:00 @UI-Glenn, не могли бы вы помочь?

brightdroid

Guest

#15

19.12.2022 16:22:00

У меня такие же ошибки очень часто, и иногда сеть или приложение защиты вылетают при использовании. Недавние логи: Dec 19 17:20:45 Home kernel: net_ratelimit: 102 callbacks suppressed Dec 19 17:20:45 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:49 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: net_ratelimit: 1789 callbacks suppressed Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Dec 19 17:20:59 Home kernel: ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped Заранее спасибо

Smith6612 Guest	#16 12.12.2022 04:22:00 Привет, Глен, только добрался до этого. Извини, что долго не отвечал. Установлю это на Cloud Key и отпишу, когда оно снова появится.

PBACamp

Guest

#17

08.12.2022 17:39:00

Привет @UI-Glenn и @Smith6612, у меня больше нет этой проблемы. Я сменил IP-адрес своего Cloud Key и сбросил все DNS-настройки для отдельных устройств со статическими IP-адресами из-за другого лога, в котором указывалась ошибка DNS. После этого я заметил, что сообщение об ошибке в этой теме пропало. Я не уверен, исправили ли эти изменения основную причину или это сообщение вернётся, но всё работает как надо после изменений DNS. Спасибо. *Правка* Проблема не исправлена навсегда. Я переключил свой IP-адрес на DHCP, когда примерно через 45 минут после того, как решил, что проблема решена, начались сбои. Похоже, это исправило её на данный момент.

UI-Glenn Guest	#18 07.12.2022 09:20:00 Привет @Smith6612, есть новости по этому поводу?

PBACamp Guest	#19 06.12.2022 19:43:00 Привет @Smith6612, отладка исправила проблему? У меня такая же ошибка с нашей Gen 2 Cloud Key+, наблюдаются значительные потери пакетов. @UI-Glenn, можно и мне тоже отправить файл отладки? Спасибо.

NeilM-KCC Guest	#20 21.01.2024 19:48:00 Да, вероятно, придётся прибегнуть к цирковому исправлению и регулярно перезагружать систему, возможно, еженедельно, чтобы она работала более или менее сносно. Не уверен, что SSD является основным фактором, провоцирующим проблемы с памятью (фрагментацией), но это может быть так, поскольку они проводят практически весь ввод-вывод через стек USB, который явно настроен некорректно. Просто шокирует, насколько им, похоже, плевать на свои продукты (или клиентов), даже когда им на блюдечке подают множество легко воспроизводимых багов — полная тишина в ответ.

Читают тему (гостей: 1)