Всем привет! Я заметил тревожную ситуацию с оборудованием UniFi CloudKey Gen2+ на прошивке 2.5.11. У меня развёрнуто несколько CloudKey в разных местах с сетями и камерами разного размера. Последние несколько месяцев я пытался диагностировать медленный запуск стримов и их обрывы на CloudKey, и наткнулся на одну вещь в логе `dmesg`. Записи выглядят примерно так.
[170891.383947] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385767] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385781] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385787] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385793] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385799] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385805] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385810] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385816] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385822] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159786] net_ratelimit: 8815 callbacks suppressed
[170943.159804] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159826] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159862] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159874] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159943] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160020] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160027] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160033] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160039] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160044] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104077] net_ratelimit: 721 callbacks suppressed
[171293.104095] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104110] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104137] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104144] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104150] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104156] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104162] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104168] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104173] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104190] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
Эти записи начинают появляться на CloudKey Gen2+, когда uptime превышает несколько часов. Похоже, это связано с увеличением сетевого трафика от камер или при выполнении простых команд вроде curl или iperf для проверок. Когда эти записи появляются, я также могу воспроизвести потерю пакетов UDP через iperf в локальной сети, в основном на входящем направлении (сеть → ключ). Если перезагрузить CloudKey, потеря пакетов и логи пропадают до тех пор, пока uptime снова не вырастет.
В сети советуют, что это проблема драйвера или перегрузка движка разгрузки (offload engine) сетевой карты трафиком. На текущий момент с этим CloudKey связано 17 камер, 3 точки доступа, два коммутатора, USG и Viewport. Я видел такое даже на меньших конфигурациях: 3 камеры, четыре точки доступа, два коммутатора и USG.
Кстати, вот вывод ethtool о настройках разгрузки.
root@cloudkey:~# ethtool -k eth0
Features for eth0:
rx-checksumming: on
tx-checksumming: on
tx-checksum-ipv4: on
tx-checksum-ip-generic: off [fixed]
tx-checksum-ipv6: on
tx-checksum-fcoe-crc: off [fixed]
tx-checksum-sctp: off [fixed]
tx-checksum-ipv6-udp: off [fixed]
scatter-gather: off
tx-scatter-gather: off [fixed]
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
tx-tcp-segmentation: off [fixed]
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp6-segmentation: off [fixed]
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off [requested on]
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: off [fixed]
tx-vlan-offload: off [fixed]
ntuple-filters: off [fixed]
receive-hashing: off [fixed]
highdma: off [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
busy-poll: off [fixed]
На прошлой неделе на этом же ключе вышел из строя жёсткий диск, я установил замену SSD, но логи остались. Вижу, что Ethernet-контроллер USB-шный, судя по `lsusb`, он сидит на том же хабе, что и SATA-контроллер. Сначала думал, что проблема в старом медленном/битом диске, но, похоже, нет.
Есть мысли? Это баг?
[170891.383947] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385767] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385781] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385787] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385793] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385799] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385805] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385810] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385816] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170891.385822] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159786] net_ratelimit: 8815 callbacks suppressed
[170943.159804] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159826] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159862] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159874] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.159943] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160020] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160027] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160033] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160039] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[170943.160044] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104077] net_ratelimit: 721 callbacks suppressed
[171293.104095] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104110] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104137] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104144] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104150] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104156] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104162] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104168] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104173] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
[171293.104190] ax88179_178a 2-1.1:1.0 eth0: kevent 2 may have been dropped
Эти записи начинают появляться на CloudKey Gen2+, когда uptime превышает несколько часов. Похоже, это связано с увеличением сетевого трафика от камер или при выполнении простых команд вроде curl или iperf для проверок. Когда эти записи появляются, я также могу воспроизвести потерю пакетов UDP через iperf в локальной сети, в основном на входящем направлении (сеть → ключ). Если перезагрузить CloudKey, потеря пакетов и логи пропадают до тех пор, пока uptime снова не вырастет.
В сети советуют, что это проблема драйвера или перегрузка движка разгрузки (offload engine) сетевой карты трафиком. На текущий момент с этим CloudKey связано 17 камер, 3 точки доступа, два коммутатора, USG и Viewport. Я видел такое даже на меньших конфигурациях: 3 камеры, четыре точки доступа, два коммутатора и USG.
Кстати, вот вывод ethtool о настройках разгрузки.
root@cloudkey:~# ethtool -k eth0
Features for eth0:
rx-checksumming: on
tx-checksumming: on
tx-checksum-ipv4: on
tx-checksum-ip-generic: off [fixed]
tx-checksum-ipv6: on
tx-checksum-fcoe-crc: off [fixed]
tx-checksum-sctp: off [fixed]
tx-checksum-ipv6-udp: off [fixed]
scatter-gather: off
tx-scatter-gather: off [fixed]
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
tx-tcp-segmentation: off [fixed]
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp6-segmentation: off [fixed]
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off [requested on]
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: off [fixed]
tx-vlan-offload: off [fixed]
ntuple-filters: off [fixed]
receive-hashing: off [fixed]
highdma: off [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
busy-poll: off [fixed]
На прошлой неделе на этом же ключе вышел из строя жёсткий диск, я установил замену SSD, но логи остались. Вижу, что Ethernet-контроллер USB-шный, судя по `lsusb`, он сидит на том же хабе, что и SATA-контроллер. Сначала думал, что проблема в старом медленном/битом диске, но, похоже, нет.
Есть мысли? Это баг?