Я испытываю медленную передачу данных между моим MacPro и стойкой моей домашней лаборатории, и вот думаю, решит ли обновление моего агрегационного USW-коммутатора на другой USW-PRO-Agg проблему. У меня есть довольно скромная домашняя лаборатория в офисе и гараже. В офисе живут NVR, UDM SE и 8-портовый USW-Aggregation коммутатор, а также пара рабочих Mac, (оба с 10gbe). В гараже находится USW-Pro-Aggregation коммутатор и 24-портовый коммутатор ниже, как видно на прикрепленном изображении (кажется, нужно кликнуть на него, чтобы увидеть все). 
Вот соответствующие части моей сети (я постарался сопоставить имена на изображении с именами ниже):
1) Мой MacPro подключен к "Server Rack Agg 8-port" (8-портовый USW-Aggregation коммутатор) через 10gbe к SFP+.
2) "Server Rack Agg 8-p" (8-портовый USW-Aggregation коммутатор) подключен к "Garage Aggregation" (USW-Pro-Aggregation) через агрегированные 2x10gbe SFP волоконные кабели.
3) "Server Rack Agg 8-p" также подключен к шлюзу, UDM SE.
4) Целевой сервер (пикард), рабочая станция на базе 52-ядерного Xeon, подключен к "Garage Aggregation" коммутатору через агрегированные 2x10gbe SFP DAC кабели.
5) Есть и другие серверы (один — kirk) также подключены непосредственно к "Garage Aggregation" коммутатору через агрегированные 2x10gbe SFP DAC кабели.
Вот некоторые значения времени для передачи файлов: Можно видеть разницу в скоростях передачи. Все это передают папку размером ~10 ГБ через scp -r.
MacPro to kirk (MacPro -> 8-портовый agg -> pro agg -> kirk) -- ~16 МБ/с
kirk to picard (оба подключены к pro agg) -- ~400 МБ/с
picard to kirk (оба подключены к pro agg) -- ~400 МБ/с
kirk to MacPro (kirk -> pro agg -> 8-портовый agg -> MacPro, то есть обратное первому пункту) -- ~500 МБ/с
Запуск iperf3 между всеми вышеуказанными вариантами дает ~9 ГБ/с в обе стороны (и я думаю, что iperf3 работает на уровне 2). Сначала я думал, что причиной может быть то, что серверы в гараже, все работающие под управлением proxmox, создают ВМ с другим VLAN, чем MacPro. Я создал ВМ в VLAN по умолчанию (то же самое, что и у MacPro), но увидел ту же падению скорости. Разница в скорости в зависимости от направления/происхождения потока данных — вот что меня интересует.
Мой вопрос в том, является ли 8-портовый агрегационный коммутатор тем, что замедляет меня, потому что это коммутатор уровня 2, который должен обращаться к UDM SE за помощью в маршрутизации? Поможет ли замена этого коммутатора уровня 2 на Pro агрегационный коммутатор (который маршрутизирует L3) для получения лучшего двунаправленного трафика? Я планирую добавить 10-гигабитный NAS и хочу установить его в стойке в гараже, но не на таких скоростях.
Спасибо,
-jamie
Вот соответствующие части моей сети (я постарался сопоставить имена на изображении с именами ниже):1) Мой MacPro подключен к "Server Rack Agg 8-port" (8-портовый USW-Aggregation коммутатор) через 10gbe к SFP+.
2) "Server Rack Agg 8-p" (8-портовый USW-Aggregation коммутатор) подключен к "Garage Aggregation" (USW-Pro-Aggregation) через агрегированные 2x10gbe SFP волоконные кабели.
3) "Server Rack Agg 8-p" также подключен к шлюзу, UDM SE.
4) Целевой сервер (пикард), рабочая станция на базе 52-ядерного Xeon, подключен к "Garage Aggregation" коммутатору через агрегированные 2x10gbe SFP DAC кабели.
5) Есть и другие серверы (один — kirk) также подключены непосредственно к "Garage Aggregation" коммутатору через агрегированные 2x10gbe SFP DAC кабели.
Вот некоторые значения времени для передачи файлов: Можно видеть разницу в скоростях передачи. Все это передают папку размером ~10 ГБ через scp -r.
MacPro to kirk (MacPro -> 8-портовый agg -> pro agg -> kirk) -- ~16 МБ/с
kirk to picard (оба подключены к pro agg) -- ~400 МБ/с
picard to kirk (оба подключены к pro agg) -- ~400 МБ/с
kirk to MacPro (kirk -> pro agg -> 8-портовый agg -> MacPro, то есть обратное первому пункту) -- ~500 МБ/с
Запуск iperf3 между всеми вышеуказанными вариантами дает ~9 ГБ/с в обе стороны (и я думаю, что iperf3 работает на уровне 2). Сначала я думал, что причиной может быть то, что серверы в гараже, все работающие под управлением proxmox, создают ВМ с другим VLAN, чем MacPro. Я создал ВМ в VLAN по умолчанию (то же самое, что и у MacPro), но увидел ту же падению скорости. Разница в скорости в зависимости от направления/происхождения потока данных — вот что меня интересует.
Мой вопрос в том, является ли 8-портовый агрегационный коммутатор тем, что замедляет меня, потому что это коммутатор уровня 2, который должен обращаться к UDM SE за помощью в маршрутизации? Поможет ли замена этого коммутатора уровня 2 на Pro агрегационный коммутатор (который маршрутизирует L3) для получения лучшего двунаправленного трафика? Я планирую добавить 10-гигабитный NAS и хочу установить его в стойке в гараже, но не на таких скоростях.
Спасибо,
-jamie
Спасибо за скрипт!
Как ты и говорил, часто в самом неожиданном месте. Передача трафика между VLAN была немного медленнее, но не на порядки, как я видел от компьютеров Mac в офисе. Пытаясь ещё больше оптимизировать свои тесты, я устал печатать имя пользователя и хост для ssh & scp, поэтому открыл свой файл .ssh/config… И увидел вот это для пары соответствующих хостов: Compression yes.
Еще одно из того, что я планирую – просто временно подключить линию от MacPro к гаражной розетке, чтобы посмотреть, как это повлияет на ситуацию. Напишу, когда что-нибудь узнаю.
