Память CloudKey+ заполнена, Protect завис.

RSS

Память CloudKey+ заполнена, Protect завис., UniFi Protect

Dubz

Guest

31.12.2019 18:02:00

Привет! Сегодня я проснулся и обнаружил несколько таких писем:

Проверил производительность контроллера и увидел вот это:

Для начала я думал, что контроллер и его данные хранятся на Storage 2, на выделенном устройстве eMMC. Может, это просто swap для ускорения работы? Я запутался в его назначении, если UniFi Controller хранится вместе с Protect на Storage 1. Разве замена диска не приведёт к потере этих данных?

Единственное, что я могу предположить — исторические данные лежат на HDD, а конфигурации и прочее — на eMMC.

В любом случае, по делу.

Мой контроллер Protect больше не работает. Страница не открывается, в облаке (protect.ui.com и приложении) он показывает оффлайн, поэтому даже посмотреть записи или что-то настроить нельзя. Очень хочется всё это быстро вернуть в строй, желательно без потери данных.

За последний час пришло больше сотни уведомлений о переподключениях устройств. В портале управления Cloud Key кнопка «Open Protect» сменилась на «Setup Protect». Я перезагрузил контроллер — кнопка вернулась к «Open Protect», но всё равно периодически меняется туда-сюда.

Проблем с UniFi Controller или самим порталом управления CK не замечал.

Пробовал перезагружать контроллер и весь Cloud Key.

В целом всё работало гладко последние пару месяцев без особых проблем. Единственное препятствие — старый Protect не корректно удалял старые видеофайлы, из-за чего сохранялась примерно 20-минутная история. В остальном всё было нормально. Но сейчас ситуация начинает напрягать.

Конфигурация:
USG-Pro
USW-PRO-48-POE-BETA
USW-24-250W
CKG2 + x5 G3-Dome
x5 G3-Flex
Всё на последней публичной прошивке, включая CK и его прошивки/контроллеры.

Пробовал:
- Перезагрузку контроллера
- Сокращение времени хранения исторических данных на контроллере
- Полную перезагрузку Cloud Key

Dubz

Guest

23.03.2020 01:19:00

Значит, получается, что единственное, что важно — это то, что я смог снова всё запустить? Хотя почти 26 часов не было никакого наблюдения, не говоря уже о том, что до этого момента ничего не потерялось... Похоже, теперь мне придётся ждать, что оно снова сломается где-то в мае-июне? Потом применить этот "трюк", чтобы вроде как мягко перезагрузить систему и просто смириться с тем, что она никогда нормально работать не будет?

Dubz

Guest

24.03.2020 19:46:00

Я полностью понимаю ситуацию с COVID-19 и что она создаёт кучу проблем для многих людей. Я тоже не ожидаю, что всё и все будут работать как обычно, ведь большинство сейчас (пытаются) работать удалённо, и, как ты сказал, вероятно, при меньших ресурсах. Мой отчёт был в среду, пусть и вечером. Но это не совсем выходные. Я уверен, что у него тоже много дел, как и у всех нас. Просто у меня складывается ощущение, что это такой подход: «сейчас работает, значит, всё починили, переходим к другим задачам». Конечно, учитывая, что сейчас почти всё закрыто, работающая система — не самый главный приоритет, это скорее на случай, если кто-то захочет взломать. Но в долгосрочной перспективе это надо будет исправлять, а я не чувствую, что это сделали. Кто знает, может, когда выйдет стабильная прошивка CK и её обновят, это больше не повторится (или случится ещё раз, чтобы избавиться от проблемы?). Просто очередной повод сказать, что это «временная проблема», и больше не должно повторяться.

mikesg

Guest

23.03.2020 05:09:00

Наступили выходные, COVID-19, в некоторых штатах США действует режим самоизоляции и так далее. @UI-Cody, наверное, сейчас решает кучу задач, и, скорее всего, не все сотрудники могут работать в обычном режиме с полным набором ресурсов. У меня есть несколько устройств, и у меня никогда не возникало тех проблем, с которыми сталкиваешься ты. Я бы был готов пройти ещё один этап тестирования решений, а потом, скорее всего, попросил бы RMA. Извини, что не могу предложить ничего полезного.

Dubz

Guest

23.03.2020 01:23:00

Теперь, когда я об этом подумал, похоже, что это действительно ожидаемая тенденция для этого сайта. Наблюдение запускается примерно в октябре, а через 2 с половиной месяца всё падает. Потом делают сброс к заводским настройкам, восстанавливают контроллеры, и снова через 2 с половиной месяца происходит сбой.

Возможно, CK+ каким-то образом неисправен, если повторяется такая закономерность? Учитывая приблизительно 10 недель работы до сбоя. К тому же записи хранятся всего около 5 дней, так что это не конец цикла данных вызывает проблему. Перезапись проходит корректно.

Надеюсь, что прошивка CK версии 1.1.7 (сейчас на стадии тестирования; https://community.ui.com/releases/UniFi-Cloud-Key-Firmware-1-1-7/e98a994b-68ae-4820-9a57-13990dba7f56) сможет решить проблему, добавив функцию ограничения дискового пространства в UCKP, чтобы Unifi-Protect не забивал весь диск. Сейчас жду стабильный релиз и отзывов от сообщества по этому поводу.

UI-Team

Guest

18.03.2020 22:56:00

@Dubz Ты уже пробовал перезагружать CK? Хотя раздел /srv заполнен (и перезагрузка может это не исправить), логи показывают, что сервис пытается запуститься, но порты заняты. Когда именно Protect перестал работать? И когда ты получил письмо с предупреждением о нехватке места? Если перезагрузка не поможет, можешь остановить сервис unifi-protect, удалить все файлы в /srv/unifi-protect/video/pool/* и потом перезапустить CK?

Dubz

Guest

18.03.2020 20:32:00

Также хотел бы отметить, так как я действительно проверял. Я установил CK+ в октябре 2018 года, но Protect начали использовать только примерно в октябре 2019. Иными словами, устройству полтора года, но Protect с 11 камерами работает не более 5 месяцев. В целом работает нормально (иногда бывают небольшие проблемы с интерфейсом, но я с ними справляюсь), пока не происходит сбой.

Dubz Guest	#8 18.03.2020 20:11:00 Я также отправил файлы через форум. Пожалуйста, постарайтесь как можно скорее ответить мне с предлагаемыми следующими шагами. Спасибо.

UI-Team Guest	#9 18.03.2020 19:40:00 Привет, @Dubz. Можешь, пожалуйста, поделиться результатом команды df -h и логами здесь: https://forms.monday.com/forms/140d6878f3367ba000fe8ced0ad82fe0

Dubz Guest	#10 18.03.2020 06:42:00 Если это поможет ускорить ответы на предыдущие вопросы: Также я подготовлю лог-файлы, которые вы просили ранее, но подожду, пока вы снова их запросите, если они вам нужны.

Dubz

Guest

#11

18.03.2020 06:28:00

Похоже, я снова копаю эту тему, и снова по той же самой проблеме с тем же самым CloudKey+. Получил уведомление, что Protect офлайн, а потом пошли постоянные письма о том, что раздел с данными заполнен. Сначала подумал, что дело в переполненной SD-карте, такое бывает, поэтому сделал стандартный FTP-перенос с MicroSD на мой Google Drive для долгосрочного бэкапа.

Теперь понял, что дело не в этом, и мы опять вернулись к той же проблеме. Я ничего не трогаю, жду, пока @UI-Cody скажет, как дальше поступать, учитывая, что полный сброс к заводским настройкам и восстановление из резервной копии не решили проблему...

CloudKey Firmware: UCKP.apq8053.v1.1.6.c289a3c.191031.0851
UniFi SDN Firmware: 5.12.35-12979-1
UniFi Protect Firmware: 1.12.5

Protect я не обновлял до последней версии 1.13.2, так как видел много жалоб на проблемы с ней.
Заходить в Protect вообще не получается, пишет, что нужно настроить через CloudKey Management Portal. В устройство могу зайти по FTP/SSH, завтра утром/днём (по EST) буду на месте, чтобы разобраться, надеюсь, исправить и, возможно, обсудить будущее использование UniFi Protect на этом объекте.

LLigetfa

Guest

#12

21.01.2020 19:43:00

Одно, что я заметил, — разработчики редко возвращаются, чтобы исправить последствия прошлых багов. Я отслеживал ошибки, из-за которых оставались заброшенные файлы в UFV, и хотя были некоторые улучшения, они так и не убрали старые заброшенные файлы. https://community.ui.com/questions/Beware-the-thief-stealing-disk-space/2eeef0dd-f0a5-4f60-97d7-74f14416458f

Dubz

Guest

#13

21.01.2020 18:34:00

Я могу согласиться, что удалённые мной файлы могли снова вызвать проблемы, но не очень понятно, почему патченная версия, которая была установлена уже давно, тогда этого не исправила, когда проблема впервые появилась. Ещё кажется, что должна быть какая-то система, которая заметит отсутствие файлов и автоматически адаптируется к ситуации (например, просканирует и перестроит базу данных или что-то подобное).

Что касается проблемы с повторной настройкой, мне непонятно, почему наличие этих файлов должно мешать работе. Не уверен, неудачные ли у этого CK выходные или он пытается что-то сделать при настройке, но не выходит, и в итоге блокируется.

Могу предложить лишь следующее:

— Сделать так, чтобы система могла определить, если файл удалён, и нормально с этим справляться, а не просто падать. Либо, по крайней мере, дать нам возможность как-то инициировать самовосстановление.

— Перестать пытаться автоматически восстанавливать из автозаписи, если это было причиной проблемы.

— Добавить возможность патча версии контроллера через GUI и связать deb-файлы в списке загрузок. Искать обходные пути — это лишняя головная боль. Если файл доступен онлайн и публично, да ещё и доступен с устройства, кто-то всё равно его найдёт. Сделайте так, чтобы тем, кто не хочет заморачиваться, было проще просто установить это на своё устройство. Даже если для этого понадобится какая-то программа регистрации или что-то в этом духе.

— Улучшить контроль качества контроллеров, особенно тех, что предназначены для записи видеонаблюдения или обеспечения физического доступа к объектам.

В остальном очень надеюсь, что никто больше не столкнётся с этим всем, но если вдруг — пусть найдут эту ветку и она поможет решить их проблему.

UI-Team

Guest

#14

21.01.2020 17:20:00

@Dubz Извиняюсь, что у тебя возникли такие проблемы с контроллером. Логи показали, что контроллер не мог переработать файлы, так как они не находились на диске — скорее всего, это файлы, которые ты удалил, чтобы освободить место. К сожалению, я считаю, что всё это изначально вызвано багом, который присутствовал в версиях до v1.12.5 и в итоге приводил к заполнению диска. Второй инцидент, скорее всего, стал следствием исправления первого. На сегодняшний день твой случай — единственный, про который я знаю, с такой проблемой при работе на v1.12.5. Теперь, когда Protect перенастроен с использованием чистого диска и чистой базы данных, я не ожидаю, что эта проблема повторится.

Dubz

Guest

#15

21.01.2020 04:56:00

Последнее обновление: наконец-то мне удалось запустить Protect. Я удалил автоматические файлы резервного копирования с SD-карты (через `/data/unifi-protect/backups/*`), перезагрузил контроллер Protect и заново прошёл настройку. Система наконец прошла этап создания локальной учётной записи и дошла до подключения к облаку и финальной настройки. После этого я смог восстановить резервную копию, которую хранил на Google Drive — и всё вернулось на свои места: названия камер, водяные знаки, виды и так далее.

К сожалению, пришлось заново добавлять облачные аккаунты, чтобы вернуть им доступ к контроллеру. Видимо, система недостаточно умная, чтобы сделать это автоматически. Из-за этого эти аккаунты потеряли все кастомные настройки, такие как локальные учётные записи и правила оповещений, и их надо было добавлять заново.

Не уверен, были ли файлы резервных копий связаны с проблемой, но теперь всё работает.

Только бы потом не появилось новых проблем, иначе, клянусь, вырву все камеры и устройства Protect, закопаю их в самый глубокий ров, какой только смогу найти, и отправлюсь жить среди амишей, навсегда отказавшись от технологий.

/разговор окончен/

Dubz

Guest

#16

21.01.2020 03:11:00

Добавлю, что я пытался настроить Protect через мобильное приложение, но безуспешно. Дошёл до всплывающего окна с запросом TOTP, ввёл код, а в ответ получил общую ошибку, что сейчас это выполнить нельзя. Я заново развернул систему на площадке, так как SDN снова работает, но Protect всё ещё не функционирует, и ни малейших подсказок, почему так происходит, нет. Также пробовал настроить прямо там, на месте, на случай, если проблема связана с ограничениями по IP или чем-то подобным, но и это не помогло. Следующий шаг — попытаться просмотреть данные, которые передаются в сообщениях, если в логах так и не найдётся никаких ошибок.

Dubz

Guest

#17

20.01.2020 11:54:00

Обновление прошло без проблем. Но вот настройка всё ещё та же проблема. Не получается пройти страницу создания учётной записи. Отправленные данные зависают в состоянии ожидания, а потом истекает время ожидания, и приходит пустой ответ. Я пытался искать ошибки в разных логах на CK, но толком ничего не нашёл. Думаю, что кое-что заметил, копаясь в postgre, но к тому моменту я уже был ужасно сонным и толком не помню и не понимаю, что тогда делал.

mikesg Guest	#18 20.01.2020 06:10:00 Обновилось успешно, но не запускается? Или вообще не обновилось? Есть сообщение об ошибке?

Dubz Guest	#19 19.01.2020 22:44:00 wget https://fw-download.ubnt.com/data/unifi-protect/bcba-Debian9_5farm64-1.12.5-a8163baf5cb144c0a001285e7c29cdb1.deb dpkg -i bcba-Debian9_5farm64-1.12.5-a8163baf5cb144c0a001285e7c29cdb1.deb На самом деле я уже получил этот пакет раньше другим способом, но обновление не помогло.

LLigetfa Guest	#20 19.01.2020 15:36:00 Вам разрешено использовать метод wget/dpkg, но, конечно, нужно знать, откуда скачивать файл. Поскольку вы не указали, какую версию хотите скачать, я предположу, что последнюю стабильную. wget https://fw-download.ubnt.com/data/unifi-protect/bcba-Debian9_5farm64-1.12.5-a8163baf5cb144c0a001285e7c29cdb1.deb dpkg -i bcba-Debian9_5farm64-1.12.5-a8163baf5cb144c0a001285e7c29cdb1.deb

Читают тему (гостей: 1)