OXOTHuK76

В продолжение поста

Интеллектуальное видеонаблюдение. Новые функции

В качестве примера возможного использования интеллектуального наблюдения создал тестового бота в телеге, который наблюдает за белками. (зайти, написать /start ждать когда белочка придет :))

https://t.me/squirrel_watch_bot

Как работает: специально натренированная маленькая детект-моделька детектит только белок и птиц. Датасет публичный, посмотреть можно тут
https://universe.roboflow.com/demo-weez0/birds-and-squirrels

Далее, если белка на видео определилась, сервак засылает видео на опрос в Google Gemini.

Там идет описание видео и дополнительная проверка, например я прошу убедиться что в кадр не попал человек.

На данный момент промпт такой:

Условие: На видео нет людей, совсем. На видео есть птицы или белки. Описание: При описании не упоминай что людей нет. Опиши животных и птиц. Описывай видео как будто ты очень известный спортивный коментатор, соблюдай интригу, добавляй побольше эмоций. В качестве seed используй текущее время. Текущая дата в формате yyyy.MM.dd HH:mm:ss = %DATE%. Не пиши дату в описании.

Немного апдейтов моего ИИ видеорегистратора Cam100Gramm.

Добавил интеграцию Home Assistant через MQTT, теперь можно включать свет когда соседский код пробегает по участку. Или когда соседка напялила красные лабутены можно это озвучить через яндекс колонку :)

Добавил функцию запроса через телегу скриншота или куска видео с конкретной камеры. Можно либо командой "/live camname frame", "/live camname video" или просто сделать запрос натуральным языком: "покажи мне кадр с камеры такой то".

Второе изменение это временные GPT уведомления. Допустим вы ждете такси или ОЗОН какой-нибудь. Теперь не надо всё жестко забивать в конфиг. Просто пишете в телеге что хотите увидеть и на какой камере. И так же говорите куда вас уведомить. Зависит от того какие каналы уведомлений вы добавили в настройках. Я для себя важные уведомления отправляю на почту. Можете создать два тг канала, один не важный и замьютить его, второй для важных уведомлений.

Примеры:

"Сообщи мне в телегу когда в камере Вид На дорогу появится фургон с надписью ОЗОН"

"Сообщи мне если кто-то подошел к камере в двери и тычет в камеру корочкой"

В продолжение поста Видеонаблюдение с ИИ, продолжение темы

Добавил поиск по базе видеособытий. Теперь ИИ нам изучит записи за указанный период и сделает общий обзор. Запрашивать можно полностью в свободной форме. Просить уделить внимание отдельным деталям. Примеры на видео:

Пример указание ИИ как себя вести

Внимание! Пост только для фанатиков видеонаблюдения с прямыми руками, остальные не читаем :)

Всем привет, год назад выкладывал пост про видеонаблюдение.

Видеонаблюдение, наблюдения

Это было кастомное тяпляп решение для видеорегистрации событий и отправки в телегу. Софтина честно отработала год и почти не вылетала. Но пришло время всё нафиг переписать с нуля.

Коротко, что это и для чего:

У меня в доме стоит несколько камер наблюдения, сначала я использовал стандартные системы, они работают хорошо, но я не охранник чтобы сидеть постоянно и смотреть в экран, зато телефон у меня всегда под рукой, а в нем телега. Поэтому решил написать свой софт который будет писать с камер только реальные события, только нужные мне объекты и не будет срабатывать на всякий шум вроде дождей, ветра солнца итд. Я в курсе что есть Frigate NVR, Blue Iris и прочие крутые системы наблюдения. Но мне хотелось своё, простое, где можно быстро что то исправить и настроить для себя.

Прошлая моя прога использовала в качестве детектора объектов Codeproject AI (https://codeproject.github.io/) сервер. В новой я оставил опционально поддержку cai, но основная детекция происходит в коде с помощью ultrlytics yolo11.