BirdNet-Go превратил камеры видеонаблюдения в определитель птиц по голосу
Автор домашнего проекта (публикует блог на jasontucker.blog) взял три уличные камеры видеонаблюдения со встроенными микрофонами и подключил их RTSP-потоки к BirdNet-Go, самостоятельно размещённой (self-hosted) программе на локальных ИИ-моделях BirdNET. Всё работает в Docker на собственном сервере или Raspberry Pi: без облачных сервисов, без обращений к внешним API и без ежемесячной платы. Система слушает звук постоянно и в реальном времени определяет вид птицы по пению; попутно она научилась ловить ещё и летучих мышей, и даже лягушек.
Недавно в галерею моделей BirdNet-Go добавили Google Perch v2, эта модель распознаёт 14 795 видов против 6000 у прежней BirdNET 2.4, и можно одновременно запускать несколько моделей для разных стратегий поиска или региональных баз видов.
Из функций: правила-оповещения на конкретные виды (например, мгновенное уведомление о появлении редкой птицы), отслеживание «новых для двора» видов, поддержка RTSP почти для любых современных IP-камер без покупки специального оборудования, интеграция с BirdWeather (сообщество, куда можно отправлять свои наблюдения для исследователей и других любителей птиц) и с Home Assistant через MQTT, а также визуализация уровня звука по каждому каналу, это помогает понять, что микрофон ловит ветер или гудящий кондиционер, а не птиц. Отдельно стороннее бесплатное приложение для iOS под названием BirdNET-Go Companion сделал разработчик Robert Oesterlin, оно подключается к домашнему серверу и показывает список детекций на телефоне.
За последние 12 месяцев система зафиксировала 418 726 детекций 271 уникального вида со средней уверенностью 60,9%; самой частой птицей в районе автора (Южная Калифорния) оказался домовый вьюрок (House Finch), 118 667 детекций. Среди курьёзов, однажды ночью Home Assistant прислал уведомление, что на подъездной дорожке обнаружен «пук»: система приняла за звук животного газы соседа, проходившего мимо на вечерней прогулке.
Отвечая на вопросы читателей с Hacker News и Reddit, автор уточнил: превратить систему в дверной звонок нельзя, но она может использовать поток уже существующего дверного звонка, если у того есть RTSP-выход; специализированный микрофон даёт заметно более точное распознавание летучих мышей, чем переоборудованные камеры; а для приватности микрофоны автоматически отключают запись, как только распознают человеческую речь.
Ключевые факты
- Три уличные камеры видеонаблюдения подключены по RTSP к self-hosted BirdNet-Go в Docker, без облака, без API-запросов и без ежемесячной платы
- Добавление модели Google Perch v2 расширило охват с 6000 видов (BirdNET 2.4) до 14 795
- За 12 месяцев: 418 726 детекций, 271 уникальный вид, средняя уверенность 60,9%; лидер, домовый вьюрок с 118 667 детекциями
- Есть алерты по видам, трекинг новых для двора видов, интеграции с BirdWeather и Home Assistant, а также бесплатное стороннее iOS-приложение от Robert Oesterlin
- Из ограничений: систему нельзя сделать дверным звонком напрямую, для точного распознавания летучих мышей нужен отдельный микрофон, а речь автоматически вырезается из записи ради приватности
Почему это важно
История показывает, как далеко зашли локальные open-source модели для нишевых бытовых задач: оборудование, которое уже стоит у человека дома (камеры с микрофонами), плюс бесплатный self-hosted инструмент дают результат, который раньше требовал бы облачного сервиса или специализированного устройства. Расширение охвата новой моделью Google Perch v2 до 14 795 видов, заметный скачок в качестве open-source-распознавания звуков природы.
Кому это важно
В первую очередь, сообществу домашних энтузиастов (homelab): у кого уже есть IP-камеры с RTSP и микрофонами, кто интересуется птицами или просто любит собирать данные о собственном участке. Это личный проект одного человека, а не коммерческий продукт или релиз компании, так что практическая ценность, в первую очередь как готовый рецепт, который может повторить любой обладающий похожим набором оборудования.
Как это применить
Нужна IP-камера с микрофоном и RTSP-потоком (подходит большинство современных моделей), сервер или Raspberry Pi для запуска Docker-контейнера с BirdNet-Go, и всё, специальное оборудование покупать не требуется. По желанию подключаются алерты на конкретные виды, интеграция с Home Assistant по MQTT, отправка наблюдений в BirdWeather и сторонний iOS-компаньон для просмотра детекций с телефона.
Можно ли доверять
Это личный рассказ одного пользователя, а не независимый тест или научная публикация: цифры (418 726 детекций, 271 вид) приведены им самим, без внешней проверки. Средняя уверенность распознавания, только 60,9%, и автор прямо говорит, что не является орнитологом-экспертом, а просто человеком с большим количеством птиц вокруг дома, то есть часть детекций наверняка ошибочна.
Риски и подводные камни
Автор вывел веб-интерфейс системы в публичный домен (за Cloudflare) и дал доступ друзьям, это расширяет круг тех, кто видит данные о звуках у его дома. Заявленная приватность держится на том, что микрофоны отключают запись при обнаружении речи, но это программное решение, а не физическое отсутствие микрофона. Точность ограничена: средняя уверенность 60,9%, для летучих мышей нужен отдельный специализированный микрофон, а превратить систему в дверной звонок напрямую нельзя.
«Признаться, этот проект меня удивил. Я думал, будет просто любопытно, и через неделю мне наскучит. Вместо этого мы с женой проверяем его каждый день.»
— автор блога jasontucker.blog