Мексиканский инженер сделал «слепой фотоаппарат», который «слушает» предметы (3 фото + 1 видео)

Камера ориентируется на звуки вокруг и с помощью искусственного интеллекта создает снимки.





Мексиканский инженер Диего Трухильо Писанти разработал оригинальную цифровую камеру, лишённой привычного объектива. Вместо использования датчика для улавливания света устройство ориентируется по звуковой картине окружающей обстановки, создавая изображение на её основе.



В общих чертах необычный аппарат под названием Blind Camera используется как обычная камера. Достаточно навести его на объект, и нажать кнопку спуска затвора. В передней части устройства установлен рупор, который используется для усиления улавливаемых звуков.

Обработав данные, специальный ИИ-алгоритм формирует готовое изображение. В качестве аппаратной платформы используется модуль Raspberry Pi 3B, оснащённый небольшим экраном, который выполняет роль видоискателя. Последний также информирует пользователя о процессе обработки и отображает сгенерированную картинку.



По словам Писанти, он создал пользовательскую искусственную нейронную сеть (ANN) с использованием Python 3 и обучил её с помощью видеороликов, записанных в окрестностях Мехико. Модель была создана путём анализа каждого кадра и сопровождения его последней секундой аудиоряда. Это помогло создать ассоциации звука и видео, которые система может использовать для создания изображений. Сейчас все созданные аппаратом «фотографии» в значительной степени основаны на образах города.