Sony Semiconductor Solutions (SSS) и Raspberry Pi анонсировали новую AI-камеру со встроенным AI-процессором. Камера, совместимая со всеми компьютерами Raspberry Pi, построена на основе интеллектуального датчика машинного зрения Sony IMX500.
MX500 имеет встроенную обработку искусственного интеллекта, позволяющую разгрузить функциональность искусственного интеллекта из Raspberry Pi. Sony сотрудничает в области периферийного искусственного интеллекта с Raspberry Pi с тех пор, как в апреле 2023 года приобрела миноритарную долю в разработчике одноплатных компьютеров (SBC). С тех пор обе компании работают над разработкой периферийной платформы искусственного интеллекта для разработчиков Raspberry Pi.
Искусственный интеллект в образовательном пространстве
Raspberry Pi был впервые выпущен в 2012 году как недорогой образовательный SBC. С того времени организация выпустила более десятка моделей и микроконтроллер собственной разработки. SBC работают на Linux и большинстве других операционных систем и процессорах, совместимых с Arm.
Миссия Raspberry Pi Foundation заключается в том, чтобы помочь обучить студентов и других людей вычислительной технике. Компьютеры Raspberry Pi достаточно интуитивно понятны для пользователей с ограниченным опытом. Тем не менее, они достаточно мощны и хорошо документированы, чтобы ими могли пользоваться как продвинутые энтузиасты, так и профессионалы. Благодаря тому, что AI-камера IMX500 попадет в руки организации и сообщества пользователей Raspberry Pi, обработка изображений с помощью искусственного интеллекта будет доступна гораздо большему количеству людей, чем если бы она была предложена практически на любой другой платформе.
Ключевые особенности камеры Raspberry Pi AI
В камере используется интеллектуальный видеодатчик IMX500 со встроенной обработкой контуров. Интеллектуальный датчик предназначен для захвата изображений и их обработки перед отправкой данных на главный компьютер. Датчик построен в многоуровневой конфигурации со встроенной памятью SRAM и модулем цифровой обработки сигналов (DSP).
Другие ключевые особенности камеры с искусственным интеллектом:
- Разрешение 4056 x 3040 (приблизительно 12,3 мегапикселя)
- Диагональ 7,857 мм с соотношением сторон 1/2,3
- Видео 1080p со скоростью до 240 кадров в секунду
- Полное видео с обработкой AI со скоростью 30 кадров в секунду
- Встроенная обработка искусственного интеллекта, ISP и HDR-видео
- Размер входных данных тензора от 64 x 48 до 640 x 480 (int8 или uint8)
- 8,4 Мбайт памяти для встроенного ПО и рабочей памяти
- Полные размеры камеры: 25 мм × 24 мм × 11,9 мм с монтажными отверстиями, совместимыми с модулем камеры Raspberry Pi 3
Камера захватывает как видео, так и неподвижные изображения с тензорными метаданными, не нуждаясь в помощи хост-процессора Pi. Эта функция позволяет создавать мощные системы машинного зрения с искусственным интеллектом без использования специализированных сопроцессоров. Программная поддержка тензорных метаданных уже доступна в библиотеках libcamera и Picamera2, а также в пакете приложений rpicam-apps.
Поддержка Raspberry Pi
Поддержка всегда была одной из сильных сторон Raspberry Pi, и эта камера не исключение. Как и в случае с другим оборудованием Pi, камера с искусственным интеллектом поставляется с обширной документацией по настройке и применению.
Установка будет знакома любому пользователю Raspberry Pi, так как для завершения установки потребуется всего одна операция командной строки Linux. Работа после настройки может начаться сразу же с использованием прилагаемых примеров.
Инструменты разработки AITRIOS
Камера Pi AI предназначена не только для производителей и хобби. Он совместим с платформой разработки датчиков искусственного интеллекта AITRIOS от Sony. AITRIOS — это коммерческая платформа искусственного интеллекта для разработки систем искусственного интеллекта в области Интернета вещей (IoT). AITRIOS предназначен для безопасной обработки больших объемов данных с уменьшенной задержкой при передаче, обработке и анализе данных. AITRIOS сочетает в себе поддержку различных устройств ввода с приложениями и поддержкой облачных технологий.
Как получить камеру Raspberry Pi AI
Камера уже доступна у авторизованных реселлеров Raspberry Pi и планируется оставаться в производстве до января 2028 года. Программное обеспечение доступно на веб-сайте Raspberry Pi, сайте Pi GitHub и на ряде сторонних сайтов GitHub.
Источник: https://www.allaboutcircuits.com/news/raspberry-pi-teams-up-with-sony-to-launch-ai-camera/
