気の向くままに辿るIT/ICT/IoT
IoT・電子工作

ESP32-WROVER/OV2640/deep sleep/ボタン/ext0復帰で映像を表示

ホーム前へ次へ
ESP8266って？

ESP32-WROVER/OV2640/deep sleep/ボタン/ext0復帰で映像を表示

ESP32-WROVER/OV2640/deep sleep/ボタン/ext0復帰で映像を表示

2022/07/16

　先日アップした技適対応カメラOV2640付きESP32-WROVER-DEVボードで自作ライブカメラ(...ん？技適番号、該当ない？)は常時配信でした。

　それに対し、今回は、ビデオストリームを配信しつつ、カメラサーバ(ラズパイ等)にメッセージを送信、一定時間経過でdeep sleep、タクトスイッチ(タクタイルスイッチ)を押下した時にext0復帰するようにしてみた話。

[2023/08/04]

　技適対応と思いきや、リンク先に追記の通り、このカメラ付きESP32-WROVER-DEVボードは、標準ESP32ボードの技適番号が刻印されたものでした...。

　そこで送料込みで価格は倍以上も、自作予定の実用品用として今度こそと技適番号201-220052が刻印されているカメラ付きESP32-S3-WROOM-1開発ボードを購入。

技適対応OV2640カメラ付きESP32-WROVER~DEVでストリーム配信/ディープスリープ/ext0 wakeupデモ(タクトスイッチ押下前)

　タクトスイッチ押下前。

技適対応OV2640カメラ付きESP32-WROVER~DEVでストリーム配信/ディープスリープ/ext0 wakeupデモ(タクトスイッチ押下後)

　タクトスイッチ押下後。

　所定のSSIDに接続、IPアドレスやmDNSアドレスが払い出され、ストリーム配信開始(映像確認可)、タイマーでディープスリープ。

　同時に、映像がストリームされている旨をカメラサーバに通知すべく、UDPで送信。

技適対応OV2640カメラ付きESP32-WROVER~DEVでストリーム配信/ディープスリープ/ext0 wakeupデモ(シリアルモニタ拡大画像)

　Arduino IDEのシリアルモニタ拡大画像。

　ボタン押下後、毎回、DEEPSLEEP RESET(赤線部)後、SSIDに接続され、ESP32のディープスリープはスケッチのsetup()から始まります。

　ただし、スリープにはタイマーで入り、ボタンは、スリープからの復帰用、よってストリーム配信している任意の一定時間は、ボタン押下は(意味がなく)効きません。

目的

　何が美味しいの？

　これは、ドアカメラを想定してのことです。

　ドアベルのボタンを押した時に各種デバイスのブラウザから確認...も、もちろんできますが、それをやるなら常時配信などで。

　今回は、そうではなくて短時間ストリーム配信している間にカメラサーバであるラズベリーパイに「タクトスイッチ押されたよ」メッセージを無線(WiFi)送信。

　ESP32-WROVERボードの役割はここまで。

　ですが、それを受けてラズパイ側のPython/OpenCVで当該カメラの映像や画像を保存してしまおう。

　なんなら映像や画像添付しつつ、LINEに通知したり、メールで送信しちゃおっかなという話です。

　保存だけだと後になって過去の画像や映像を見て訪問があったことを確認することしかできませんが、スマホのLINEやメールに通知すれば、どこにいても、手があいていれば、すぐにでも確認できますしね。

　まぁ、それだけだと外出先から応対することはできませんが。

　ディープスリープすることにしたのは、電池駆動の可能性もあり、節電、CO2排出削減、地球環境保護、サステナブルな...。

方法

　さておき、これは、基本、PC内蔵カメラ|USBカメラ|Webカメラそのままでは、実現できず、IPカメラ|ネットワークカメラならでは。

　かと言ってスイッチ押下を示す任意のシグナルを送ろうにも市販のIPカメラ|ネットワークカメラではそうもいかず、自分でプログラムできるWi-Fiチップ搭載の技適対応のカメラOV2640付きESP32-WROVERボード含む、マイコン＋カメラならでは。

　日本で少なくともWi-Fi通信するなら技適対応済みというのもポイント。

　そんな美味い話あるの？

　これがあったんです。

　技適を通ったOV2640カメラ付きのESP32ボード、ストリームを無線を介して保存する方法、トリガーを無線を介して送信する方法があった、まさに3拍子揃って、これらを併用すればできちゃうというかできちゃった。

　あ、デーモン化にsystemdを使うとして4拍子か、いや、Raspberry Pi、Python、OpenCVとかの存在とか入れると...。

　というわけで、ここでESP32-WROVERボードがやるのは、通常はディープスリープ、ボタン押下で一定時間ストリーム配信、その通知をカメラサーバに出すまで。

スケッチ

// ESP32-WROVER+OV2640でストリーム配信
// タイマーでDeep sleep/タクトスイッチでext0復帰
#include "esp_camera.h"
#include <WiFi.h>
#include <ESPmDNS.h>
#include "soc/soc.h"           // Disable brownour problems
#include "soc/rtc_cntl_reg.h"  // Disable brownour problems
#include <WiFiUdp.h>
//
// WARNING!!! PSRAM IC required for UXGA resolution and high JPEG quality
//            Ensure ESP32 Wrover Module or other board with PSRAM is selected
//            Partial images will be transmitted if image exceeds buffer size
//
//            You must select partition scheme from the board menu that has at least 3MB APP space.
//            Face Recognition is DISABLED for ESP32 and ESP32-S2, because it takes up from 15
//            seconds to process single frame. Face Detection is ENABLED if PSRAM is enabled as well
 
// ===================
// Select camera model
// ===================
#define CAMERA_MODEL_WROVER_KIT // Has PSRAM
//#define CAMERA_MODEL_ESP_EYE // Has PSRAM
//#define CAMERA_MODEL_ESP32S3_EYE // Has PSRAM
//#define CAMERA_MODEL_M5STACK_PSRAM // Has PSRAM
//#define CAMERA_MODEL_M5STACK_V2_PSRAM // M5Camera version B Has PSRAM
//#define CAMERA_MODEL_M5STACK_WIDE // Has PSRAM
//#define CAMERA_MODEL_M5STACK_ESP32CAM // No PSRAM
//#define CAMERA_MODEL_M5STACK_UNITCAM // No PSRAM
//#define CAMERA_MODEL_AI_THINKER // Has PSRAM
//#define CAMERA_MODEL_TTGO_T_JOURNAL // No PSRAM
// ** Espressif Internal Boards **
//#define CAMERA_MODEL_ESP32_CAM_BOARD
//#define CAMERA_MODEL_ESP32S2_CAM_BOARD
//#define CAMERA_MODEL_ESP32S3_CAM_LCD
 
#include "camera_pins.h"
 
// ===========================
// Enter your WiFi credentials
// ===========================
const char* ssid = "SSID";
const char* password = "PASSPHRASE";
 
IPAddress local_IP(192, 168, 0, 250);
IPAddress gateway(192, 168, 0, 1);
IPAddress subnet(255, 255, 255, 0);
//IPAddress primaryDNS(8, 8, 8, 8); //optional
//IPAddress secondaryDNS(8, 8, 4, 4); //optional
 
WiFiUDP wifiUdp;
const char *remote_ip = "raspberry.local"; //送信先IP
const int remote_udp_port = 9998;             //送信先のポート
 
void startCameraServer();
 
const char common_name[40] = "esp32_wrover_cam";
const char *mdns_name = common_name;
 
unsigned long on_start;
const long on_time = 15000;
 
//RTC_DATA_ATTR int bootCount = 0; // RTCスローメモリに変数を確保
 
void print_wakeup_reason(){
  esp_sleep_wakeup_cause_t wakeup_reason;
 
  wakeup_reason = esp_sleep_get_wakeup_cause();
 
  switch(wakeup_reason)
  {
    case ESP_SLEEP_WAKEUP_EXT0 : Serial.println("Wakeup caused by external signal using RTC_IO"); break;
    case ESP_SLEEP_WAKEUP_EXT1 : Serial.println("Wakeup caused by external signal using RTC_CNTL"); break;
    case ESP_SLEEP_WAKEUP_TIMER : Serial.println("Wakeup caused by timer"); break;
    case ESP_SLEEP_WAKEUP_TOUCHPAD : Serial.println("Wakeup caused by touchpad"); break;
    case ESP_SLEEP_WAKEUP_ULP : Serial.println("Wakeup caused by ULP program"); break;
    default : Serial.printf("Wakeup was not caused by deep sleep: %d\n",wakeup_reason); break;
  }
}
 
void startWiFi() { // Start a Wi-Fi access point, and try to connect to some given access points. Then wait for either an AP or STA connection
  WiFi.disconnect(); //added to start with the wifi off, avoid crashing
 
//  if (!WiFi.config(local_IP, gateway, subnet, primaryDNS, secondaryDNS)) {
  if (!WiFi.config(local_IP, gateway, subnet)) {
    Serial.println("STA Failed to configure");
  }
 
  static const int local_port = 9998;  // ESP32-WROVER側のポート
 
  //  WiFi.softAP(ssid, password);             // Start the access point
  WiFi.mode(WIFI_STA);             // Start the access point
  WiFi.begin(ssid, password);             // Start the access point
  while ( WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.print("SSID \"");
  Serial.print(ssid);
  Serial.println("\" started\r\n");
 
  Serial.print("Connected to ");
  Serial.println(ssid);
 
  Serial.print("Camera Ready! Use 'http://");
  Serial.print(WiFi.localIP());
  Serial.println("' to connect");
 
  Serial.print("ESP Mac Address: ");
  Serial.println(WiFi.macAddress());
  Serial.print("Subnet Mask: ");
  Serial.println(WiFi.subnetMask());
  Serial.print("Gateway IP: ");
  Serial.println(WiFi.gatewayIP());
  Serial.print("DNS: ");
  Serial.println(WiFi.dnsIP());
 
  wifiUdp.begin(local_port);
}
 
void startMDNS() { // Start the mDNS responder
  MDNS.begin(mdns_name);                        // start the multicast domain name server
  Serial.print("mDNS responder started: http://");
  Serial.print(mdns_name);
  Serial.println(".local");
}
 
void setup() {
  WRITE_PERI_REG(RTC_CNTL_BROWN_OUT_REG, 0); //disable brownout detector
  Serial.begin(115200);
  Serial.setDebugOutput(true);
  Serial.println();
 
  camera_config_t config;
  config.ledc_channel = LEDC_CHANNEL_0;
  config.ledc_timer = LEDC_TIMER_0;
  config.pin_d0 = Y2_GPIO_NUM;
  config.pin_d1 = Y3_GPIO_NUM;
  config.pin_d2 = Y4_GPIO_NUM;
  config.pin_d3 = Y5_GPIO_NUM;
  config.pin_d4 = Y6_GPIO_NUM;
  config.pin_d5 = Y7_GPIO_NUM;
  config.pin_d6 = Y8_GPIO_NUM;
  config.pin_d7 = Y9_GPIO_NUM;
  config.pin_xclk = XCLK_GPIO_NUM;
  config.pin_pclk = PCLK_GPIO_NUM;
  config.pin_vsync = VSYNC_GPIO_NUM;
  config.pin_href = HREF_GPIO_NUM;
  config.pin_sscb_sda = SIOD_GPIO_NUM;
  config.pin_sscb_scl = SIOC_GPIO_NUM;
  config.pin_pwdn = PWDN_GPIO_NUM;
  config.pin_reset = RESET_GPIO_NUM;
  config.xclk_freq_hz = 20000000;
  config.frame_size = FRAMESIZE_UXGA;
  config.pixel_format = PIXFORMAT_JPEG; // for streaming
  //config.pixel_format = PIXFORMAT_RGB565; // for face detection/recognition
  config.grab_mode = CAMERA_GRAB_WHEN_EMPTY;
  config.fb_location = CAMERA_FB_IN_PSRAM;
  config.jpeg_quality = 12;
  config.fb_count = 1;
 
  // if PSRAM IC present, init with UXGA resolution and higher JPEG quality
  //                      for larger pre-allocated frame buffer.
  if (config.pixel_format == PIXFORMAT_JPEG) {
    if (psramFound()) {
      config.jpeg_quality = 10;
      config.fb_count = 2;
      config.grab_mode = CAMERA_GRAB_LATEST;
    } else {
      // Limit the frame size when PSRAM is not available
      config.frame_size = FRAMESIZE_SVGA;
      config.fb_location = CAMERA_FB_IN_DRAM;
    }
  } else {
    // Best option for face detection/recognition
    config.frame_size = FRAMESIZE_240X240;
#if CONFIG_IDF_TARGET_ESP32S3
    config.fb_count = 2;
#endif
  }
 
#if defined(CAMERA_MODEL_ESP_EYE)
  pinMode(13, INPUT_PULLUP);
  pinMode(14, INPUT_PULLUP);
#endif
 
  // camera init
  esp_err_t err = esp_camera_init(&config);
  if (err != ESP_OK) {
    Serial.printf("Camera init failed with error 0x%x", err);
 
    ESP.restart();
    
    return;
  }
 
  sensor_t * s = esp_camera_sensor_get();
  // initial sensors are flipped vertically and colors are a bit saturated
  if (s->id.PID == OV3660_PID) {
    s->set_vflip(s, 1); // flip it back
    s->set_brightness(s, 1); // up the brightness just a bit
    s->set_saturation(s, -2); // lower the saturation
  }
  // drop down frame size for higher initial frame rate
  if (config.pixel_format == PIXFORMAT_JPEG) {
    s->set_framesize(s, FRAMESIZE_QVGA);
  }
 
#if defined(CAMERA_MODEL_M5STACK_WIDE) || defined(CAMERA_MODEL_M5STACK_ESP32CAM)
  s->set_vflip(s, 1);
  s->set_hmirror(s, 1);
#endif
 
#if defined(CAMERA_MODEL_ESP32S3_EYE)
  s->set_vflip(s, 1);
#endif
 
  pinMode(GPIO_NUM_13, INPUT_PULLUP);
  pinMode(GPIO_NUM_4, INPUT_PULLUP);
 
  startWiFi();
  startMDNS();
 
  startCameraServer();
 
  delay(1000);
  on_start = millis();
 
  esp_sleep_enable_ext0_wakeup(GPIO_NUM_13, 0);
}
 
void loop() {
  wifiUdp.beginPacket(remote_ip, remote_udp_port);
 
  std::string str = "espcam1";
  uint8_t arr[sizeof(str)];
  std::copy(str.begin(), str.end(), std::begin(arr));
  wifiUdp.write(arr, sizeof(arr));
 
  wifiUdp.endPacket();
 
  if (millis() - on_start >= on_time) {
    esp_deep_sleep_start();
  }
 
  delay(1000);
}

　ESP32-WROVER-Eチップ搭載ESP32-WROVER-DEVボード側のスケッチは、こんな感じ。

　ベースは、Arduino IDEのESP32 => Camera => CameraWebServerというサンプルスケッチ。

　WiFiサーバの他、IP固定化及びmDNSとbrownoutとUDP送信対応し、SSID/PASSPHRASEを適宜編集、[#define CAMERA_MODEL_WROVER_KIT]行を有効にします。

　WiFi通信には、UDPを使っていますが、巷には[WiFiUDP.h]なるものもあるような情報もありますが、ここで使ったUDP用のヘッダファイルは、arduino-esp32の[WiFiUdp.h]なので要注意。

　IP固定はAndroidスマホ使用を想定したもの。

　全てAvahiやBonjourでmDNS(*.local)アクセスといきたいところですが、セキュリティの関係かAndroidは素直に対応していないので。

　IP固定にあたっては、オフィス内・宅内ルータ設定でDHCP配布範囲外のIPを設定、その範囲で割り当てのこと。

　あと、このESP32-WROVERボード、電源ON時、WiFiサーバ自体は、起動しつつ、カメラが落ちる(電源ON直後は、ハードウェアリセットしないとストリームを開始できない)ことに気づきました。

　よって対策として[esp_err_t err = esp_camera_init(&config);]の戻り値判定[if (err != ESP_OK) {}]内にESP32のソフトウェアリセット[ESP.restart()]を入れてあります。

2022/12/30

　電源投入時については、[ESP.restart()]では回避できず、ハードウェアリセットする必要がありました...。

　ESP32のディープスリープは、復帰後、setup()から始まるのでsetup(){}内に開始時間をセットすることで経過時間を計測、設定時間を経過していたらスリープ。

　それを踏まえ、ストリーム配信及びメッセージのUDP送信、一定時間経過後、ディープスリープ、タクトスイッチ押下でext0(1つのGPIOで)復帰。

　あとの味付けは、受信(カメラサーバ)任せ。

　尚、Arduino IDEにおけるボード設定は、ESP32 Wrover Board、Partition Schemeは、ESP32-CAM同様、RAMの関係でArduinoOTAは使えない[Huge APP(3MB No OTA/1MB SPIFFS)]。

ホーム前へ次へ

tegami あっと webzoit.net
2004-2008-someday