Orange Pi Zero 3でJulius/Open JTalkスマートスピーカーを作る

Orange Pi Zero 3でJulius/Open JTalkスマートスピーカーを作る

　Orange Pi Zero 3で音声認識エンジンJulius、音声合成Open JTalkによるスマートスピーカーを自作してみるページ。

　というか、実は、購入から5年、監視カメラとして仕込み中だったラズパイ3B+をショートさせて壊してしまい、Raspberry Pi/Julius/Open JTalkスマートスピーカーでも使っていた同じく5年ほど経過の3B+を使うべく、これをOrange Pi Zero 3に交代させた話。

　サーバ用に購入から7年半ほどの2Bを3B+を入れ替えたりしていて2Bが余っているときに監視カメラに音声を加えた時点で厳しさを感じ、ラズパイはここ数年入手困難、価格高騰が続いてる中、更に急激な円安の煽りはある...。

　が、正常に流通時のラズパイ3B+と同程度でRAM4GBが手に入るのならOrange Pi Zero 3を使うのもありかと血迷って買ってしまったものの、監視カメラにハードもソフトもがっつり大陸製っていうのもという点もありつつ、サーバで使っていた3B+を2Bに代え、結果、試すと上々だった3B+でいくことにして、あとは検証かなというところで壊した...。

　ほぼできていたこと、ラズパイ用IRスポットライト付きナイトビジョンカメラも買っていたこと、監視カメラは外用なので配線を考えた際、LANケーブル1本で電源供給もできるようにと他用途は思いつかないながら新たにPoE+ハブとPoE+スプリッタの導入を決め、後者はmicroUSBタイプを買ったのでmicroUSB-Type Cアダプタの存在はともかく、防犯カメラには、ラズパイ3B+を使いたかった次第。

• Orange Pi Zero 3/Debian bookwormサーバベースOrange Pi OS
• JuliusとOpen JTalkの準備
• 各種設定ファイルをコピー
• apt installしたパッケージ
• pip installしたパッケージ
• mDNSアドレス解決できない問題をlibnss-mdnsで解決
• pipでexternally-managed-environmentエラー
• virtualenvを追加インストールし解決
• virtualenvゆえモジュールが認識されない問題を解決
• visudoでNOPASSWD設定
• プッシュスイッチによるreboot/poweroff回路
• Orange Pi Zero 3 RAM4GBボードをRAM2GBボードに移行

Orange Pi Zero 3/Debian bookwormサーバベースOrange Pi OS

　今回ベースとするOrange Pi Zero 3のOSは、動作確認に利用した公式の1つDebian bookwormサーバベースのOrange Pi OS、これを元にスマートスピーカーに仕立てていきます。

　orangepi-configでtimezone、localization、hostnameなど設定済み。

　また、orangepi-configでAVAHIインストール済み(も後にlibnss-mdnsなど追加インストールを要しました)。

　技適を通っていない内蔵Wi-Fiは使わず、LANケーブルを接続、有線LANでネットワークを確保、念の為、IPを固定。

　Orange Pi Zero 3には、Zero系用拡張ボードも搭載、Zero 3では同ボード上のマイクは使えないものの、ラズパイスピーカーで使っていたマイク内蔵USBカメラを使用するので問題なし。

　スピーカーも別電源をとった冷却ファンもラズパイの時と同じものを流用。

　動作確認で使用した起動・システム用デバイスは、32GBのUSBメモリ、ラズパイ時のSSD 120GBに差し替えても良かったものの、十分いけてるのでUSBメモリをそのまま採用。

　今までスマートスピーカーとして使っていたRaspberry Piからリポジトリも大陸上のクラウドなOrange Pi Zero 3への変更なので途中インストールするであろうパッケージのことを考えると単にUUIDを書き換えて運用中だったSSDを持ってきて差し替えれば良いという話ではないのでスマートスピーカー機能を一から導入。

JuliusとOpen JTalkの準備

　Open JTalkは、Open JTalkの通りでリポジトリからのインストールで簡単に最新版(と言っても2018年12月25日付ver1.11)が入ります。

　一方、バージョン4.4、4.5、4.6、OSS、ALSA、PulseAudioと変遷し、だいぶ慣れたはずのJuliusの./configureで少し苦戦。

　path/to/に移動、4.6をgit clone、julius/にcd、./support/config.guessの出力から--buildオプション値を求め、PulseAudioを使いたいので、./configure --build=aarch64 --with-mictype=pulseaudioとして実行してみると...。

　pulseaudioのヘッダファイルがないとか、libsentがないとか...。

　4.5も4.6も--with-mictype=alsaなら./configureは通るもmakeでつまづき...

　ならばと、まず、pulseaudioから対処してみるか、うまくいけば、よくわからないlibsentの件も解決してくれるでしょ。

　ありゃ、そもそもPulseAudio入れてないじゃん...と入れてみるも変わらず...。

　ヘッダファイルならlibなんちゃらpulseにdevとかつくやつでしょということでapt-search .*pulse*してみると、まさに[libpulse-dev - PulseAudio client development headers and libraries]とか[libpulse0 - PulseAudio client libraries]があり、dpkg -lしてみると後者はあるも前者がないのでインストール。

　すると見事、./configureもmakeも通り、sudo make install。

　つまり、apt install libpulse-devしてから、JuliusをインストールすることでJuliusバージョン4.6のインストールが無事完了。

　続いて以下を取得、展開(今回使用しない2つめはとあるファイルだけあればよいのですが)。

• 日本語自動口述筆記キットJapanese Dictation Kit
• 文法認識ツールキットRecognition Grammar Toolkit
  (julius/julius-kits/grammar-kit/bin/linux/mkgshmmをjulius/mkgshmm/にコピー)

　Grammar Toolkitは、今尚、gitからでよいのですが、Dictaition Kitは現在は未確認も当時、gitだとエラーになった為、別途v4.4を取りに行ってますが、試したところ、既に4.4はなく、4.5のダウンロードページに遷移しつつ、その4.5はどうにもダウンロードできず...。

　ということで自身は、ラズパイスマートスピーカー専用機の他にもdynabook/Debian bookworm、Raspberry Pi 400/Raspberry Pi OS bullseyeパソコンにも同スマートスピーカー機能を入れており、ここからコピーすることに。

　が、ラズパイスマートスピーカーで使っていたSSDにはv4.5が入っていたのに間違えて結果、ラズパイ400パソコンに入っていたv4.4をscpしてしまいました。

　実用上問題ないですけどね。

各種設定ファイルをコピー

　JuliusとOpen JTalkをインストールができたので続いてラズパイスマートスピーカーで使っていたSSDをマウントし、前述のDictation Kit類以外に次のようなファイル群をコピー。

• Julius辞書ファイル
• 音声操作用スクリプト
• Open JTalkによる発話スクリプト
• systemdユニットファイルとそこから呼ぶスクリプト(各種操作用)
• systemdユニットファイルとそこから呼ぶスクリプト(物理ボタンによるreboot/shutdown用)
• YouTubeプレイリストダウンロードに一定期間を持たせるためのダウンロード日付ファイル
• スマート化した家電やスマート家電、音楽、radikoの再生・停止、天気、日付などの再生等々の操作スクリプト群
• smb_credentialsファイル

　もちろん、自作スクリプト含め、コピー元とコピー先で各種パスを一致させておかないと後で修正が必要になるので注意のこと。

　/mnt以下にSamba用マウントポイントを作成、これを踏まえ、sudoなしでマウントできるよう/etc/fstabにSambaサーバマウント設定行を追記。

　リッピング音源再生などにおいてサーバをマウントできるかという判定もしている為。

apt installしたパッケージ

　apt installしたパッケージ。

　tightvncserverはVNCサーバとする為ですが、ディスプレイ関係のエラーが出る場合はtigervncの方が吉かも。

　pulseaudioはオーディオサーバとして使うので、libpulse-devはヘッダファイルがないとエラーが出たので。

　open-jtalk系は音声合成の主役、hts-voice-*は何も考えなくともmeiさんを入れるディレクトリを作ってくれるので。

　python3-pipはpipパッケージを使う為。

　smbclientとcifs-utilsは、Sambaサーバ上にリッピング・保存した音源アクセス用。

　ffmpegはffplay目的、そして(当初使用のmplayerから移行した)mpvともに音源再生用。

　libwww-perlは、pythonに移行しつつ、数少なくなったperlスクリプト用。

　avahi関連とlibasound2-devは、果たして必要だったか謎。

pip installしたパッケージ

　pip installしたパッケージ。

　virtualenv(aptにpython3-venvもある)は、externally-managed-environmentエラーの解決策として。

　yt-dlpはYouTubeのプレイリストダウンロードの為、yt-dlpに代替されたyoutube-dlは名残でなんとなく。

　beautifulsoup4、requests、scapy、feedparser、lxmlはオリジナルスクリプトで必要なライブラリだったので。

mDNSアドレス解決できない問題をlibnss-mdnsで解決

　追加でapt installしたパッケージ。

　冒頭、orangepi-configでAvahiは入れてあり、systemdユニットファイルとしてavahi-daemonもあり、restartしても名前解決に失敗することがあったため、解決策として。

pipでexternally-managed-environmentエラー

　pipコマンド使用中にお初にお目にかかるexternally-managed-environmentエラーに遭遇。

　Troubleshooting 'Externally Managed Environment' Error in Debian 12 Pip3 Installationにいくつかの選択肢がある模様。

　aptで代替できるパッケージを探す、aptでpython3-venv(pipならvirtualenv)を使用、aptでpipxをインストールして利用、EXTERNALLY-MANAGEDファイルの削除といった対策があるとのこと。

　他の情報として4つめと似た[break-system-packages = true]を設定するという5つめとなる策もありました。

virtualenvを追加インストールし解決

　複数あるpipでexternally-managed-environmentエラー対策の内、1つめは限界がありそう、3つめは興味はある、4つめや5つめは乱暴に見える...。

　結果、リンク先も推奨していた2つめの方法が妥当に思えたのでvirtualenvを追加インストール。

　コマンドラインからの指定は一時的なようだったので恒久策として~/.profileに追記することにしました。

　結果、externally-managed-environmentエラーが出ることはなくなり、解決しました。

virtualenvゆえモジュールが認識されない問題を解決

　virtualenvを追加インストールによって解決したpipでexternally-managed-environmentエラー問題ですが、これに起因してpipでインストールしたはずのモジュールが見つからない状況に遭遇(自身のケースでは、requires)。

　名前の通り、仮想環境ですし、pip installしたパッケージやライブラリは、先ほど~/.profileにも追記した通り、~/.path/to以下にあるはず。

　探してみると実行可能なパッケージは、~/.path/to/bin/以下に、ライブラリは、~/.path/to/lib/python3.11/site-packages/以下にありました。

　このパスを探索してもらうためには...と検索するとPYTHONUSERBASEが使えそうということで~/.profileに追記。

　その後、sourceではなく、ログインし直してみたところ、ライブラリが見つからない問題が解決しました。

　site — Site-specific configuration hookを見るとvirtualenv環境もsite-packagesの場所もコマンド一発でわかるんですね。

　ただ、自身の環境においてスマート家電である空気清浄機の操作を自前で行った際、arpコマンドに管理者権限が必要で同機操作の際、sudoを要することに。

　sudoを使う＝管理者権限＝rootには、現時点で先のパスが見えないので対処する必要が。

　前掲2件の公式ドキュメントをたどると.pthファイルを配置する方法があり、他の手がないか探してみようか、しばし悩んだものの、スマートスピーカー専用機だし、いっかということでrootのsys.pathの1つに/home/xyz/.path/to/lib/python3.11/site-packagesとだけ書いたxyz.pthファイルを配置することに。

　デフォルトのrootのsys.path。

　localな感じから/usr/local/lib/python3.11/dist-packages以下に探索して欲しいパスを書いた任意の名前の.pthファイルを置くことに。

　rootのsys.pathの1つに.pthファイルを配置後。

　期待通り、.pthファイルに記載したパスがrootのsys.pathに追加されました。

　結果、sudoを使った空気清浄機操作スクリプトの実行もできるようになり解決しました。

visudoでNOPASSWD設定

　visudoでNOPASSWD設定。

　本来はタブー、やるにしても特定コマンドに絞ってやるべきところですが...。

プッシュスイッチによるreboot/poweroff回路

　物理ボタン回路によるreboot/poweroffのGPIOをラズパイ用から適宜書き換えていきます...

　が、ざっと検索して唯一無二と思っていたwiringPiっぽいwiringOPもwiringOP-Pythonも、その他大勢もLinuxにおいて、そのベースとなる技術sysfsが非推奨となり、置き換えられている真っ最中のようで利用できたとしても、かなり面倒なことになりそうです。

　Orange Pi Zero 3でGPIO操作する方法を模索、WireingPiもwiringOP-Pythonもsysfs問題でlibgpiod/libgpiod2への移行過渡期な模様で、さてどうしたものかと思っていましたが...。

　Raspberry Pi zero/Raspbian Busterでの話ながら、ShellスクリプトでWiringPiコマンドを使う再起動とシャットダウンをプッシュスイッチで行えるようにするなら、今時点でもいけることが判明。

　それをこんな風にアレンジ。

　ラズパイと違ってオレンジパイでは、プルアップ|プルダウン時、内部ではなく外部にプルアップ|プルダウン抵抗が必要とのこと。

　今回は、ボタンOFFでHIGHに固定、ONでLOWとすべく、3.3Vと当該GPIOピン9及び10(共にgpio readallのwPi値)間にプルアップ抵抗(今回は10k)を入れることにしました。

　また、再起動の際は、LEDを点滅(1秒毎のON/OFFを3回)、電源断では3秒点灯としました。

　リンク先では実行権限を付与した上、/usr/local/binにおいてバックグラウンド起動させていましたが、ここは従前ラズパイでやっていた時と同様にsystemdユニットファイルで永続的に自動起動させることに。

(筆者メモ ヘッダ:橙/灰/青/黄/赤 wPi/GPIO:6/GND/9/10/3.3V 橙/紫/黄/青...ヘッダの赤:GPIO プルアップ用3.3V。)

　物理スイッチは、ちょっと大きめですが、100均の名刺入れに初めて使った大きめのタクトスイッチと差し込みのコネクタヘッダ用の穴をあけ、再起動・パワーオフでそれぞれ点滅・点灯する共用のLEDはグリーンとし、こんな感じになりました。

　スマートスピーカーを載せてある食器棚の横板に先代ラズパイの同回路を引っ剥がし、粘着力十二分なナノテープはそのままに差し替えて貼り付けました。

　尚、poweroffコマンドを使ったシャットダウンですが、(ラズパイではUSB給電も一瞬、断されつつ、即通電という感じでしたが、Orange Pi Zero 3では、)緑のLED点滅が終わり、赤LEDが消えてもUSBへの給電は継続されるようでスピーカーの電源LEDも点灯したまま、ACアダプタに付属するスイッチは筐体内にあり、ON/OFFは、ラズパイの頃からACアダプタを挿しているスイッチ付き電源タップで行っています。

　後述のようにGPIOライブラリを使ったPythonスクリプトでもいけそうながら完成に至らず、当面、このShellスクリプト版で凌ぐことにします。

　というか、ラズパイの時と同様に再起動ボタン機能もつけているものの、Orange Piシリーズ、どうやら以前からEthernetのチップに起因するバグがある模様ながらカーネルによっては動くという話もあるようなので事実なら原因はカーネルということになりますが、ソフトウェア的なreboot(rebootやshutdonw -r now)コマンドだと再起動自体はするものの、IPアドレスが割り当てられないという事象に遭遇しており、未解決、結果、後述の通り、あえて使っていたイーサネットのみ見舞われる症状なのでUSB Wi-Fiアダプタへの変更を要しました...。

　尚、shutdown -h nowの時は、Orange Pi Zero 3の緑のアクセスランプは最終的に消灯、赤LEDも点灯しない、一方、reboot/shutdown -r nowの時は、アクセスランプ消灯後に赤LEDが点灯、アクセスランプが再び点滅しているので、再起動はしているはず。

　これを確認していたので最初からネットワークの問題だろうとあたりを付けて検索してみると、その情報は限られ、というか先のリンクを見つけた時点で探すのをやめたからかもしれませんが、たいていは、カーネルやmicroSDカードの品質への言及止まりのようでした。

　ただ、イーサネットチップに起因するとまでは思っておらず、Orange Pi Zero 3で無線LANドングルを使えることは確認済みなので試してみたところ、端末からのsudo rebootでも普通に再起動することを確認しました。

　今日まで再起動させたことがなかったのでOrange Pi Zero 3の再起動にこんな罠があること自体気づきませんでした。

　自身の場合、自作スマートスピーカーとして、あえて有線LANで使っていたのですが、これを機に少なくとも本件が解決するまでの間、固定IP用のネットワークインタフェースもend0からwlan0にし、無線LANに切り替えることにします。

　そこで、また、ちょっとハマったのが、Orange Pi系においては、/etc/dhcpcd.confでも/etc/network/interfaces(.d)でもなく、nmtuiかnmcliで設定する必要がありました(そうしないと無線LAN用に固定IPを割り当てられませんでした)。

　デスクで一通り動作確認した後、他の用途で使ったりして、今日、久々に自作スマートスピーカー設置場所に配置、nmapに固定IPに表示されるこもあるも、それでさえ、ssh接続できない事態に。

　原因は、デスク付近にあるAPに接続したことで、そう離れているわけでもないものの、環境がよろしくないようで自作スマートスピーカー設置場所では、無線接続できない、できても際どい状況による模様で結果、より近いAPに接続することで安定稼働するようになりました。

　設置場所付近では、デスク側APに接続して安定稼働しているESP32ボードなどもいくつかあるのですが、このWi-Fiアダプタは、数年前の購入当初から場所を選ぶ繊細さがあったので。

　さておき、それよりも、nmtuiを使った場合、設定した有線なり、Wi-Fiの設定後は、画面を1つ戻ってアクティベートする必要があるので要注意。

　この際、Orange Pi Zero 3なのか、他のシリーズもなのか、ユーザーマニュアルにあるように必要ないはずという理由で有線と無線両方使うことができないという仕様であるからか、何れかをアクティベートすると他方は(少なくとも再アクセス時には[*]が外れ、)自動でアクティベート解除されるようです。

Orange Pi Zero 3 RAM4GBボードをRAM2GBボードに移行

　自作中のテレビドアホンへの使用を見据え、新たにOrange Pi Zero 3 RAM2GBを買い、このページの通り、7ヶ月ほど前にスマートスピーカーとして仕立てたRAM4GBは、ややオーバースペックではあったのでRAM2GBボードに入れ替えることにしました。

　もう1台調達しようかと思っており、新たに買うボードがRAM1GBな場合、もしかすると、また入れ替えるかも。

　尚、RAM4GBボードは、タッチパネルと併用、ドアホン親機モニタにしようかと。

　 => [2024/05/11]　Orange Pi Zero 3でHDMI接続7inchタッチパネルを使う。

　RAM4GBボードでも薄々感じていたことながら、差し替えたRAM2GBもダウンロードが遅い...。

　構成上、ラズパイ3B+だった頃との違いと言えば...、CAT5以下と思しき100Mbps有線LAN or ラズパイ内蔵無線LANとオレンジパイゼロ3の150Mbps USB無線LANドングル、もしくは、ラズパイではSSDとオレンジパイゼロ3ではUSBメモリという点。

　何れもダウンロードやダウンロード後のストレージの読み書きの影響が大きいのでCAT6(1Gbps)以上のLANケーブルで有線、ストレージはSSDに変更してみるのが良さ気。

関連リンク