以前、作って運用しつつもブラッシュアップ中のRaspberry Pi 3 Model B+とJulius、Open JTalkベースの自作スマートスピーカーがあります。
主な機能は、
尚、ラズパイ用ACアダプタを挿したスイッチ付きコンセントでのON/OFFとは別にラズパイ用boot/reboot/shutdown物理ボタン付き。
音声認識にJuliusを使った自作スマートスピーカーに伝言とメモの機能を実装するにあたり、マイクとスピーカーを専有してしまうOSSやALSAからPulseAudioに移行しました。
ちなみに便利なのでラズパイだけでなく、PC/Debianにも自作スマートスピーカー機能を搭載しています。
自ずとモニタ付きとなるPC版スマートスピーカーには、PC及びラズパイ双方のスマートスピーカー機能のデスクトップアプリとしてPyQt5/Qt Designerによる操作パネルも作成しました。
今回は、ラズパイにはモニタを搭載していないものの、スマートスピーカーを載せたノートPC(OS:Debian)用、また、このノートからラズパイのスマートスピーカー機能をマウスで遠隔操作すべく、GUIツールキットであるPyQt5/Qt Designerでスマートスピーカー用の操作パネルを作ってみることにしました。
前回、Gtk+ 3で作ってみたのですが、PyGtkの情報はそこそこあるもデザイナーソフトGladeの情報が少なく、tabウィジェットの作り方に詰まり、他を探してみた次第です。
が、Qtの方は、Qt Designerの情報は結構ある上、直感的にレイアウトでき、親しみやすさがある一方、PyQt5の(PyQt4/PyQt3含めても)情報が少なく、一長一短...。
ただ、Designerの情報があれば、PyQt5の情報が少なかったとしてもPython自体の文法で、なんとかなるだろうということでPyGtk/GladeからPyQt5/Qt Designer(Qt5Designer)に乗り換えることにしました。
ちなみに自身は、Pythonを一通り身につけているわけではないものの、より身近なPerl版は、更新が活発でなかったり、情報が少なかったり、Rubyは門外漢、コンパイルが必要なC/C++よりはインタプリタ...という消去法の結果ながら、機械学習、ディープラーニング、AIとも相性が良さそうという理由もあってPythonバインディングを選択しました。
ありもののGUIを見ていた限り、ユーザー視点からはGtkの方が好みでQtはちょっと...と思っていたのですが、作ってみるとそんな差は全く感じないルック&フィールに、なんで出来合いのものは、差を感じるのか不思議...。
今尚活発に開発が進んでいるという点では、ある程度、限られるものの、そもそもGTKやQtだけでなく、GUIツールキットは、クロスプラットフォーム対応のものだけでも結構あるようです。
尚、PyQt5は、商用利用の場合は、有料、個人利用では、無償で利用が認められているようです。
自身はOSにDebian( GNU/Linux)を使っており、pip/pip3やapt/apt-getどちらもいけるようですが、前者でつまづいたので後者で環境を用意することにしました。
尚、パッケージ名は、直感的とは言い難く、若干試行錯誤した結果、パッケージ[qttools5-dev-tools]があれば、PyQt5自体のコードは書け、これにパッケージ[qt5-default]を追加インストールすると[designer](Qt5Designer用コマンド)も、更に[pyqt5-dev-tools]をインストールすると[pyuic5](Qt Designerで生成される.uiファイルをpythonコードに変換するコマンド)も使えるようになりました。
QtDesigner/Qt5Designerを起動するには、[designer]コマンドを実行します。(Debianではインストールした時点でPATHが通ってました。)
気づけば、デスクトップのメニューには、Qt Designerの他、Qt Linguist、Qt Assistantなるものも登録されていたので、併せて起動してスクリーンショットを撮ってみました。
[designer]コマンドの実行でQt Linguist、Qt Assistantが一緒に起動するわけではないのであしからず。
QtDesigner/Qt5Designerで作成したtest.uiファイルを[pyuic5]コマンドでtest.pyに変換するには、こんな感じで実行します。
この方法だと.pyファイルに反映させたい場合、Qt Designerで編集・変更する度に変換作業を要する[pyuic5]での変換が必要になります。
一方、PyQt/PyQt5では、[pyuic5]で変換する方法とは別に[uic]モジュールをimportすることで.uiファイルを読み込む方法も用意されています。
.uiファイルを読み込む方法なら、Qt Designerで保存後にスクリプトを起動させれば、即反映されますし、仮にスクリプトが起動中なら一度終了させ、起動し直せば反映されるのでアジャイル的な作り方をする場合、便利です。
試作中の自身は、主にこの[uic]モジュールをimportする方法をとっています。
スマートスピーカーの性質上、時代に逆行している感がなくもないですが、スマートスピーカー機能をデスクトップアプリとしても使うことができると便利なシーンもあるかなと思っての試作です。
今回は、試作的にコンボボックスを選択することでYouTubeの音楽系プレイリストやICECASTの音楽系のストリーム、音楽タブとしながらも入れてしまったRadikoの各種ラジオ局を再生、プレイリスト再生のYouTube用にスキップボタン、全ての停止操作を網羅した停止ボタンを配置してみました。
画像では隠れてしまいましたが、これは、コンボボックス(プルダウンボタンの付いた表示ボックス)を開いたところです。
また、画像のリストは途中で切れてますが、実際にはもっと選択肢があり、全て動作確認済みです。
何れにせよ、あとでタブを追加して音楽とRadikoは分けようと思います。
当初、comboboxの値に応じて再生ボタンで...と思ったのですが、どうもできないっぽかったので選択で再生にしました。
これらのレイアウトは、Qt Designer(designerコマンド)で行ないました。
尚、自身の場合、ラズパイとノートPC共にスマートスピーカー機能を入れているので、コンボボックスと各ボタンをそれぞれ用意しました。
pythonスクリプトはこんな感じです。
一応、動作確認も。
GUIオブジェクトに対するコーディングに必要なものはimportしてあり、uicのimportと[self.ui =]行でQt Designerで作成した.uiファイルを指定してあるので、このpythonスクリプトからは、.uiファイル内のオブジェクトを、self.ui.objectName(objectNameはオブジェクトのプロパティの1つ)で参照できます。
PythonでGUIを調べるとTkinter/tkinterの情報が当たり前のようにでてきますが、PyQt5では、内部でこれを使っているのか否かはわからないものの、QtCore/QtGui/QtWidgets、QtWidgetsからQApplicationをimportすることで[uic]のインポートと.uiファイルを指定した、もしくは、[pyuic5]コマンドで変換したスクリプトでGUIを扱うことができるようになっています。
ちなみにスクリプト中のリストは少ないながら面倒だったので、スマートスピーカーで音声認識させるべく、Juliusで登録してある自前の辞書ファイル(utf-8版)を使ってcatとawkによる、こんな感じのワンライナーで手間を省き、微調整しました。
日々、つくづく思う(感謝しきりな)ことですが、あらゆる開発環境が揃っていて自由で、何でもやろうと思うことをすぐにできて、セキュアで、異様に動作が遅くなったり、フリーズして強制シャットダウンや再起動せざるを得ない状況に直面することもなく...、UNIX/*BSD/Linuxは、しみじみ良いですね。
尚、当該スクリプトをデスクトップアイコンから起動したり、メニューに登録する方法、ラズパイのリモート操作などについては、前回のPyGTK/Glade版操作パネルのページにあります。
Radikoタブを追加、音楽タブと分け、ニュースタブ、天気タブも追加、実装しました。
音楽タブ、Radikoタブ、ニュースタブ、天気タブは、コンボボックスとボタンから成るほぼ同じ構成としました。
また、音楽タブにおいてスキップボタンが不要なメンバの場合には、当該ボタンを、コンボボックスで空("")以外を選択した場合、停止ボタン押下するまでは、当該コンボボックスを、setEnabled(True)/setEnabled(False)を使って無効にするようにしてみました。
音楽タブ、Radikoタブ、ニュースタブについては、現在、スクリプトと共に停止ボタン(Push Button)も共有していて、先のコンボの有効・無効化に伴い、これらのコンボも連動するようにしてあります。
天気タブについては、読み上げだけで計測はしていませんが、数秒〜せいぜい20秒以内と思われ、コンボボックスのみで、そもそもその術を用意していないのですが、停止ボタンは要らないかなとも思いつつも先のコンボの有効・無効化に伴い、これを選択した場合も同様にしてあります。
音楽タブは、任意に選んだYouTubeプレイリストとICECASTのストリーム局、手持ちの古いCDをリッピングしてラズパイサーバに上げてジャンル分けしてあるプレイリスト。
Radikoタブは、NHK第一とNHK FM含む各種放送局。
ニュースタブは、Yahoo!ピックアップ(主要ニュース?)のOpen JTalkによる読み上げとABC NEWS、BBC WorldNewsのストリーム配信。
天気タブは、livedoor天気情報をWebスクレイピングで取得、Open JTalkで読み上げすることにしています。
家電タブには、ボタン(Push Button)のみを配置しました。
WiFi搭載マイコンESP8266/WiFi・Bluetooth搭載マイコンESP32は、常時電源ONさせているわけではありません。
そこで疎通確認の上、ESPモジュールにアップロードした操作パネル用HTMLファイル(mDNSにより例えばトップページはdomain.local)にアクセスさせることに。
より具体的には、[firefox -private espctrl_panel.local]などとしたshellスクリプトを書き、.uiファイルからこれを呼ぶことでFirefoxでブラウザ版スマートホーム操作パネルを表示するようにしてみました。
スマートスピーカーとは離れますが、同様に天気タブにボタンを追加して天気予報のサイトを表示、また、交通タブでも作って電車の運行状況や車の渋滞情報のサイトを表示するボタンを配置するのもよいかもしれないですね。
GUI操作でブラウザを表示するなら、SNSやGMail、クラウドなんかに遷移する用のタブやボタンを作ってみるのもありかもしれませんね。
アラームタブに変更するかもしれないタイマータブには、5分刻みで5〜60分までを選択可能なコンボとタイマー解除ボタンを配置しました。
ちなみにJulius辞書をあまり膨らませたくないこともあり、音声操作では5〜30分まで指定できるようにしていますが、スクリプト自体は引数1つで分指定、2つで時分指定など汎用的に作ってあるのでGUIパネル上からなら、5分刻みにする必要すらなく、選択肢は、いくらでも追加可能です。
未実装の内、追加予定の伝言タブや音声メモタブは、録音、再生、取り消しボタンを配置するかとか、共にアラーム設定内容や伝言メッセージの内容を表示させるか否かは思案中です。
日付時刻については、操作パネルを使うくらいなら読み上げはしないまでもPCのアプリとして既に立派なものがありますし、旧暦、干支については、必要な気がしない...よく考えると伝言、音声メモも含め、GUIパネルには実装しない可能性大...。
これら、各機能の詳細については、冒頭や後段のリンクにあります。
ラズパイ/Julius/Open JTalk自作スマートスピーカーの電源OFF用パネル及びボタンをQt Designerで追加しました。
ついては、PyQt5スクリプトの太字部分を追加しました。
rpipowerbtnは、Qt Designerで作った.uiファイル上の[objectName]プロパティの値、btnRpiPowerOffは、任意の関数名で、今回の場合、[click]時に実行されることになります。
/path/to/script/poweroff_raspi.shは、ラズパイスピーカーをシャットダウンさせるためのスクリプトです。
尚、自身の場合、現時点でラズパイ用モニタを設置していないので、この自作スマートスピーカー機能も搭載しているメインPC上から実行できるようにしました。
ラズベリーパイ 3 B+自作スマートスピーカー用デスクトップ操作パネルのタイマーパネルの更新に伴い、タイマー・アラーム設定を機能変更しました。
具体的には、5分刻みの60分タイマーを24時間、時・分指定のアラームに更新。
リンク先にあるタイマースクリプトは、元々、引数1つで分刻みで何分でも、引数2つで24時間、時・分指定のアラームに対応していたのでパネル側のみの更新です。
ついては、Qt Designerで元となる.uiファイルのオブジェクト・レイアウト変更、PyQt5スクリプトの変更を実施。
変更前。
ちなみに自身の場合、自作スマートスピーカー機能を載せたメインPCとラズパイスピーカーがあるので実際には、2つ分あります。
呼んでいるスクリプト例がPerlになっていますが、もちろん、Pythonで実装しても構いません。
変更後。
スクリプトへの2つの引数の渡し方でちょっと悩みましたが、こんな風にすることでいけました。
尚、これまで末尾に&をつけていましたが、この場合、スクリプトコール時におけるバックグラウンド起動の方法がにわかには思いつかなかったので、これまで使っていたsubprocess.callではなく、subprocess.Popenを使うことにしました(前者だとその後のパネル操作ができなくなるため)。
Linuxパソコン上のJulius+Open JTalkスマートスピーカーにカメラ映像リアルタイム表示機能を追加しました。
[カメラ]ボタン押下でラズパイ+Webカメラ+ZoneMinderによるネットワークカメラ/IPカメラとしてブラウザが起動、カメラ映像が表示され、Chromiumを閉じることを以てカメラ映像終了としています。
単にブラウザを起動してURL入力欄にZoneMinderカメラサーバへのURLを入れて表示させても、これをデスクトップアイコンとしておいて、それをクリックしても良いんですけどね。
スマホではそうしてますが、まぁ、音声操作もできるということで。
Julius+Open JTalkスマートスピーカーを入れたLinuxパソコン上に自作スマートスピーカーからビデオ会議や内線通話...etc.を開始する機能を追加しました。
尤も当該機能については、自作スマートスピーカー機能の有無に関わらず、モニター付きであれば、ラズパイでもパソコンでも使えますが。
[内線]ボタン押下で同一ネットワーク内における自端末及び対象端末のJitsi Meetによる同一会議IDを含むURLを指定したブラウザが起動します。
各端末において初回なら名前を指定して[Join Meeting]/[ミーティングに参加]ボタンをクリックすることで内線や友人との雑談、会議等々ができる状態になります。
同一ネットワークにあること前提の内線においては、sshを使うことで開始だけでなく、自端末及び対象端末の終了(pkill ブラウザ)もできるようになります。
Jitsi Meetでは、ビデオチャット、ボイスチャット、テキストチャットなどができます。
スマホやタブレットについては、同一ネットワーク内にあったとしてもJitsi Meetの場合、専用アプリを使うことになっているのでアプリから会議IDを入力して参加することになります。
このパネルからでもスマホやタブレットで直接にしてもブラウザにURLを入れる恰好で参加しようとした場合、このリンクをクリックしてアプリを使ってねといった旨の画面からアプリを起動することはできますが。
リモコン付き空気清浄機からスマホ専用アプリによるスマート空気清浄機に買い替え、必須となったという会員登録・ログイン・クラウドを回避しつつ、ブラウザ操作パネルと操作スクリプトを自作してみました。
結果、このJulius/Open JTalk用操作パネルからも専用アプリではなく、自作操作パネルにIPアドレスやmDNSでアクセスできるようになりました。
また、Julius/Open JTalkスマートスピーカー用スクリプトから自作スクリプトをファイル名+引数で操作コマンドを送ることができるのでAmazon AlexaやGoogle Homeでなく、Julius/Open JTalkスマートスピーカー専用機からも、同機能を入れた2台のパソコンからも音声操作もできるようになりました。