2022/02/26

NVIDIA DeepStreamの推論結果をRedisに送信するサンプルアプリケーションの実行環境を構築する

概要

NVIDIA DeepStream SDKには，推論結果をサーバに送信するためのGst-nvmsgbrokerプラグインが用意されています． このGst-nvmsgbrokerプラグインはRedisのほか，プロトコルアダプタライブラリを使用することで，Kafka，Azure IoTやAMQPなどの各種プロトコルに対応します．

Gst-nvmsgbrokerプラグインを使用したサンプルアプリケーションとプロトコルアダプタライブラリはいくつか用意されていますが，これらのライブラリには各種サーバへの接続方法の記載はあれど，各種サーバの構築方法は紹介されていません． 私はRedisも含めてデータベースの構築や運用の経験がなかったので，サンプルアプリケーションを実行するまでに結構時間がかかってしまいました． そこで本記事では，私が構築したNVIDIA DeepStreamの推論結果をRedisに送信するサンプルアプリケーションの実行環境について紹介します．

本記事で紹介する実行環境は，GitHubで公開しています．See README.md for a quick start in English.

私の開発環境は下記のとおりです．

OS Ubuntu 20.04.3 LTS (amd64)
GPU GeForce GTX 1070 Ti
Driver Version 510.47.03
CUDA Version 11.6
Docker version 20.10.12, build e91ed57
docker-compose version 1.29.2, build 5becea4c
DeepStream nvcr.io/nvidia/deepstream:6.0-devel
Gst-nvmsgbrokerプラグインを使用したサンプルアプリケーション

列挙しておきます．非公式のものも含めて他にもある場合はコメントで教えていただけると幸いです． この記事ではC実装のdeepstream-test4を取り上げますが，C実装のdeepstream-test5やPython実装のdeepstream-test4も今回構築した実行環境で試すことができます．

実行環境の構成

実行環境はdocker-compose.ymlにまとめています．3つのDockerコンテナが起動します．

  • redis
    • RedisのDockerコンテナです
  • redisinsight
    • ウェブブラウザからアクセスして使用する，RedisのGUIツール，RedisInsightのDockerコンテナです．必須ではありませんが，サンプルアプリケーションの動作確認に便利です
  • nvds
    • DeepStreamのDockerコンテナです．C実装のdeepstream-test4のビルド済みバイナリとソースコードも含まれています
実行方法
  1. GitHubからdocker-compose.ymlをダウンロードします．
  2. Dockerコンテナを起動します．初回はDockerイメージのダウンロードがあり起動に時間を要する場合があります
  3. Redisが使用できるかどうか確認します．テストデータの登録と取得を行います
  4. テストデータの登録結果をRedisInsightで確認します
    • ウェブブラウザで http://localhost:8001 にアクセスします
    • 「EULA AND PRIVACY SETTINGS」が表示されたら，内容にしたがってCONFIRMを押下します
      • RedisInsightのスクリーンショット
    • Redisに接続します．「I already have a database」を選択します
      • RedisInsightのスクリーンショット
    • 「Connect to a Redis Database」を選択します
      • RedisInsightのスクリーンショット
    • 下図のように入力し，ADD REDIS DATABASEを押下します
      • RedisInsightのスクリーンショット
    • Redisデータベース，localが追加されました．localを選択します
      • RedisInsightのスクリーンショット
    • 左のメニューからBrowserを選択すると，testKeyが登録されていることがわかります．なお下図では他にds-metaが登録されていますが，これは以降の手順でサンプルアプリケーションを実行した後で登録されるものです
      • RedisInsightのスクリーンショット
  5. サンプルアプリケーションを実行します．入力動画はDockerイメージに含まれるサンプル動画を使用します．実行中は物体検出結果を表示するウィンドウが表示され，自動的に終了します
  6. 推論結果がRedisに送信されていることをCUIで確認します．"ds-meta"のKeyが増えています
  7. 推論結果がRedisに登録されていることをRedisInsightで確認します
    • ウェブブラウザで http://localhost:8001 にアクセスし，Redisデータベースのlocalを選択します
    • 左のメニューからStreamsを選択すると，ds-metaが登録されていることがわかります．metadataに推論結果が含まれています
      • RedisInsightのスクリーンショット
関連プロジェクト

推論結果の送信先としてRedisではなくKafkaを使用する場合の実行環境も構築しました．下記で公開しています．

製品紹介

0 comments
Labels:
2022/02/22

Jetson上のDockerコンテナでCSIカメラを使用する

概要

NVIDIA L4T MLのDockerイメージを使用することで，JetsonでCUDAサポートがONのOpenCVの環境を比較的手軽に準備できるようになりました． そこで本投稿では，Jetson上で起動しているDockerコンテナから，Jetsonに接続されたRaspberry Pi Camera Module 2などのCSIカメラを使用する方法について紹介します．

Jetson Jetson Nano
JetPack 4.6
NVIDIA L4T ML l4t-ml:r32.6.1-py3
CSIカメラ Raspberry Pi Camera Module 2
準備
CSIカメラの接続

Jetson Nanoをシャットダウンして電源ケーブルを外した状態で，CSIカメラを確実に接続してください． インターネット上に接続方法の解説記事が数多くありますので参考にしてください．

サンプルコードの入手

サンプルコードをGitHub Gistに置きましたので，git cloneするかブラウザでダウンロードしてください．

CSIカメラの動作確認

これ以降の作業は，Jetsonにキーボード，マウスおよびディスプレイを接続して直接GUIログインしていることを前提に説明します．

Dockerコンテナ上でCSIカメラが使用できるか確認する前に，Jetson OS上で使用できるか確認しておくと良いです． 先ほどgit cloneしたディレクトリにあるPythonスクリプトを下記のとおり実行してください．CSIカメラで撮影中の映像がウィンドウに表示されます． 映像表示ウィンドウがアクティブな状態でESCキーを押下すると，ウィンドウが閉じてPythonスクリプトの実行が終了します．

なお，CSIカメラの動作確認方法はNVIDIAのチュートリアルにも紹介があります．

CSIカメラをDockerコンテナで使用する
方法

方法については，下記ページの「Run the container」に簡単な記載があります． つまり，docker runコマンドのオプションとして-v /tmp/argus_socket:/tmp/argus_socketを付加する必要があります． 一方，例えば/dev/video1としてJetson OSに認識されているUSBカメラを使用したい場合は，--device /dev/video1:/dev/video1:rwmを付加する必要があります．

See /opt/nvidia/deepstream/deepstream-6.0/README inside the container for deepstream-app usage information. Additional argument to add to above docker command for accessing CSI Camera from Docker: -v /tmp/argus_socket:/tmp/argus_socket For USB Camera additional argument --device /dev/video
Dockerコンテナの起動スクリプト例

先ほどgit cloneしたディレクトリにDockerコンテナの起動スクリプト例，run_with_csi-camera.shがあります． お好みのテキストエディタで内容を確認してください．

run_with_csi-camera.shを実行するとDockerコンテナが起動します． l4t-ml:r32.6.1-py3のDokcerイメージがローカルに存在しない場合は，初回にPullされます．

CSIカメラの動作確認

git cloneしたディレクトリはDockerコンテナ上の/dataにマウントされています． ここにあるOpenCVの簡単なサンプルコードを実行して，DockerコンテナでCSIカメラが使用できることを確認します．

opencv_csi-camera.pyはCSIカメラで撮影中の映像がウィンドウに表示されます． 映像表示ウィンドウがアクティブな状態でESCキーを押下すると，ウィンドウが閉じてPythonスクリプトの実行が終了します．

opencv_face-detection_csi-camera.pyはCSIカメラの映像から顔を検出し，顔が検出された場合は映像に顔の領域を示す白枠を描画してウィンドウに表示します． 映像表示ウィンドウがアクティブな状態でESCキーを押下すると，ウィンドウが閉じてPythonスクリプトの実行が終了します．

製品紹介

0 comments
Labels: ,
2022/02/20

NVIDIA L4T MLのDockerイメージで，Jetson上にCUDAをサポートするOpenCVの環境を準備する

概要

JetPack 4.6にはOpenCV 4.1.1が含まれていますが，CUDAサポートがOFFになっています． ここでは比較的手軽にCUDAサポートがONのOpenCVの環境を準備する方法として，NVIDIA L4T MLのDockerイメージを使用する方法をメモしておきます．

Jetson Jetson Nano
JetPack 4.6
NVIDIA L4T ML l4t-ml:r32.6.1-py3
NIVIDIA NGCとNVIDIA L4T ML

NVIDIA NGCでは，さまざまな用途のための，ディープラーニング，機械学習およびHPC向けのDockerイメージが配布されています． Jetson向けのDockerイメージは下記のリンクから一覧表示できます．

NVIDA NGCで配布されているDockerイメージの1つにNVIDIA L4T MLがあります．これはディープラーニング，機械学習やデータサイエンスの各種フレームワークをPython 3.6上で使用するための環境です． 下記ページの「Package Versions」を確認するとl4t-ml:r32.6.1-py3のリストにはOpenCV 4.5.0 (with CUDA)と記載されており，CUDAサポートがONになっていることがわかります．

Dockerコンテナを起動する
ワーキングディレクトリと起動スクリプトの準備

お好みの場所にワーキングディレクトリを作成し，その中にDockerコンテナの起動スクリプト，run.shを作成します． ここでは既存ディレクトリの/dataの配下にl4t-mlというディレクトリを作成しています．

お好みのテキストエディタでrun.shを作成し，下記リンクのrun.shの内容をコピー・アンド・ペーストしてください． なお，使用するDockerイメージのタグはJetPack 4.6に対応するr32.6.1-py3になっています．違うタグを指定したい場合は，NVIDIA L4T MLのページを参照して任意のタグに置き換えてください．

Dockerコンテナの起動

少なくともこれ以降の作業は，Jetsonにキーボード，マウスおよびディスプレイを接続して直接GUIログインしていることを前提に説明します． run.shに実行権限を付与し，実行してください．初回はDockerイメージのPullがあり，Dockerコンテナの起動に時間がかかります．

Dockerコンテナが起動し，Dockerコンテナの端末が表示されました．

dockerコマンドを実行するとエラーになる場合は，下記が解決の参考になるかもしれません．

Python 3でOpenCVライブラリの情報を確認する

下記の投稿で紹介した方法で，Dockerコンテナ上のOpenCVライブラリの情報を確認してみました． CUDAサポートがONになっています．

製品紹介

0 comments
Labels: ,

JetsonにインストールされているOpenCVの情報を確認する

概要

JetPackは，UbuntuベースのJetson向けOSとJetson SDKコンポーネントのパッケージです．このJetPackにはOpenCVも含まれています． 本記事では，このOpenCVの情報の確認方法を備忘録としてメモします．

Jetson Jetson Nano
JetPack 4.6
JetPackにインストールされているOpenCVのバージョン
JetPack 4.6

JetPackのリリースページにインストールされているOpenCVのバージョンが記載されています． 「KEY FEATURES IN JETPACK」の「Computer Vision」の項目を参照してください．

JetPack 4.6にはOpenCV 4.1.1が含まれていることがわかります． ただし，このOpenCVはCUDAサポートがOFFになっています．OpenCVのサンプルコードを試しに実行する程度であれば，まずはこのOpenCVで良いケースが多いと思います．

なお，CUDAサポートがONのOpenCVは主に下記2通りの方法で入手できます．NVIDIA L4T MLを使用する方法が比較的手軽だと思います．

JetPack 4.6以外

過去のバージョンなど，JetPack 4.6以外のリリースページには下記のリンクからアクセスすることができます．

Jetson statsでOpenCVライブラリの情報を確認する
Jetson statsをインストールする

Jetson statsは，Jetsonのモニタリングや制御ができるユーティリティです．後述のようにPython 3でもOpenCVライブラリの情報を確認することができますが，Jetson statsではコマンド1つでより簡単に確認できます．

下記のコマンドを実行することでインストールできます．インストール後に再起動してください．

Jetson statsでOpenCVライブラリの情報を確認する

jetson_releaseコマンドを実行します．「OpenCV: 4.1.1 compiled CUDA: NO」という情報から，CUDAサポートがOFFのOpenCV 4.1.1がインストールされていることが確認できます．

Python 3でOpenCVライブラリの情報を確認する
バージョンを確認する

Python 3では，OpenCVがインストールされていることと，インストールされているOpenCVのバージョンを下記のように確認できます．

ビルド情報を確認する

インストールされているOpenCVのビルド情報も確認することができます．

製品紹介

0 comments
Labels: ,
2022/02/02

ドットマトリクス液晶表示モジュール SII L167100J

概要

手元にセイコーインスツル株式会社 (Seiko Instruments, SII)のドットマトリクス液晶表示モジュール L167100Jがあります．いわゆるキャラクタ液晶表示モジュールの1種です． しかし，既にこれらのドットマトリクス液晶表示モジュールは終息しており，公式Webページからはデータシートをダウンロードできませんでした． 備忘録として，他のサイトから入手できた情報とデータシートについて記録しておきます．

データシート

下記の海外サイトで閲覧できました．ページタイトルにあるL1634は16文字x4行仕様で，私の手元にあるL1671は16文字x1行仕様です． またL1671などの5文字に続く3文字はLEDバックライトの有無を示し，00Jは反射型でLEDバックライトなし，B1Jは半透過型でイエローグリーンのLEDバックライト付です． これらは同じデータシートにまとめられています．

表示文字数 (文字数 x 行) 型名
16 x 1 L1671
16 x 2 L1672
16 x 2 L1682
16 x 2 L1692
16 x 4 L1634
20 x 2 L2032
20 x 4 L2034
24 x 2 L2462
40 x 2 L4052
40 x 4 L4044

SII ドットマトリクス液晶表示モジュールの終息経緯

SII ドットマトリクス液晶表示モジュールの終息経緯については，株式会社アスカ電子の資料が引っかかりました． SIIとしては2006年8月に最終製造だったようです．その後の事業移管などの流れについても記載されていますので，興味がある方はご覧ください． 2ページ目と3ページ目に仕様の一覧表もあります．

製品紹介

0 comments
Labels: