概要

Vitis™ ビデオ解析 SDK

 

Vitis™ ビデオ解析 SDK は、ザイリンクスのプラットフォーム上で AI 搭載のインテリジェント ビデオ解析ソリューションを構築するための完全なソフトウェア スタックです。USB/MIPI カメラ、動画ファイル、RTSP ストリームなどを入力とし、Vitis AI を使用してピクセル データからインサイトを生成して、スマート シティでのトラフィックや歩行者の認識、病院での健康や安全の監視、小売店でのセルフチェックアウトや分析、製造工場での部品の欠陥検出など、さまざまなアプリケーションに適用できます。

この SDK には、ビデオ エンコーダー、デコーダー、マルチスケーラー (リサイズや色空間変換用)、AI 推論用の DPU (深層学習) など、さまざまなアクセラレータを使用する複数のハードウェア アクセラレータ プラグインが含まれています。演算量の多い処理をすべて専用のアクセラレータで実行することで、最高性能のビデオ解析アプリケーションを実現します。

また、開発者コミュニティ向けに、一般的なインフラストラクチャ プラグイン方式のフレームワークやソフトウェア アクセラレーション ライブラリ、さらに簡素化したインターフェイスを提供しているため、カスタム ハードウェア アクセラレータを制御する独自のアクセラレーション ライブラリを開発できます。このフレームワークを使用して、独自開発したアクセラレータ/カーネルを Vitis ビデオ解析 SDK に簡単に統合できます。XRT (Xilinx Run Time)、Vitis、Vitis AI を含む VVAS は、これらの複雑なインターフェイスを抽象化して、ビデオ解析アプリケーションの構築を容易にします。

Vitis ビデオ解析 SDK を使用することで、Kria™ SOM や ZCU104 などの Zynq® UltraScale+™ MPSoC ベースのエンベデッド プラットフォーム、または Alveo U30、U50、VCK5000 などの PCIe アクセラレーション プラットフォーム上でアプリケーションを運用できます。


Vitis ビデオ解析 SDK グラフ アーキテクチャ

Vitis ビデオ解析 SDK は、オープンソースの GStreamer フレームワークをベースに構築および最適化されたグラフ アーキテクチャです。次のグラフは、映像を入力し、メタデータを出力する一般的なビデオ解析アプリケーションを示しています。これらのすべてのブロックは、使用されているプラグインです。下部には、このアプリケーションで使用されているさまざまなハードウェア エンジンがあります。プラグイン間でメモリが複製されない最適なメモリ管理と多様なアクセラレータを使用することで、最高性能を実現します。


Vitis ビデオ解析 SDK コア コンポーネント

カスタム プラグイン
ザイリンクスのプラットフォーム上で最適化済みのカーネルと IP を使用して特定機能を提供するために開発された、高度に最適化された GStreamer プラグインです。

インフラストラクチャ プラグイン
ユーザーが独自のカーネルを GStreamer フレームワークに簡単に統合できるようにサポートする、汎用インフラストラクチャ GStreamer プラグインです。

アクセラレーション ソフトウェア ライブラリ
アクセラレーション カーネル/IP のステート マシンを管理するために開発された、最適化済みのアクセラレーション S/W ライブラリです。VVAS の汎用インフラストラクチャ プラグインへ接続できるようにインターフェイスが表示されます。これらを参考にして、VVAS フレームワークをベースとする新しいアクセラレーション S/W ライブラリを開発することも可能です。

アクセラレーション ハードウェア (カーネル/IP)
ザイリンクスが開発した、高度に最適化されたカーネルです。

リファレンス プラットフォームおよびアプリケーション
VVAS は、さまざまなアプリケーション/ソリューション要件に応えるために、複数のリファレンス プラットフォームを提供しています。


開発フロー

開発フロー

  1. Multichannel ML および Smart Model Select アプリケーションの構築済みイメージをダウンロードします。
  2. チュートリアルの既存機能/パイプラインおよびアプリケーションを実行します。
  3. カスタム ロジック/カーネル用の Vitis ビデオ解析 SDK アクセラレーション ソフトウェア ライブラリを開発し、VVAS インフラストラクチャ プラグインと統合して機能を検証します。
  4. 現在、Vitis ビデオ解析 SDK には 16 個の AI モデルが付属します。その他の AI モデルを使用する場合は、独自モデルをご用意いただくか、Xilinx Model Zoo からダウンロードして Vitis AI を使用してコンパイルしてください。
  5. 新しく構築した AI モデルでパイプラインまたはアプリケーションを実行します。

運用オプション
KV260

エンベデッド システムでの運用

Vitis ビデオ解析 SDK は、エッジ デバイスでクラス最高性能のエンドツーエンド インテリジェント ビデオ解析アプリケーションを実現できる上に、運用時の柔軟性と省電力化も可能にします。

実際に、Vitis ビデオ解析 SDK を評価してみてください。プラットフォームは、次に示すザイリンクスのエッジ プラットフォームから選択可能です。


オンプレミス運用 Alveo カード

PCIe アクセラレーション デプロイメント

Vitis ビデオ解析 SDK による強力なサポートにより、ザイリンクスのデータセンター アクセラレータ カードは、インテリジェント ビデオ解析アプリケーションのパイプライン全体を効率的に加速でき、最先端の CPU や GPU よりも高性能で低 TCO を可能にします。

Vitis ビデオ解析 SDK を実際に使用して、ザイリンクスの Alveo™ アクセラレーション カードをセットアップしてください。


資料
設計開始

PCIe アクセラレーション プラットフォームで設計開始

  • ステップ 1: Vitis ビデオ解析 SDK Docker およびドライバーをインストール
  • ステップ 2: PCIe アクセラレーション カードのインストールと設定
  • ステップ 3: サンプル アプリケーションを実行

詳細は、https://japan.xilinx.com/products/acceleration-solutions/xilinx-aupera-vmss.html をご覧ください。

ビデオ