診断および治療用の内視鏡画像処理

外科手術/消化器用ビデオ内視鏡向けの優れた
ISP 機能とビジョン システムの実現にインテリジェンスと最高のワットあたり性能を提供

概要

予防医学および低侵襲手術の進歩に伴い、内視鏡システムの高性能化が求められています。従来の複数チップの実装や汎用 GPU はレイテンシが伴うため、最新の内視鏡に求められる低レイテンシかつ高帯域幅で演算負荷の高い機能を実行するには不向きです。

一般的な内視鏡システムは、光源とカメラ ヘッドを含む内視鏡、カメラ制御ユニット (CCU)、および画像管理ユニットで構成されています。

カメラ ヘッドは光源と接続しています。カメラと光源を含む内視鏡が挿入されて、意図する部分の画像が撮影されます。カメラ制御ユニット (CCU) で、画像信号処理を実行後、非圧縮の RAW データがキャプチャされ 1 つまたは複数のモニターにリアルタイム、あるいはほぼリアルタイムに表示されます。これらのビデオ/画像データは圧縮されて、後の使用や記録用としてさまざまなフォーマットで DVR などの記憶媒体に格納されます。通常は画像管理ユニットで符号化/復号化、JPEG 変換、画像オーバーレイ、PIP などのさまざまなビデオ処理を実行し、今後の利用のために画像を圧縮して格納します。

消化器の検査用ビデオ内視鏡の場合、画像がキャプチャされてから転送、前処理、表示されるまでのレイテンシ要件は 50 ~ 150 ミリ秒です。外科手術で内視鏡を使用する場合は、リアルタイムまたは極めてリアルタイムに近い応答性が求められます。この際、さまざまな画像補正、色補正、およびノイズ補正が適用され、その後にエッジ強調やスケーリングも適用されます。

カメラの解像度要件が 2K から 4K、4K-3D、さらには 8K へと移行し、AI-ML 機能によるサポートが求められる中、新たに発表されたザイリンクスの Versal AI エッジ シリーズ ACAP デバイスは、適切な熱エンベロープを維持しながら必要とされる低レイテンシを実現し、極めて高性能な前処理を実行できます。


デザイン例

ここでは、ザイリンクス ソリューションを使用する 4K ビデオ内視鏡の設計について説明します。前述のとおり、一般的な内視鏡システムは、光源とカメラヘッドを含む処理システム、カメラ制御ユニット (CCU)、および画像管理ユニットで構成されます。このシステムは、デュアル 4K ビデオ ストリームをサポートします。

カメラヘッドのデュアル 4K イメージ センサーが画像をキャプチャし、ザイリンクスの FPGA/SoC で画像信号処理が実行されます。

ビデオ ストリームは、1 つまたは複数の Versal AI エッジや UltraScale+ といった FPGA/SoC デバイスへ送信されて画像の前処理が実行されます。その後、DisplayPort またはクワッド SDI インターフェイスを介して医師が確認できるディスプレイに表示されます。カメラ制御ユニットは、ホワイト バランス、自動輝度調整、ゲイン コントロール、アイリス コントロールなどの画像/色/ノイズの補正を実行します。ここでは、主な前処理機能について言及しています。要件に応じて、前処理機能はさまざまな方法で分割できます。

ザイリンクス AI エッジまたは Zynq UltraScale+ デバイスを利用すると、次の明確な利点があります。

  • 低レイテンシで広帯域幅は、レンズの歪み補正、低レイテンシ回転、視点変換、オブジェクト識別、比較、カウント、認識、ポジショニング、測定などを含むビデオ分析のハードウェア アクセラレーションが可能であるため、システム性能を向上させることができる
  • システム プロセッサと画像処理機能をシングルチップに統合することで、BOM コストと消費電力を削減できる
  • イメージ/ビデオ処理、解析、カメラ制御機能が 1 つのデバイスに統合され、ハードウェアとソフトウェアが最適に分割されることによって、レイテンシやボトルネック問題が解消される
  • Quad SDI、HDMI、DisplayPort、SATA、USB、Ethernet など多数のコネクティビティ規格がサポートされる

後処理では、ビデオ コーデック エンジンを搭載した ZU+ MPSoC などの SoC を使用して、RAW ビデオ データに対してさまざまな画像管理機能が実行されます。ザイリンクス ソリューションは、ビデオ内視鏡処理システムの構築に最適なプラットフォームを提供します。

  • ネットワーク上のビデオ伝送用に 4K60 ビデオ エンコーダーをサポート
  • OpenCV、Vivado™ 高位合成、および IP インテグレーター ツールを使用する密接に統合された開発ツール フローにより、設計の生産性が向上
  • 特化したエコシステム IP やソフトウェア、およびオペレーティング システムを使用して統合に要する時間を短縮

一般的に、SoC-FPGA で画像データの前処理を実行した場合、ASSP デバイスよりはるかに高い性能、帯域幅、およびリアルタイム能力を達成できます。バックエンドの画像処理には GPU が広く使用されていますが、ザイリンクスの FPGA は GPU に比べて消費電力が大幅に少なくて済みます。

ザイリンクスではまた、競合する GPGPU やプロセッサとは異なり、臨床機器に求められる信頼性、安全性、セキュリティ、そして長寿命サポートを提供することにも注力しています。

資料