診断および治療用の内視鏡画像処理

外科手術/消化器用ビデオ内視鏡向けの優れた
ISP 機能とビジョン システムの実現にインテリジェンスと最高のワットあたり性能を提供

概要

予防医学および低侵襲手術の進歩に伴い、内視鏡システムの高性能化が求められています。従来の複数チップの実装や汎用 GPU はレイテンシが伴うため、最新の内視鏡に求められる低レイテンシかつ高帯域幅で演算負荷の高い機能を実行するには不向きです。

一般的な内視鏡システムは、光源とカメラ ヘッドを含む内視鏡、カメラ制御ユニット (CCU)、および画像管理ユニットで構成されています。

カメラ ヘッドは光源と接続しています。カメラと光源を含む内視鏡が挿入されて、意図する部分の画像が撮影されます。カメラ制御ユニット (CCU) で、画像信号処理を実行後、非圧縮の RAW データがキャプチャされ 1 つまたは複数のモニターにリアルタイム、あるいはほぼリアルタイムに表示されます。これらのビデオ/画像データは圧縮されて、後の使用や記録用としてさまざまなフォーマットで DVR などの記憶媒体に格納されます。通常は画像管理ユニットで符号化/復号化、JPEG 変換、画像オーバーレイ、PIP などのさまざまなビデオ処理を実行し、今後の利用のために画像を圧縮して格納します。

消化器の検査用ビデオ内視鏡の場合、画像がキャプチャされてから転送、前処理、表示されるまでのレイテンシ要件は 50 ~ 150 ミリ秒です。外科手術で内視鏡を使用する場合は、リアルタイムまたは極めてリアルタイムに近い応答性が求められます。この際、さまざまな画像補正、色補正、およびノイズ補正が適用され、その後にエッジ強調やスケーリングも適用されます。

カメラの解像度要件が 2K から 4K、4K-3D、さらには 8K へと移行し、AI-ML 機能によるサポートが求められる中、新たに発表された AMD の Versal AI エッジ シリーズ 適応型 SoC デバイスは、適切な熱エンベロープを維持しながら必要とされる低レイテンシを実現し、極めて高性能な前処理を実行できます。


デザイン例

ここでは、AMD ソリューションを使用する 4K ビデオ内視鏡の設計について説明します。前述のとおり、一般的な内視鏡システムは、光源とカメラヘッドを含む処理システム、カメラ制御ユニット (CCU)、および画像管理ユニットで構成されます。このシステムは、デュアル 4K ビデオ ストリームをサポートします。

カメラヘッドのデュアル 4K イメージ センサーが画像をキャプチャし、AMD の FPGA/SoC で画像信号処理が実行されます。

ビデオ ストリームは、1 つまたは複数の Versal AI エッジや UltraScale+ といった FPGA/SoC デバイスへ送信されて画像の前処理が実行されます。その後、DisplayPort またはクワッド SDI インターフェイスを介して医師が確認できるディスプレイに表示されます。カメラ制御ユニットは、ホワイト バランス、自動輝度調整、ゲイン コントロール、アイリス コントロールなどの画像/色/ノイズの補正を実行します。ここでは、主な前処理機能について言及しています。要件に応じて、前処理機能はさまざまな方法で分割できます。

AMD AI エッジまたは Zynq UltraScale+ デバイスを利用すると、次の明確な利点があります。

  • 低レイテンシで広帯域幅は、レンズの歪み補正、低レイテンシ回転、視点変換、オブジェクト識別、比較、カウント、認識、ポジショニング、測定などを含むビデオ解析のハードウェア アクセラレーションが可能であり、システム性能を向上させることができる
  • システム プロセッサと画像処理機能をシングルチップに統合することで、BOM コストと消費電力を削減できる
  • イメージ/ビデオ処理、解析、カメラ制御機能が 1 つのデバイスに統合され、ハードウェアとソフトウェアが最適に分割されることによってレイテンシの問題やボトルネックが解消される
  • Quad SDI、HDMI、DisplayPort、SATA、USB、イーサネットなど多数のコネクティビティ規格がサポートされる

後処理では、新しい Kria システム オン モジュール (SOM) やビデオ コーデック エンジンを搭載した ZU+ MPSoC などの SoC デバイスを使用して、RAW ビデオ データに対してさまざまな画像管理機能が実行されます。Kria SOM を使用すると、より迅速な開発が可能になり、すばやく製品化できます。

AMD ソリューションは、ビデオ内視鏡処理システムの構築に最適なプラットフォームを提供します。

  • ネットワーク上のビデオ伝送用に 4K60 ビデオ エンコーダーをサポート
  • OpenCV、Vivado™ 高位合成、および IP インテグレーター ツールを使用する密接に統合された開発ツール フローにより、設計の生産性が向上
  • 特化したエコシステム IP やソフトウェア、およびオペレーティング システムを使用して統合に要する時間を短縮

一般的に、SoC-FPGA で画像データの前処理を実行した場合、ASSP デバイスよりはるかに高い性能、帯域幅、およびリアルタイム能力を達成できます。 バックエンドの画像処理には GPU が広く使用されていますが、AMD の FPGA は GPU に比べて消費電力が大幅に少なくて済みます。

AMD ではまた、競合する GPGPU やプロセッサとは異なり、臨床機器に求められる信頼性、安全性、セキュリティ、そして長寿命サポートを提供することにも注力しています。

ヘルスケア分野での高性能およびアダプティブ コンピューティング

ヘルスケア分野での高性能およびアダプティブ コンピューティング

技術の進歩により、医療現場は大きな変革を遂げつつあります。この e-book では、業界の主な課題を明確にした上で、技術によって新しい治療方法が登場し、研究が進み、医師がより高い精度で手術を行うことが可能になることを説明しています。是非ダウンロードしてご一読ください。

資料