異なる手術環境における手術器具のセグメンテーションのための単一ディープ ニューラル ネットワークの一般化可能性が限られている

Scientific Reports volume 12、記事番号: 12575 (2022) この記事を引用

917 アクセス

2 オルトメトリック

メトリクスの詳細

多様な手術環境における深層学習ベースの手術器具セグメンテーション ネットワークの一般化可能性を明らかにすることは、手術器具開発におけるオーバーフィッティングの課題を認識する上で重要です。 この研究では、128 の術中ビデオからランダムに抽出された 5,238 枚の画像を使用して、手術器具セグメンテーションのためのディープ ニューラル ネットワークの一般化可能性を包括的に評価しました。 ビデオ データセットには、112 件の腹腔鏡下結腸直腸切除術、5 件の腹腔鏡下遠位胃切除術、5 件の腹腔鏡下胆嚢摘出術、6 件の腹腔鏡下肝部分切除術が含まれていました。 深層学習ベースの手術器具のセグメンテーションは、(1) トレーニング セットと同じ条件のテスト セットに対して実行されました。 （２）認識対象の手術器具と手術の種類は同じであるが、腹腔鏡記録システムが異なる。 （３）腹腔鏡記録システムと手術の種類は同じであるが、認識対象となる腹腔鏡手術用鉗子が若干異なる。 （４）腹腔鏡記録システムと認識対象手術器具は同じであるが、手術の種類が異なる。 テスト セット 1、2、3、および 4 の平均精度と和集合の平均交差は、それぞれ 0.941 と 0.887、0.866 と 0.671、0.772 と 0.676、および 0.588 と 0.395 でした。 そのため、少しでも条件が異なると認識精度が低下してしまいます。 この研究の結果は、外科用人工知能の分野におけるディープ ニューラル ネットワークの一般化可能性が限られていることと、ディープラーニング ベースの偏ったデータセットやモデルに対する注意を明らかにしました。

トライアル登録番号: 2020-315、登録日: 2020 年 10 月 5 日。

ロボット手術を含む低侵襲手術 (MIS) はますます一般的になってきています1。 スコープを使用して内部解剖学的構造を観察する MIS は、スコープを通じて拡大された手術視野が得られるため、多くの外科手術に好まれています。 さらに、手術手順をビデオ データとして保存することもできます。 したがって、このアプローチは、外科の訓練と教育だけでなく、深層学習を使用したコンピューター ビジョンなどの外科データ サイエンス 2 も促進します。

コンピュータービジョンは、画像やビデオの機械の理解を説明する研究分野であり、大幅な進歩により、機械は物体やシーンの認識などの分野で人間レベルの能力を達成しています3。 コンピューター ビジョンにおける主なヘルスケア関連の仕事は、結腸ポリープ検出 4,5 や皮膚がん検出 6,7 などのコンピューター支援診断です。 しかし、コンピュータ支援手術の応用も加速しています8,9。 特に、手術器具のセグメンテーションとその先端の追跡は、手術スキルの評価に適用できるため重要な基礎技術であり 10,11、自動手術および自律手術の実現に不可欠です 12。

セグメンテーションは、画像全体をラベル付けして分類できるピクセル グループに分割するコンピューター ビジョン タスクです。 特に、セマンティック セグメンテーションは、画像内の各ピクセルの役割を意味的に理解しようとします13。 インスタンス セグメンテーションはセマンティック セグメンテーションを拡張したもので、クラスのさまざまなインスタンスをセグメント化します。つまり、5 人の個人を 5 つの異なる色でラベル付けします。 したがって、複数の重なり合うオブジェクトの境界、違い、およびオブジェクト間の関係を識別できます14。

これらのコンピュータ ビジョンのアプローチは、MIS の術中ビデオにおける手術器具の認識に非常に応用可能であり、近年、手術器具のセグメンテーションを開発するための多くの努力が行われています 15,16。 その中で、医用画像コンピューティングおよびコンピュータ支援介入協会は、手術器具のセグメンテーションおよび内視鏡ビジョンチャレンジの認識精度に基づく国際的な課題を開催してきました15、17、18、19。 新しいディープ ニューラル ネットワークにより、最先端のセグメンテーション精度の記録が破られました。 ただし、これらの取り組みは、現実世界の手術環境とは異なり、固定タイプの手術器具と同じタイプの腹腔鏡記録システムを使用した同じタイプの手術に対応するビデオ データセットに対して実行されています。 実際、現実の手術現場ではさまざまな状況が存在します。 たとえば、病院ごとにさまざまな種類の腹腔鏡記録システムや腹腔鏡手術器具が使用されています。 さらに、手術器具はアップグレードされ、その形状は数年ごとにわずかに変化します。 単一の手術器具認識ネットワークの汎用性を考える場合には、他の手術への適用可能性を検証すること、つまり、開発した認識ネットワークを用いた場合の認識精度の違いを明らかにすることも重要である。ある種類の手術のデータに基づいて、別の種類の手術に適用されます。 このような認識精度に関する条件は、多様性のある術中ビデオデータセットの構築が重要であることを明らかにすることができるが、単一の手術器具認識ネットワークの一般化可能性に関する包括的な研究は報告されていない。 したがって、この研究の結果は、将来の外科の開発と実施に貴重な情報を提供するため、重要です。

本研究は、手術器具を包括的にセグメンテーションするための単一のディープ ニューラル ネットワークの一般化可能性を評価することを目的としており、腹腔鏡記録システムの種類、認識対象手術器具などの異なる状況に単一のネットワークを適用した場合のセグメンテーション精度の違いを明らかにすることを目的としています。 、そして手術。

この研究には、5 つの施設の術中ビデオ データセットを使用した遡及的実験観察研究が含まれていました。 128 の術中ビデオからランダムに抽出された合計 5,238 枚の画像が利用されました。 画像の選択基準は、対象となる手術器具がはっきりと見えることとし、焦点が合っていない画像や霧のある画像は除外した。 ビデオ データセットには、腹腔鏡下結腸直腸切除術 (LCRR) 112 件、腹腔鏡下遠位胃切除術 (LDG) 5 件、腹腔鏡下胆嚢摘出術 (LC) 5 件、腹腔鏡下肝部分切除術 (LPH) 6 件が含まれていました。

この研究は、疫学における観察研究の報告強化（STROBE）報告ガイドライン20に従って行われました。 この研究のプロトコールは、千葉県国立がん研究センター東病院の倫理委員会によって審査され、承認されました（登録番号：2020-315）。 研究ウェブサイト上でオプトアウトの形でインフォームドコンセントが得られ、参加を拒否した人のデータは除外された。 この研究は、1964年に制定されたヘルシンキ宣言（ブラジルでは2013年に改訂）の規定に準拠していた。

トレーニング セットには、LCRR の 85 の術中ビデオからランダムに抽出された 4,074 枚の画像が含まれており、次の 3 種類の手術器具のうち少なくとも 1 つが各画像にキャプチャされました。 (T1) Harmonic Shears (Ethicon Inc.、ニュージャージー州サマービル、米国）、（T2）内視鏡外科用電気焼灼器（オリンパス株式会社、東京、日本）、および（T3）Aesculap AdTec 非外傷性万能鉗子（B Braun AG、メルズンゲン、ドイツ）。 T1〜3の代表的な画像を図1Aに示します。 すべての術中のビデオは、Endoeye 腹腔鏡 (オリンパス株式会社、東京、日本) および Visera Elite II システム (オリンパス株式会社、東京、日本) を使用して記録されました。

今回の研究で認識対象となった手術器具の代表的な画像。 (A) トレーニング セットに含まれる手術器具 (T1: ハーモニック ハサミ、T2: 内視鏡外科用電気焼灼器、T3: Aesculap AdTec 非外傷性ユニバーサル鉗子)。 (B) トレーニング セットに含まれていない腹腔鏡手術用鉗子 (T4: メリーランド州、T5: Croce-Olmi、T6: 持針器)。

検証セットには9つの術中ビデオから345枚の画像が含まれており、腹腔鏡記録システムの種類、認識対象の手術器具、手術などの条件はトレーニングセットと同じでした。

テスト セット 1 には 10 の術中ビデオからの 369 枚の画像が含まれており、条件はトレーニング セットと同じでした。

テスト セット 2 には、5 つの術中ビデオから抽出された手術器具を含む 103 枚の画像が含まれていました。 認識対象の手術器具と手術の種類はトレーニングセットのものと同じでしたが、ビデオは1488 HD 3チップカメラシステム（米国ミシガン州カラマズーのStryker Corp.）など、異なる種類の腹腔鏡システムを使用して記録されました。 Image 1 S カメラ システム (Karl Storz SE & Co., KG、Tuttlingen、ドイツ)。

テスト セット 3 には、3 つの術中ビデオから抽出された手術器具をキャプチャした 124 枚の画像が含まれていました。 腹腔鏡記録システムや手術の種類はトレーニングセットと同じですが、認識対象の種類はT3とは若干先端形状が異なる以下の腹腔鏡手術用鉗子です：（T4）メリーランド州（オリンパス株式会社、東京） 、 日本）; (T5) Croce-Olmi (Karl Storz SE & Co., KG、ツットリンゲン、ドイツ); (T6) 持針器 (Karl Storz SE & Co., KG、Tuttlingen、ドイツ)。 T4 ～ T6 はトレーニング セットに含まれていなかったため、T3 として認識できるかどうかをテストしました。 T4 ～ T6 の代表的な画像を図 1B に示します。

テスト セット 4 には、LDG、LC、LPH などのさまざまな種類の手術の 16 件の術中ビデオから抽出された、手術器具をキャプチャした 223 枚の画像が含まれていました。 腹腔鏡記録システムの種類や認識対象となる術具などのその他の条件はトレーニングセットと同様とした。

トレーニング、検証、テスト用のすべてのセットに含まれるすべての画像は、少なくとも 1 種類の手術器具をキャプチャしました。 トレーニング セット、検証セット、および各テスト セットの特性を表 1 にまとめます。

注釈付けは外科医の監督の下、14 人の非医師によって行われ、注釈付けされたすべての画像は外科医によって二重チェックされました。 注釈ラベルは、Wacom Cintiq Pro (ワコム株式会社、埼玉県) および Wacom Pro Pen 2 (ワコム株式会社) を使用して、画像内の各手術器具の領域に直接描画することにより、ピクセルごとに手動で割り当てられました。 、埼玉県）。 代表的な注釈付き画像を補足図1に示します。

すべての術中ビデオは、表示解像度 1280 × 720 ピクセル、フレーム レート 30 フレーム/秒 (fps) の MP4 ビデオ形式に変換され、アップサンプリングもダウンサンプリングも実行されませんでした。

データ分割は、フレームごとのレベルではなくケースごとのレベルで実行されました。 したがって、トレーニング セットの術中ビデオから抽出された画像はテスト セットには表示されません。

変形可能な畳み込みを備えたマスク領域ベースの畳み込みニューラル ネットワーク (R-CNN) 14,21 と ResNet5022 がそれぞれインスタンス セグメンテーション モデルとバックボーン ネットワークとして利用され、トレーニング セット内のすべての注釈付き画像がモデルに入力されました。 ディープ ニューラル ネットワークのモデル アーキテクチャとワークフローを補足図 2 に示します。ネットワークの重みは、ImageNet23 および COCO24 データセットで事前にトレーニングされたものに初期化され、トレーニング セットに対して微調整が実行されました。 ImageNet は、視覚オブジェクト認識タスクで使用するために設計された大規模な視覚データベースです。 これには、「風船」や「イチゴ」など、20,000 を超える典型的なカテゴリのラベルが付いた 1,400 万以上の画像が含まれています。 COCO は、オブジェクトの検出、セグメンテーション、キャプション作成のための大規模なデータセットです。 これには、80 種類のオブジェクトに対して 880,000 を超えるラベル付きインスタンスを含む 120,000 を超える画像が含まれています。

モデルは、T1、T2、および T3 を区別するためにトレーニングおよびテストされました。 テスト セット 3 では、T4、T5、および T6 が T3 として認識されるかどうかについてモデルがテストされました。 検証セットでのモデルのパフォーマンスに基づいて、最適なエポック モデルが選択されました。 データ拡張には水平および垂直反転が使用されました。 モデルのトレーニングに使用されるハイパーパラメーターは、補足表 1 にリストされています。

コードは Python 3.6 (Python Software Foundation、米国デラウェア州ウィルミントン) を使用して記述され、モデルはオブジェクト検出とインスタンス セグメンテーション用のオープンソース Python ライブラリである MMDetection25 に基づいて実装されました。

ネットワーク トレーニングには、16 GB の VRAM を搭載した NVIDIA Quadro GP100 GPU (米国カリフォルニア州サンタクララの NVIDIA) と 32 GB の RAM を搭載した Intel® Xeon® CPU E5-1620 v4 @ 3.50 GHz を搭載したコンピューターが使用されました。

交差オーバーユニオン (IoU) と平均精度 (AP) は、手術器具のセグメンテーション タスクのモデルのパフォーマンスを評価するための指標として利用されました。

IoU は、X (グラウンド トゥルースとして注釈が付けられた領域) と Y (モデルによって出力された予測領域) の各ペアに対して計算されました。これは、次のように、2 つの領域の重なりをそれらの和集合で割って単純に測定します。

平均 AP (mAP) は、オブジェクト検出タスクとインスタンス セグメンテーション タスクに広く使用されている指標です 23、24、26。 これは、真陽性 (TP)、偽陰性 (FN)、および偽陽性 (FP) の数に基づいて記述される適合率 - 再現率曲線の下の面積から計算されます。 X と Y の割り当てられたペアは、IoU がそれぞれ 0.75 より大きい場合と 0.75 より小さい場合は TP と FN として定義され、ペアを割り当てることができない場合は FP として定義されました。

結果の再現性を確認するために、テスト セットごとに異なるランダム シードを使用して 5 つのモデルをトレーニングし、5 つのモデルの平均をとったメトリクスを平均 (±標準偏差) として報告しました。

国立がん研究センター東病院倫理委員会（登録番号：2020-315）

研究ウェブサイト上でオプトアウトの形でインフォームドコンセントを取得しました。

著者らは、人間の研究参加者が図の画像の公開についてインフォームドコンセントを提供したことを確認しています。

テストセット 1 の結果を図 2A に示します。 テストセット 1 の mAP と平均 IoU (mIoU) は、それぞれ 0.941 (± 0.035) と 0.887 (± 0.012) で、T1、T2、および T3 の AP と IoU は、0.958 と 0.892、0.969 と 0.895、および 0.895 でした。それぞれ、0.876、0.876でした（図2A）。 これらの結果は、この研究における比較のための対照値として利用されました。

手術器具の認識精度の結果 (AP 平均精度、和集合上の IoU 交差、mAP 平均平均精度、和集合上の mIoU 平均交差)。 (A) トレーニング セットと同じ条件下の AP および IoU (T1: ハーモニック ハサミ; T2: 内視鏡外科用電気焼灼器; T3: Aesculap AdTec 非外傷性ユニバーサル鉗子)。 (B) さまざまなタイプの腹腔鏡記録システムの mAP と mIoU。 (C) さまざまな種類の腹腔鏡手術用鉗子の AP および IoU (T3: Aesculap AdTec 非外傷性ユニバーサル鉗子、T4: メリーランド州、T5: Croce-Olmi、T6: 持針器)。 (D) さまざまな種類の手術 (LCRR 腹腔鏡下結腸直腸切除術、LDG 腹腔鏡下遠位胃切除術、LC 腹腔鏡下胆嚢摘出術、LPH 腹腔鏡下肝部分切除術) の MAP および MIoU。

テストセット 2 の mAP と mIoU は、それぞれ 0.866 (± 0.035) と 0.671 (± 0.082) でした。 これらの結果は、異なる腹腔鏡記録システムを使用すると、他の条件がトレーニングセットと同じであっても、mAP と mIoU が対照値と比較してわずかに悪化したことを示しています。 Stryker カメラと Karl Storz カメラによって作成された腹腔鏡記録システムを使用したときに取得された mIAP 値と mIoU 値は、それぞれ 0.893 と 0.608、0.839 と 0.735 でした (図 2B)。 各腹腔鏡記録システムで記録された代表的な画像を図3に示します。肉眼で観察してもそれぞれの色調は若干異なります。

各腹腔鏡記録システムによって記録された代表的な画像。 (A) Endoeye 腹腔鏡 (オリンパス株式会社、東京、日本) および Visera Elite II システム (オリンパス株式会社、東京、日本)。 (B) 1488 HD 3 チップ カメラ システム (Stryker Corp.、カラマズー、ミシガン州、米国)。 (C) 画像 1 S カメラ システム (Karl Storz SE & Co.、KG、トゥットリンゲン、ドイツ)。

テストセット 3 の mAP と mIoU は、それぞれ 0.772 (± 0.062) と 0.676 (± 0.072) でした。 T4～T6も広義には腹腔鏡手術用鉗子に分類されるが、T4～T6はT3に比べて認識精度が低下した。 T4、T5、および T6 の AP および IoU は、それぞれ 0.715 と 0.678、0.756 と 0.592、および 0.846 と 0.758 でした (図 2C)。

テストセット 4 の mAP と mIoU は、それぞれ 0.588 (± 0.151) と 0.395 (± 0.127) でした。 異なる種類の手術では、他の条件がトレーニング セットと同じであったにもかかわらず、mAP および mIoU 値が対照値と比較して大幅に悪化しました。 LDG、LC、LPH の mAP と mIoU は、それぞれ 0.782 と 0.565、0.468 と 0.300、0.513 と 0.319 でした (図 2D)。 各タイプの手術の代表的な画像を図 4 に示します。前景の手術器具は、特に LC と LPH で同じです。 ただし、巨視的観察であっても、背景は LCRR の場合とは大きく異なります。

各種手術の代表的な画像です。 (A) LCRR; (B) LDG。 (C) LC; (D)LPH。

各テストセットの外科用器具のセグメンテーション精度と代表的なセグメンテーション結果をそれぞれ表 2 と補足図 3 に示します。

この研究では、手術器具セグメンテーション ネットワークが高い精度 (mAP: 0.941、mIoU: 0.887) を備えていることを実証しました。 しかしながら、腹腔鏡手術に適用される単一のディープニューラルネットワークの一般化には限界があり、腹腔鏡手術条件のわずかな変化が手術器具の認識精度に大きな影響を与える。

まず、これらの結果は、単一の腹腔鏡記録システムによって記録された術中ビデオ データセットではディープ ニューラル ネットワークを一般化するには不十分であることを示唆しています。 テストセット 2 では、同じ物体が撮影されているにも関わらず、各システムで記録された画像の色調が若干異なるため、認識精度が若干低下しました。 第二に、手術器具の種類が多く、病院ごとに違いがあり、各社の手術器具のバージョンが数年ごとに更新されるため、病院の機器ラインナップやバージョンの変化に合わせてトレーニングセットも更新する必要があります。 第三に、ある種類の手術に対して高精度の手術器具認識ネットワークの開発に成功したとしても、他の種類の手術に同様の精度で適用することはできません。 特に、画像の背景がトレーニング セットと異なるほど、認識精度は低くなります。 要約すると、ディープ ニューラル ネットワークを多施設の手術に適用する場合、腹腔鏡記録システムの種類、手術器具の種類とバージョン、画像の背景として使用される手術の種類に関するトレーニング セットの多様性が重要であると考えられます。現実世界の手術現場。

これまでに何人かの学者がディープ ニューラル ネットワークの一般化可能性、特にいわゆる「ドメイン シフト」を研究しています。これは、あるドメインのデータでネットワークをトレーニングし、それを別のドメインのデータに適用することを指します。 ゼックら。 彼らは、新しいコホートに一般化された胸部 X 線写真での肺炎スクリーニングのための CNN のトレーニングを調査し、トレーニング セットに含まれていない病院から収集された X 線画像にネットワークを適用すると、パフォーマンスが大幅に低下することを確認しました 27。 これまでの研究者らは、CNN ベースの脳磁気共鳴画像法 (MRI) の画像認識パフォーマンスを調査し、同種の研究コホートからの MRI 画像でトレーニングされた CNN のパフォーマンスは、他のコホートに適用すると一般に低下することを実証しました 28,29。 しかし、私たちの知る限り、本研究は、手術器具のセグメンテーションのための単一のディープ ニューラル ネットワークの一般化可能性が包括的に調査された最初の研究です。

手術器具の自動認識は、ロボット工学とスキル評価の 2 つの主要な研究分野に応用できます。 視覚サーボは「能動的に制御」されます。これは、視覚情報を使用して、ターゲット オブジェクトに対するロボット エンド エフェクタの姿勢を制御することを意味します30。 視覚サーボ機能を備えた腹腔鏡ホルダー ロボットは、外科医が手術作業に完全に集中できるように支援します。 腹腔鏡ホルダーロボットでは、視覚サーボの鍵となるのは、手術器具のマーカーフリー追跡フレームワークです 31,32。 したがって、将来の外科分野では、腹腔鏡保持ロボットの開発と自律型MISの実現において、自動手術器具認識技術が極めて重要な役割を果たすことになるでしょう。 技術スキルの客観的構造化評価33や腹腔鏡スキルのグローバル手術評価34などの外科スキル評価ツールは、外科研修生の基本的な外科スキルを客観的に評価するために利用されてきました。 ただし、これらのツールは個人の観察と判断に依存しており 35、必然的に主観と偏見が伴います。 そこで近年、時間のかかるビデオレビュープロセスを必要とせず、公平かつ客観的な自動手術技術評価が注目を集めています。 自動手術器具認識は、MIS における手術スキルに関連する運動学的データを抽出する際にも重要な役割を果たします。

教師ありディープラーニング研究では、現実世界の設定を表す大規模なデータセットを構築するために使用される手動のアノテーション プロセスにかかる費用と時間が大きな制限となります。 また、手術器具のセグメンテーションタスクにおいて、特定の条件下で高いパフォーマンスを発揮できるディープニューラルネットワークを開発したとしても、実際の条件は多様かつ変化しており、すべてを考慮することはほぼ不可能であるため、その有用性は限定的です。 したがって、単一の手術器具セグメンテーション ネットワークが適用できる条件を明確にすることは、アノテーションのコストと時間を削減するという観点から、将来の開発と実装にとって非常に重要です。 この研究の結果は、画像の背景のわずかな変化でさえ手術器具の認識精度に影響を与えることを実証したため、アノテーションのステップを省略することはお勧めできません。 ディープ ニューラル ネットワークの特性、特に画像内のすべてのピクセルからの特徴の抽出が試行される CNN ベースの画像認識アプローチを考慮すると、これらの結果は合理的であるように見えます。 しかし、半教師ありセグメンテーションネットワークを導入することで、手術環境が異なってもアノテーションにかかる工数を削減できる可能性があり、今後の研究で検証する必要がある。

この研究にはいくつかの制限があります。 まず、本研究の目的は、外科用人工知能研究分野においてディープニューラルネットワークの一般化可能性がどのように制限されているかを明らかにすることであり、偏ったデータセットやそれに基づくモデルに対する警戒も暗示されていた。 一般化可能性は、異なるデータ拡張方法または異なるモデル アーキテクチャを導入することによって改善される可能性があります。 しかし、それはこの研究の主な目的ではなかったため、考慮されませんでした。 第二に、この研究で利用されたビデオデータセットには比較的大規模な複数機関のデータが含まれていましたが、それは後ろ向きの実験的観察研究であり、前向きの検証は行われていませんでした。 また、データセットには手術器具のある画像のみが含まれていたため、手術器具のない画像のFPは結果に反映されませんでした。 第三に、この研究結果は、手術におけるディープニューラルネットワークを使用した将来の研究開発にとって非常に重要なベンチマークであると考えられていますが、現時点ではまだ初期段階にあるため、直接的な臨床上の利点はありません。

結論として、手術器具のセグメンテーションタスクでは、単一のディープニューラルネットワークの汎用性には限界があり、わずかに異なる条件下でも認識精度が低下します。 したがって、ディープ ニューラル ネットワークの汎化能力を強化するには、現実世界の手術環境における手術環境の多様性を考慮したトレーニング セットを構築することが重要です。

本研究中に生成および分析されたデータセットは、合理的な要求に応じて責任著者から入手できます。

合理的なリクエストに応じて、GitHub 経由で入手できます。

Siddaiah-Subramanya, M.、Tiang, KW & Nyandowe, M. 低侵襲手術の新時代: 過去 10 年間にわたる一般外科における主要な技術革新の進歩と発展。 外科。 J. (ニューヨーク) 3、e163–e166 (2017)。

記事 Google Scholar

Maier-Hein、L. et al. 次世代介入のための外科データサイエンス。 ナット。 バイオメッド。 工学 1、691–696 (2017)。

記事 Google Scholar

橋本 DA、ロスマン G.、ラス D. & メイレレス、OR 外科における人工知能: 約束と危険。 アン。 外科。 268、70–76 (2018)。

記事 Google Scholar

森 祐也 ほか結腸内視鏡検査中の小型ポリープの識別における人工知能のリアルタイム使用: 前向き研究。 アン。 インターン。 医学。 169、357–366 (2018)。

記事 Google Scholar

リー、C.ら。 上咽頭悪性腫瘍を検出するための内視鏡画像ベースの深層学習モデルの開発と検証。 がんコミュニティ。 (ロンドン) 38, 59 (2018)。

記事 Google Scholar

Dascalu, A. & David, EO 深層学習および音声分析アルゴリズムによる皮膚がんの検出: 基本ダーモスコープの前向き臨床研究。 EBioMedicine 43、107–113 (2019)。

記事 CAS Google Scholar

フィリップス、M.ら。 皮膚病変の画像から黒色腫を検出するための人工知能アルゴリズムの精度の評価。 自工会ネットワーク。 2、e1913436 (2019) を開きます。

記事 Google Scholar

橋本 DA 他術中ビデオのコンピューター ビジョン分析: 腹腔鏡下スリーブ状胃切除術の手術ステップの自動認識。 アン。 外科。 270、414–421 (2019)。

記事 Google Scholar

ウォード、TM et al. 経口内視鏡筋切開術における自動化された手術期の識別。 外科。 エンドスク。 35、4008–4015 (2021)。

記事 Google Scholar

リー、D.ら。 深層学習による複数の手術器具のトレーニングおよび実際の手術における追跡により、ロボット手術中の手術スキルを評価します。 Ｊ．クリン． 医学。 1964 年 9 日 (2020 年)。

記事 Google Scholar

Levin, M.、McKechnie, T.、Khalid, S.、Grantcharov, TP & Goldenberg, M. 手術における技術スキル評価の自動化方法: 系統的レビュー。 Ｊ．Ｓｕｒｇ． 教育する。 76、1629–1639 (2019)。

記事 Google Scholar

Zhang, J. & Gao, X. 腹腔鏡ホルダー ロボット用の手術器具の深層学習ベースのマーカーフリー追跡フレームワークによるオブジェクト抽出。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 15、1335–1345 (2020)。

記事 Google Scholar

Shelhamer, E.、Long, J. & Darrell, T. セマンティック セグメンテーションのための完全畳み込みネットワーク。 IEEEトランス。 パターンアナル。 マッハ。 知性。 39、640–651 (2017)。

記事 Google Scholar

彼、K.、Gkioxari、G.、Doll、P.、Girshick、R. マスク R-CNN。 IEEEトランス。 パターンアナル。 マッハ。 知性。 42、386–397 (2020)。

記事 Google Scholar

Hasan、SMK、Linte、CA U-NetPlus: 腹腔鏡画像からの手術器具のセマンティックおよびインスタンスのセグメンテーションを目的とした、修正されたエンコーダー/デコーダー U-Net アーキテクチャ。 バイオル。 社会アンヌ。 内部。 会議 IEEE Eng. 医学。 2019、7205–7211 (2019)。

Google スカラー

Kanakatte, A.、Ramaswamy, A.、Gubbi, J.、Ghose, A. & Purushothaman, B. 時空間ディープ ネットワークを使用した手術ツールのセグメンテーションと位置特定。 アンヌ。 内部。 会議 IEEE Eng. 医学。 バイオル。 社会アンヌ。 内部。 会議 IEEE Eng. 2020 年、1658 ～ 1661 年 (2020 年)。

Google スカラー

Ni、ZLら。 RASNet: 洗練されたアテンション セグメンテーション ネットワークを使用した、手術ビデオ内の手術器具を追跡するためのセグメンテーション。 内部。 会議 IEEE Eng. 医学。 バイオル。 社会アンヌ。 内部。 会議 IEEE Eng. 2019、5735–5738 (2019)。

Google スカラー

Du、Xら。 完全な畳み込みネットワークを使用した多関節多機器 2 次元姿勢推定。 IEEEトランス。 医学。 イメージング 37、1276–1287 (2018)。

記事 Google Scholar

Zhao, Z.、Cai, T.、Chang, F. & Cheng, X. 畳み込みニューラル ネットワーク カスケードを使用したロボット支援手術におけるリアルタイムの手術器具検出。 ヘルスc. テクノロジー。 レット。 6、275–279 (2019)。

記事 Google Scholar

フォン・エルム、E.ら。 疫学における観察研究の報告の強化 (STROBE) ステートメント: 観察研究の報告に関するガイドライン。 内部。 Ｊ．Ｓｕｒｇ． 12、1495–1499 (2014)。

記事 Google Scholar

Dai, J. 他、(2017)。 Proc の変形可能な畳み込みネットワーク。 ICCV 764–773。

He, K.、Zhang, X.、Ren, S.、Sun, J. (2016)。 画像認識のための深層残差学習。 手順 IEEE会議 CVPR 770 ～ 778。

Russakovsky、O.ら。 ImageNet の大規模視覚認識チャレンジ。 内部。 Ｊ．Ｃｏｍｐｕｔ． ヴィス。 115、211–252 (2015)。

記事 MathSciNet Google Scholar

リン、TY 他 Microsoft COCO: コンテキスト内の共通オブジェクト。 コンピューターサイエンスの講義ノート。 手順 IEEE ECCV、740–755 (2014)。

Chen, K. et al. MMDetection: MMLab 検出ツールボックスとベンチマークを開きます。 arXiv:1906.07155 (2019)。

Everingham, M.、Van Gool, L.、Williams, CKI、Winn, J. & Zisserman, A. Pascal ビジュアル オブジェクト クラス (VOC) への挑戦。 内部。 Ｊ．Ｃｏｍｐｕｔ． ヴィス。 88、303–338 (2010)。

記事 Google Scholar

ゼック、JR 他胸部 X 線写真で肺炎を検出するための深層学習モデルの可変汎化パフォーマンス: 横断研究。 PLoS医学。 15、e1002683 (2018)。

PubMed PubMed Central Google Scholar

AlBadawy, EA、Saha, A. & Mazurowski, MA 脳腫瘍のセグメンテーションのための深層学習: 施設を越えたトレーニングとテストの影響。 医学。 物理学。 45、1150–1158 (2018)。

記事 Google Scholar

マーテンソン、G. et al. 臨床分布外 MRI データにおける深層学習モデルの信頼性: マルチコホート研究。 医学。 アナル画像。 66、101714 (2020)。

記事 Google Scholar

Hutchinson, S.、Hager, GD & Corke, PI 視覚的なサーボ制御に関するチュートリアル。 IEEEトランス。 ロボット。 オートマ。 12、651–670 (1996)。

記事 Google Scholar

uecker, DR、Lee, C.、Wang, YF & Wang, Y. ロボット支援腹腔鏡手術における自動器具追跡。 J. 画像ガイド。 外科。 1、308–325 (1995)。

3.0.CO;2-E" data-track-action="article reference" href="https://doi.org/10.1002%2F%28SICI%291522-712X%281995%291%3A6%3C308%3A%3AAID-IGS3%3E3.0.CO%3B2-E" aria-label="Article reference 31" data-doi="10.1002/(SICI)1522-712X(1995)1:63.0.CO;2-E">記事 CAS Google Scholar

Ko、SY、Kim、J.、Kwon、DS & Lee、WJ 外科医と腹腔鏡補助ロボット システムの間のインテリジェントな対話。 ローマ人。 IEEE国際ワークスロボットのハム。 交流する。 共通。 20、60–65 (2005)。

Google スカラー

マーティン、JA 他外科研修医のための技術スキルの客観的構造化評価 (OSATS)。 Br. Ｊ．Ｓｕｒｇ． 84、273–278 (1997)。

CAS PubMed Google Scholar

ヴァシリュー、MC 他術中の腹腔鏡スキルを評価するための包括的な評価ツール。 午前。 Ｊ．Ｓｕｒｇ． 190、107–113 (2005)。

記事 Google Scholar

Gofton, WT、Dudek, NL、Wood, TJ、Balaa, F. & Hamstra, SJ オタワ外科能力手術室評価 (O-SCORE): 外科能力を評価するツール。 アカド。 医学。 87、1401–1407 (2012)。

記事 Google Scholar

リファレンスをダウンロードする

〒277-8577 千葉県柏市柏の葉6-5-1 国立がん研究センター東病院 手術機器イノベーション室

Daichi Kitaguchi, Toru Fujino, Nobuyoshi Takeshita, Hiro Hasegawa & Masaaki Ito

〒277-8577 千葉県柏市柏の葉6-5-1 国立がん研究センター東病院 大腸外科

Daichi Kitaguchi, Nobuyoshi Takeshita, Hiro Hasegawa & Masaaki Ito

〒464-8601 愛知県名古屋市千種区不老町 名古屋大学大学院情報学研究科

Kensaku Mori

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

著者全員がこの研究の構想と設計に貢献しました。 資料の準備、データ収集、分析は DK、TF、NT、HH、MI によって実行されました。原稿の初稿は DK によって書かれ、すべての著者が原稿の以前のバージョンにコメントしました。 著者全員が最終原稿を読んで承認しました。

伊藤正明氏への対応。

著者らは競合する利害関係を宣言していません。

シュプリンガー ネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

北口 大将、藤野 哲也、竹下 直也 他異なる手術環境における手術器具のセグメンテーションに対する単一のディープ ニューラル ネットワークの一般化可能性は限られています。 Sci Rep 12、12575 (2022)。 https://doi.org/10.1038/s41598-022-16923-8

引用をダウンロード

受信日: 2021 年 9 月 9 日

受理日: 2022 年 7 月 18 日

公開日: 2022 年 7 月 22 日

DOI: https://doi.org/10.1038/s41598-022-16923-8

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。