手術におけるコンピュータービジョン: 可能性から臨床的価値まで

npj デジタルメディスン第 5 巻、記事番号: 163 (2022) この記事を引用

4636 アクセス

4 引用

26 オルトメトリック

メトリクスの詳細

毎年世界中で数億件の手術が行われており、低侵襲手術の普及が進んだことにより、光ファイバーカメラとロボットが手術を行うための重要なツールとなり、また手術に関する情報を取得するセンサーとしても利用できるようになりました。視覚データを分析および解釈するアルゴリズムのアプリケーションであるコンピュータービジョン (CV) は、外科医の意思決定プロセスを強化し、より安全な手術をサポートし、アクセスを拡大することを目的として、術中ケアを研究するための重要なテクノロジーとなっています。外科的治療へ。潜在的なユースケースに関して多くの研究が行われてきましたが、現在、外科での診断または治療用途に広く使用されている CV ツールはありません。腹腔鏡下胆嚢摘出術を例として、低侵襲手術に適用されている現在の CV 技術とその臨床応用をレビューしました。最後に、外科手術における CV のより広範な導入と採用のために克服すべき課題と障害について説明します。

年間 3 億 3,000 万件を超える手術が行われており、外科手術は世界中の医療システムの重要な部分を占めています1。しかし、手術は誰でも簡単に受けられるわけではありません。ランセット世界外科委員会は、「命を救い、障害を予防する」ために、毎年 1 億 4,300 万件の追加の外科手術が必要であると推定しています2。周術期ケアの改善と低侵襲アプローチの導入により、手術はより効果的になりましたが、より複雑で高価になり、手術は米国の医療費の約 3 分の 1 を占めています 3。さらに、予防可能な医療過誤の大部分は手術室 (OR) で発生しています4。これらの観察は、手術の安全性と効率を向上させるソリューションを開発する必要性を示唆しています。

外科手術や手術室の活動のビデオを分析することで、外科治療のこの重要な段階を改善する戦略が得られる可能性があります。これは、世界中でますます採用されている低侵襲アプローチで実行される処置に特に当てはまります5、6、7。また、光ファイバーカメラによって提供される視覚化に大きく依存しています。実際、低侵襲手術では、触覚フィードバックの部分的な損失は、内視鏡カメラによって取得された拡大された高解像度ビデオによって補われます8。外科手術をガイドする内視鏡ビデオは、外科治療の術中段階に関する直接的かつ容易に利用できるデジタルデータのソースとなります。

近年、低侵襲外科手術の内視鏡ビデオの分析により、手術室活動が患者の転帰に及ぼす影響の研究 9 や品質改善への取り組みの評価 10 が可能になりました。さらに、ビデオベースの評価 (VBA) は、手術パフォーマンスの評価、形成的フィードバック、および外科的資格認定のためにますます研究されています。しかし、手術ビデオを手動で確認し、一貫して評価するという負担を考慮すると、VBA は主に研究領域に限定されたままです 11,12。低侵襲手術における初期の成功を拡大して、開腹手術でもビデオの使用が増加しています13。

コンピュータービジョン (CV) は、ディープラーニング (DL) などの人工知能 (AI) 技術を利用して視覚データを処理および分析するコンピューターサイエンス分野であり、内視鏡ビデオ分析を促進し、より広範なグループの利益のためにアプリケーションの拡張を可能にする可能性があります。外科医と患者14．さらに、人間は画像を定性的に大まかに評価する傾向がありますが、コンピューターアルゴリズムには、術中の出来事に関する目に見えない定量的かつ客観的な情報を抽出する可能性があります。最後に、自動化されたオンライン内視鏡ビデオ分析により、リアルタイムで症例を監視し、合併症を予測し、ケアを改善して有害事象を防止するために介入できる可能性があります。

最近、主に低侵襲手術向けの DL ベースの CV ソリューションがいくつか、学術団体や業界団体によって開発されています。 CV アプリケーションは、ワークフロー分析から自動パフォーマンス評価まで多岐にわたります。同様のデジタルソリューションが消化器内視鏡検査 15 や放射線科 16 の診断用途に臨床応用され大規模に実装されている一方で、外科分野の CV は遅れています。

外科手術におけるコンピュータービジョンの現状、可能性、臨床的価値に向けた可能性のある道筋について説明します。我々は、外科手術において CV がどのようにアプローチされているかの具体例を提供するために、現在 CV 法の外科手術として最も研究されている腹腔鏡下胆嚢摘出術を検討しました。ただし、これらの方法の多くは、ロボット手術、内視鏡手術、および開腹手術にも適用されています。最後に、患者、臨床医、医療システムに価値を提供するための基本的な倫理的、法的、教育的考慮事項とともに、外科データへのアクセスとより適切なモデル化のための方法を改善するための最近の取り組みについて説明します。

胆嚢摘出術は最も一般的な腹部外科手術であり、米国だけで毎年約 100 万件が実施されています17。低侵襲手術の安全性と有効性は 20 年以上前に実証され、それ以来、腹腔鏡検査は胆嚢切除のゴールドスタンダードなアプローチとなっています。腹腔鏡下胆嚢摘出術（LC）は通常、標準化された手術コースに従い、ほとんどの一般外科医によって行われ、多くの場合、外科研修中に最初に導入される手術の 1 つとなります。 5,000 人を超える患者からのデータを集めた比較的最近の分析では、LC の安全性が確認され、全体の罹患率と死亡率はそれぞれ 1.6 ～ 5.3% と 0.08 ～ 0.14% であると報告されています 17。それにもかかわらず、医原性胆管損傷 (BDI) は依然として LC の 0.32 ～ 1.5% を合併しており 17,18、その割合は開腹手術で一般的に報告されている発生率よりも高い 19。 BDI は 1 年で死亡率を 3 倍に増加させ、専門家の修理にもかかわらず生涯にわたる生活の質の低下をもたらし、米国だけで年間約 10 億ドルの費用がかかると推定されています 20,21。この非常に一般的な外科手術の実施に対する過信と、LC 手術の難易度のばらつきにより、安全ガイドラインがほとんど実施されず、その結果、BDI の発生率が減少しない結果となっています。

したがって、LC の普及と標準化により、この手順は低侵襲手術における CV 研究開発の魅力的なベンチマークとなっています 22,23。さらに、BDI の視覚的な性質と重要性により、この明確に定義された臨床ニーズを解決するための CV ソリューションを開発することが学界と産業界の両方に奨励されています。最後に、注釈付き LC ビデオのデータセットの一般公開により、関心が高まり、この分野での研究が促進されました 24。

最も大まかなレベルでは、実行されている処置を特定することで手術を説明できます。たとえば、外科手術の最初の 10 分間から腹腔鏡手術の種類を自動認識することは、非常に効果的であることが証明されています 25。このようなアプリケーションは、すぐには臨床に関連しているとは思えないかもしれませんが、より具体的なタスク 26 に対する注釈の労力を軽減したり、人間の介入なしに手順固有のモデルをトリガーしたりするなど、いくつかの間接的な目的に役立つ可能性があります。手術の種類が特定されると、ますます詳細な記述子または注釈の階層を使用して、外科手術を時間的および空間的に記述できることがコンセンサスで示唆されています (図 1)。実際には、この階層は本質的に、注釈付けとモデル化がますます複雑になるタスクの自然な進行を示しています。

さまざまな解像度の時間 (a) および空間 (b) アノテーションを使用して、タスクをさらに詳細にモデル化します。

最も粗い時間レベルでは、手術ビデオ全体をフェーズ、つまり手術手順の広範な段階に分類できます。さらに、特定の解剖学的構造の露出などの有意義な手術目標を達成するために実行される、より具体的なステップに分割できます。 EndoNet は 2016 年に、畳み込みニューラルネットワーク (CNN) を使用して手術器具の外観に関する情報を含む視覚的特徴を LC ビデオフレームから自動的に抽出する手術段階認識のタスクに初めて取り組みました24。より詳細な時間分析を使用して、手術ビデオ内の特定のアクティビティを認識できる可能性があります。このテーマに関する初期の研究では、外科的行為を、エンドエフェクターとして機能するツール、危険にさらされている活動を説明する動詞、および対象となる解剖学的構造（例：「つかむ、引っ込む、胆嚢」）からなる三つ組として形式化した28。

時間的に最も短い場合、器具や解剖学的特徴などの単一フレームの内容が記述される場合があります。適用可能な場合、これらのコンテンツは、対象の構造の周囲に描画される境界ボックスなどのマーキングを使用して大まかに、またはピクセルレベルの精度でオブジェクトの輪郭を描くセグメンテーションマスクを使用して正確に、空間的にさらに位置特定できます。空間注釈の場合、詳細度は注釈のタイプ (境界ボックスとセグメンテーションマスクなど) と注釈が付けられるターゲット (ツールまたはツールパーツなど) の両方によって定義されます。さらに、例えば、器具と解剖学的構造との間の相互作用または相対位置を説明するために、局所的な異なるオブジェクト間の関係を説明することもできる。

ほとんどの臨床応用の制限要因は常に、十分に注釈が付けられたデータセットの利用可能性です。各フレームをセグメント化するのではなく、ビデオシーケンスの内容を分類または定性的に説明するなど、より粗いラベルは、注釈を付けるのがそれほど面倒ではありませんが、直接的な関連性が低い臨床応用には役立つように見える可能性があります。それにもかかわらず、粗粒ラベルは次の目的で使用できます。(1) VBA でのビデオの使用を合理化するためのデータのキュレーションとナビゲーション。（２）研修生にビデオの内容を説明する教育。 (3) 後で詳細に注釈を付けるための特定のデータポイントの文書化とそのデータポイントへのナビゲーション。

自動化された手術ワークフローとシーンの理解を可能にする内視鏡ビデオの時間的および空間的分析のための CV に関する基礎的な研究は、臨床的に適用可能なシナリオに変換されています。 LC は、その遍在性と明確に定義された臨床現象を考慮すると、依然としてそのような多くのシナリオを実証するために選択される手順です。したがって、LC における術後ビデオ分析と潜在的なリアルタイム術中支援のための CV 対応外科アプリケーションについて説明します。ただし、このような応用は他の低侵襲手術、消化管内視鏡検査、開腹手術などでも研究されているということを認識することが重要です23,29。

術後は、手順および手術段階認識のモデルを使用して、構造化およびセグメント化されたデータベースを自動的に生成し、品質向上の取り組みを支援できます。このようなデータベースは、それ自体、手術の文書化、研究、教育にとって非常に貴重なリソースとなりますが、大量のビデオを手動で分析することに伴う負担が、導入の大きなボトルネックとなっています。自動ビデオ分析を使用すると、これらの大規模な手術ビデオのコレクションを消化し、意味のあるビデオシーケンスを取得し、重要な情報を抽出できます。たとえば、全長の手術ビデオをフェーズおよびツール検出モデルで分析して、術中イベントを特定し、LC の最も重要なフェーズである嚢胞管と嚢胞動脈の分割を選択的に記録する短いビデオを効果的に作成できます30,31。この非常に単純なアプローチはさまざまな手順に適用できますが、他のユースケースに適応するにはかなりの開発が必要になります。ごく最近、最先端の方法により、ビデオからビデオの検索、つまりビデオを使用して類似のイベントを含むビデオを検索するタスクが可能になり、そのような障壁を克服できるようになりました 32,33。さらに、位相認識用のモデルを直接使用して、LC の標準化された外科レポートを自動的に生成することもできます。 Berlet らは、位相予測に基づいてこのようなレポートを分析する際に次のように述べています。誤って認識されたビデオフレームのクラスター、つまりモデルの失敗は、出血や胆嚢の回収の問題などの合併症を示している可能性があることを発見しました 34。このようなイベントを電子健康記録と関連付けることで、手術後の患者の転帰についての洞察を得ることができます。

CV モデルは、LC 手術の難易度の代用など、ビデオからより微妙な情報を抽出するようにトレーニングできます。 LC 手術の難易度は胆嚢炎症と相関があるため、Loukas et al. は、専門の外科医に匹敵するパフォーマンスをもたらす胆嚢壁の血管分布の程度を分類するために CNN を訓練しました 35。同様に、Ward et al. は、解剖学的変化に基づく 5 段階システムであるパークランドグレーディングスケールに従って胆嚢炎症を分類するように CNN を訓練しました。この分類は、手術中の胆嚢からの胆汁漏出などの事象の予測に貢献し、炎症の増加が手術時間の延長とどのように相関するかについての洞察を提供しました 36。

ツール検出用の CV モデルは、外科医の技術スキルを評価するために使用されてきました。この点に関して、Jin et al. は、ツールの使用パターン、動作範囲、および経済性に関する自動的に推測される情報が、検証済みの評価指標を使用して外科医によって評価されたパフォーマンスと相関していることを示しました。より最近では、Lavanchy et al。は、自動的に抽出されたツールの位置情報を時系列の動作特徴に変換し、回帰モデルの入力として使用して、手術スキルを予測し、技術的パフォーマンスの良し悪しを区別することを提案しました38。ただし、技術スキルを自動的に評価するこれらの試みは、既存の検証済みのスキルの尺度に基づいていません。したがって、スキルの自動評価が従来の評価方法を補完するか置き換えるかどうかを判断するには、さらなる研究が必要です39。

私たちは、低侵襲手術を支援するために AI を導入することを想定しています (図 2)。この設定では、CV モデルからのリアルタイム予測を使用して、研修生を指導し、外科医のパフォーマンスを向上させ、手術室でのコミュニケーションを向上させることができます。 LC を開始する際、CV モデルは胆嚢の外観を自動的に評価し 35,36、手術難易度の術前推定値を調整し 40、その症例が研修医と経験豊富な外科医のどちらに適しているかを提案できます。胆嚢が露出したら、手術ガイドラインでは、切開のための安全ゾーンをガイドするために解剖学的ランドマークを使用することを推奨しています。例えば、徳安ら。は、境界ボックスを使用してそのような重要なランドマークを自動的に検出するモデルを開発しました41。

概要を示した CV モデルを使用して、症例の難易度およびそれが外科研修医に適しているかどうかを評価し (a)、外科医に適切な部位の下を切開しないよう警告し (b)、安全な解剖をガイドし (c)、自動的に評価することができます。安全対策 (d)、クリップの誤用を防止するため (e)、手術室スタッフの意識と準備を向上させる。

同様に、ディープラーニングモデルを使用して、最終的には外科医のナビゲーションアシスタントとして機能する、手術ビデオ上に色分けされたオーバーレイを提供することもできます。マダニら。は、専門外科医の注釈を利用して、解剖の安全な領域と安全でない領域を識別するために GoNoGoNet を訓練しました 42。肝嚢胞三角形の安全な解剖のエンドポイントは、肝嚢胞の解剖学的構造を最終的に特定し、主要な BDI の 97% を引き起こす視覚錯覚を防ぐために広く推奨されているチェックポイントである安全性批判的見解 (CVS) を達成することです 43,44。この点に関して、Mascagni et al. 彼らは、最初に手術器具と肝嚢胞の詳細な解剖学的構造をセグメント化し、次に 3 つの CVS 基準がそれぞれ達成されているかどうかを予測する 2 段階の CV モデルを開発しました 45。

CVS の自動確認により、外科医は解剖学的構造をさらに保証できますが、他の CV ツールでは、クリップが適切に配置され、他の構造が誤ってクリップされていないことを確認できます。このような支援を提供するために、Aspart et al. 最近提案された ClipAssistNet は、LC46 中にクリップアプライヤの先端を検出するように訓練されたニューラルネットワークです。経験豊富な外科医がそのような支援は不必要であり、些細なことさえ感じるかもしれませんが、研修医やキャリアの浅い外科医は、GoNoGoNet、DeepCVS、ClipAssistNet などのリアルタイムの意思決定支援アルゴリズムによって提供できる安心感から恩恵を受けることができます。このようなアルゴリズムは、OR39 での意思決定を促進および強化できる外科コーチの自動バージョンとして機能する可能性があります。

より広範なレベルでは、リアルタイムワークフロー分析を使用して、手術チーム全体のコミュニケーション、状況認識、即応性を向上させることができます。手術ビデオ、相検出モデル23、および残りの手術時間47を推定するアルゴリズムを分析することは、手術の進行状況を追跡し、手術室スタッフと麻酔担当者が現在および次の症例の計画を立てるのに役立ちます。さらに、ワークフロー分析は、予想される術中経過からの逸脱を検出し、バックアップまたはセカンドオピニオンの自動リクエストをトリガーするのに役立ちます。最後に、術中イベントの視覚的な術後の要約、つまり「手術の指紋」を患者の術前プロフィールと分析して、術後の罹患率または死亡率のリスクを評価することができます48。

ここ数年で LC ビデオの自動分析方法が多数発表されたにもかかわらず、他の外科手術を分析する AI ベースの CV システムはほとんど提案されておらず、そのほとんどは低侵襲手術に重点を置いています。これは臨床上の影響を妨げ、現在外科手術で広く使用されている CV アプリケーションは存在しません。

一般化と臨床応用が欠如している理由は多岐にわたりますが、主にデータの可用性と品質、および既存のモデリングアプローチのパフォーマンスに集中しており、これらは密接に絡み合っている外科手術における CV の 2 つの重要な要素です。

歴史的に、外科手術は、スタジアムスタイルの座席と自然光が入る窓を備えた手術室で、研修医や同僚の前で実演されていました。しかし現在では、手術室 (OR) は医療システムの中で最もサイロ化されたコンポーネントの 1 つとなっています。 OR イベントに関する情報は、通常、外科医が指示した術後メモでのみ報告されるか、術後の外科結果から間接的に推測されます。そのため、全手術症例の最大 2% で発生する術中有害事象 (AE) に関する実用的な洞察を収集することは長い間困難でした 49。その結果、臨床ニーズは主に外科医や主要なオピニオンリーダーへのインタビューによって逸話的に特定され、これは偏見が生じやすい次善の実践でした。

今日、外科文書に対する需要が高まっていることと、低侵襲外科手術の内視鏡ビデオの記録が容易になったことにより、術中イベントを観察し、外科手術の安全性と効率を向上させるソリューションの設計に取り組む能力が大幅に向上しました。しかし、手術データの記録と分析はまだあまり普及していません。大規模な外科学会の会員を対象とした調査で、Mazer らは次のように述べています。外科医はビデオの最大 80% をキャプチャできることを望んでいたにもかかわらず、症例の 40% 未満しか録画していないことがわかりました。外科医は、設備の不足、施設の方針、医療法的懸念が症例の記録の障害になっていると感じていました50。

術中データが自分たちに不利に使用されるのではないかという外科医や医療システムの懸念には根拠がない可能性があります。手術室のブラックボックス記録装置に関する最近のレビューでは、主にビデオデータが医療過誤事件において外科医をサポートしていることが示唆されています51。したがって、各教育機関は主に、それぞれのニーズに合ったビデオ録画に対する個別のアプローチを導入し始めています。ビデオの保存を引き続き禁止しているところもあれば、特定の目的でのみ許可しているところもあれば（例：30 日ごとの計画的データ破棄など）、品質向上、教育、研究目的のみでビデオの録画と保存を依然として奨励しているところもあります。。したがって、医療機関は既存のポリシーの見直しに取り組み、リスク管理担当者、医療過誤保険会社、外科医、患者などの関係者と協力して、ビデオ録画に関する地域での最適な戦略を決定する必要があります。明確な制度上の規則は、外科データサイエンスの目的での使用を含むがそれに限定されない、さまざまな理由で症例を記録したい外科医を導くでしょう。

政策やインセンティブは、手術データ収集の文化をさらにシフトさせ、術中ビデオやコンピュータビジョン分析の価値を考慮しない臨床医の間で、より多くの手術データ収集と使用を促進するのに役立つ可能性があります。ビデオデータの価値を理解している医療機関は、臨床医の意欲を高める役割を果たすことができます。一例として、米国の大規模な学術医療システムである AdventHealth は、患者安全組織 (PSO) と提携して、自発的に提出されたデータを収集および分析し、臨床医にフィードバックを提供して、運用上のフィードバックを中心とした品質改善の取り組みを改善しました52。。米国では、PSO は 2005 年の患者安全および品質改善法によって設立され、狭い特定の状況を除き、品質向上を目的として自発的に提出されたデータによる患者安全作業成果物を、民事、刑事、行政および懲戒手続きから保護します。 PSO は医療制度から独立した組織であり、米国医療研究品質庁 (AHRQ) によって認定されています。

さらに、AdventHealth は、外科医が品質向上やピアレビューやフィードバックなどの教育目的でビデオを録画して提出したり、他人のビデオをレビューしたりするためのさらなる個人的なインセンティブとして、ライセンスの更新と継続的な学会認定に必要な継続医学教育 (CME) 単位を提供しました。この医療システムは、プライバシーの法的保証と CME の形での個人のインセンティブを組み合わせることで、大多数の外科医からのビデオデータの自発的な提出を奨励しています。このような保護とインセンティブは、品質改善プログラムだけでなく、そのような品質改善の取り組みを促進できるCVアルゴリズムを開発する取り組みへの自発的な参加を促進するために、他の医療システムでも考慮されるべきです。最終的には、インセンティブの改善と明確な規制ガイドラインにより、CV アルゴリズムを開発およびテストできる公開データセットのリストを拡大できる可能性があります53。

コンピュータービジョンアプリケーションの臨床的価値を制限するのは、利用可能なデータの量だけではなく、そのデータの品質も制限します。ヘモグロビンやクレアチニンの検査値などの表データでは、変動が予測可能な標準化された測定値を利用できますが、手術ビデオで臨床現象を定義する（つまり、アノテーション）ことは非常に困難です。開腹手術には、外科医自身の動きからのビデオデータのオクルージョンによって発生する独特の課題があり、オクルージョンを克服し、ハンドツールの相互作用の追加の複雑さを考慮するために、複数のカメラアングル、追加のセンサー、またはアルゴリズム的アプローチが必要です54、55、56。

手術ビデオ上の時間的および空間的アノテーションが明確で信頼性が高く、再現可能であることを保証するには、広範なアノテーターのトレーニングを伴う明確なアノテーションプロトコルが必要です。特定のプロジェクトの目標は、アノテーションのニーズを定義するのに役立ち、適切なグラウンドトゥルースが確立および測定されることを保証するために、先験的に明確に確立される必要があります。さらに、CV モデルのトレーニングとテストに使用されるグラウンドトゥルースの独立した評価を可能にしながら、他の人が協力できるようにすることで、再現性と信頼性を高めるために、アノテーションプロトコルを公的に共有する必要があります57。ウォードら。手術ビデオにアノテーションを付けることの難しさについてさらに詳しく説明し、標準以下または不適切なアノテーションに関連するモデルのパフォーマンスの低下や適用不可能を軽減できるいくつかの重要な手順を提案しています58。

より多くの臨床応用が特定されるにつれて、これらの応用をモデル化し、患者に価値をもたらすために、徐々に効果的な技術が導入されています。アプリケーション固有のモデリングを超えて、手術特有の技術的、規制的、倫理的、臨床的制約を回避または軽減するのに役立つ方法も開発されています。

効果的な臨床ソリューションを開発するために、AI モデルは多くの場合、十分に注釈が付けられた大量のデータから専門家のパフォーマンスを再現するようにトレーニングされます (つまり、完全教師あり学習)。この学習パラダイムは、医用画像解析で前例のない結果をもたらしますが 59、大規模な注釈付きデータセットの利用可能性に大きく依存しています。したがって、その持続可能性は、データ共有に関する厳しい規制上の制約や、臨床医がデータに注釈を付ける機会費用などの問題によって大きく制限されており、大規模なデータセットの生成は決して簡単なものではありません60。これらの問題は、患者（解剖学的構造、人口統計など）、外科医の相互作用（ワークフロー、スキルなど）、手術室ハードウェア（器具、データ収集システムなど）間の差異を適切に表現し、考慮する必要があるため、さらに複雑になります。）。

合成的に生成されたデータセット 61 の使用や、利用可能な注釈付きデータセット 62 を人為的に増強するなど、利用可能なデータ量を増やすためのいくつかのソリューションが検討されています。それでも、考えられる相互作用の範囲を十分にモデル化することは未解決の問題のままです。最近、分散型トレーニング (フェデレーテッドラーニングなど) へのアプローチが注目を集め始めており 63、物理的に離れた場所にあるデータから学習できるようになり、プライバシーの懸念が軽減され、データアクセシビリティの向上が期待されています。

ただし、大量のデータが利用可能であっても、高品質のアノテーションは依然として不足しており、作成するにはコストがかかります。アノテーションへの依存を減らすために、ラベルのないデータに存在する固有の情報を活用したり、さまざまなタスクやドメインから取得した知識を再利用したりするさまざまなソリューションが提案されています。自己教師ありアプローチは、外部の注釈を必要としないプレテキストタスクを定式化することで、ラベルのない大量のデータから有用な情報を学習することを目的としています64。半教師ありアプローチでも、大量のラベルなしデータを利用しますが、それらを少量の注釈付きデータと組み合わせます。この戦略には、多くの場合、利用可能なラベル付きデータに基づいて、ラベルなしデータの人為的なラベル付けが含まれます 65,66。

弱教師付き手法は、クラウドソーシングされたラベル 67 など、すぐに利用できるがノイズの多いアノテーションを改良したり、さまざまなタスク用に収集された既存のアノテーションを再利用したりすることを目的としています（たとえば、バイナリツールの存在などの非空間アノテーションを使用した手術ツールの位置特定の学習 68）。このような注釈がターゲットタスクの注釈と同時に利用できる場合、マルチタスクのトレーニングを実行できます（たとえば、どの手術フェーズが実行されているかを知らせるのに役立つツールの存在信号を使用する、またはその逆）24。あるいは、転移学習アプローチは、注釈付きのデータセットがより容易に利用できるさまざまなタスクやドメインから学習した情報を再利用し、対象のドメインやタスクに適用するのに役立ちます (表 1)。一般的な例は、ImageNet69 など、大規模で適切にラベル付けされた非外科的データセットからの転移学習を採用することです。ドメイン適応は、合成手術データセットなど、ターゲット領域と同様のドメインからのデータを扱う場合によく使用されるもう 1 つの転移学習パラダイムです 61。

さまざまな臨床応用向けにますます効果的なモデルが開発されている一方で、AI 予測を説明し、その背後にある理由を解釈し、予測の確実性を推定し、その結果としてモデル自体に対する信頼を築くための手段を外科スタッフに提供するための技術的手法も必要です。これらの考慮事項は、ヘルスケアアプリケーションで対処され始めたばかりです 70 が、入力と出力の関係が常に明示的または十分に理解されているとは限らない、深層学習ベースの手法のような「ブラックボックス」アルゴリズムの場合に特に顕著です。ここで、入力とモデルの出力の特徴間の因果関係を確立、形式化し、伝達することは、危険なモデルの失敗を軽減し、モデル設計に情報を提供できる可能性があります71。モデルの展開前と展開後の両方で、潜在的なエラーの原因を特定、記録し、対応するためのプロセスを形式化することも重要です。この目的のために、Liu らは、医療用人工知能アプリケーションを監査するためのフレームワークを提示します72。

将来の研究では、これらの問題を超えて、不慣れなデータ（配布外）を扱う場合にそれを特定できる方法に目を向ける可能性があります。これにより、臨床医が特定の設定における AI システムの信頼性に基づいて情報に基づいた意思決定を行えるようになるだけでなく、研究者がこれらのモデルのトレーニングに使用されるデータセットに存在するデータ選択のバイアスやその他の交絡因子を認識し、対処するのにも役立ちます。

各臨床アプリケーションは、既存の技術的および臨床的ワークフローに沿ってタイムリーかつ適切な方法で提供するために、特定の条件を満たす必要があります。周術期ケアのさまざまな段階でさまざまな関係者にサービスを提供し、サポートするためにいくつかの方法が開発されているため、ハードウェアとソフトウェアの両方の最適化も慎重に検討する必要があります。許容可能な遅延、エラー、人間工学に基づいたインターフェイスはすべて、この議論における重要な要素です。たとえば、精度を下げてこれらのモデルを実行するなどの特定の最適化は、これらのモデルの展開に必要な計算インフラストラクチャを大幅に削減するのに役立つ可能性がありますが、パフォーマンスが低下する可能性があります。時間にあまり依存しないアプリケーションでは、AI 支援とナビゲーションのためにクラウドコンピューティングが検討されていますが、ネットワーク接続によって制限されます73。

私たちが検討したアプローチは、最新の方法がコンピュータービジョンの進歩を外科治療に応用する技術的能力を備えていることを示しています。しかし、外科手術におけるコンピュータービジョンの可能性を解き放つには、いくつかの障害と課題が残っています (図 3)。手術室の翻訳、臨床検証、および CV ソリューションの規模での実装は、確かに約束された外科的価値を提供するための基礎ですが、これらのステップにはデバイスメーカーから規制当局まで、複数の関係者が関与しており、今日ではほとんど検討されていないままです。ここでは、外科医とその患者にとって重要な倫理的、文化的、教育的考慮事項に焦点を当てます。

動作および技術的/操作上の障害により、外科手術における CV モデルの開発と実装が制限される可能性があります。規制環境、臨床環境、技術環境における法的変化、行動変化、運用上の変化を組み合わせることで、外科手術における CV の適用が改善される可能性があります。 AI 人工知能、PSO 患者安全組織、CME 継続医学教育、手術室。

データの安全性と透明性、プライバシー、公平性と偏見など、いくつかの倫理的問題に対処する必要があります74。より安全な外科治療をもたらす可能性のあるデータ分析の革新を妨げることなく、患者を保護する最善の方法を決定するために、国内レベルと国際レベルの両方で継続的な議論が行われています。データの安全性、透明性、プライバシーに関する考慮事項には、患者によるインフォームド・コンセント、データのセキュリティ、データの所有権とアクセスの概念が含まれます。これには、患者が自分の個人データがどのように使用されるかを制御および監督する権利があるかどうかも含まれます。

手術室内のすべての手術データをキャプチャできる仮想の「ブラックボックス」システムを介したビデオ録画の 49 人の患者の視点の定性分析では、88% の患者が、ビデオデータの所有権は病院ではなく自分にあると感じていました。彼らの治療は受けられたか、または手術を行った外科医に受けられた75。所有権、プライバシー、識別可能なデータや仮名化されたデータの使用に関する規制は国によって（さらには州、地方、機関の規則によっても）異なるため、研究活動は主に個々の機関や地域のコンソーシアムにサイロ化されており、誰が誰であるかを定義するのが容易である可能性があります。特定の法的インフラの下でデータを所有し、その使用方法を管理します。外科治療で救命を証明できる技術の開発において、現場のニーズをより深く理解する取り組みが続けられているため、健康上の遭遇を通じて生成されたデータの使用に関する議論に患者を確実に参加させ、優先順位を付けることが非常に重要になります。

患者は、外科手術におけるコンピュータビジョン研究の強力な支持者となる可能性があります。ビデオ録画の利点は、将来のケアに役立つ症例の客観的な記録を可能にし、患者と患者の両方に対する医学的法的保護として機能することであると多くの報告者が認識しているためです。外科医。重要なのは、患者がそのようなデータを継続的な品質改善に使用したいという要望を強調したことです75。以前に説明したようなコンピュータービジョンモデルを使用すると、コンテキスト認識アルゴリズムが迅速なレビューのために自動的に症例のインデックスを作成し、ガイダンスアルゴリズムを事後的に使用して外科医に視覚的なフィードバックを提供できるため、今日ではこれらの利点のそれぞれを促進できます。実際、一部の施設では、質の向上を目的として、毎週の罹患率および死亡率に関する会議での議論を促進するためにこれらのテクノロジーを使用しています。

モデルのパフォーマンスとアルゴリズムの透明性の欠如に影響を与えるデータセットの公平性と偏りに関する追加の考慮事項も、最近の出版物で強調されています 76,77。特に、現在および将来のデータセットの多くが、低所得国や中所得国にとってアクセスしにくい腹腔鏡やロボットプラットフォームから取得されることを考えると、データセットの偏りを認識し、考慮する必要があります。また、外科医は手術の意思決定において訓練や以前の手術経験の影響を受けるため、研究者が各手術のレベルでバイアスが導入される可能性があることを認識することも重要です。このような影響が融合すると、間違いなくデータセットにバイアスが導入され、モデルのパフォーマンスに影響を与え、ひいては手術における CV ツールの汎用性に影響を与える可能性があります。

データセットの偏りの重要性と、代表的で一般化可能なデータの必要性がますます認識されるようになり、外科用の AI 研究の協力的な性質を拡大する取り組みが拡大しています。たとえば、Global Surgical Artificial Intelligence Collaborative (GSAC) は、教育、イノベーション、テクノロジーの交差点を通じて外科治療の民主化を促進することに専念する非営利団体で、米国、カナダ、ヨーロッパの機関を越えた研究協力を促進しています。アノテーション、データ共有、および参加機関それぞれの母国の規制基準を満たすモデル開発のためのツールを提供することによって。 GSAC のような集中的な取り組みは、コストの共有を促進し、インフラストラクチャを提供し、共同作業のための技術的および外科的専門知識へのアクセスを拡大することにより、データまたは計算リソースに十分なアクセスを持たない機関や個人の参入障壁を下げることができます。

最後に、外科データサイエンスの教育は、現在の臨床医がコンピュータービジョンやその他の AI ツールが意思決定や患者にどのような影響を与えるかを確実に理解できるようにするためと、将来の世代がより新しく、より洗練された開発に独自の洞察を提供できるようにするために、最も重要です。ツール。カナダ王立内科医・外科医協会は最近、専門診療におけるカナダ医師の潜在的な新たな能力としてデジタルヘルスリテラシーを特定し、医療知識とAIの大学院教育を組み合わせた新しいキャリアや、学際的な臨床チームの重要性を強調しています。データサイエンティストとAI研究者78. 英国の Topol Review でも、国民保健サービス (NHS) のデジタル未来に向けた医療従事者の準備に関する同様の結論に達し、その後 NHS はデジタル変革技術を教えるために Topol Digital Fellowships を設立しました79。現在、AI トピックに関する臨床医のリテラシーの向上と、エンジニアやデータサイエンティストによる臨床問題とワークフローの理解を促進するために、組織内で学際的なフェローシップが設立されています。さらに、IHU ストラスブールなどの機関は、学際的な教育とコラボレーションを促進するために、臨床医とエンジニア/データサイエンティストの両方に外科データサイエンスの短期集中コースを提供しています。

コンピュータービジョンは、手術の術中段階を大規模に研究し、改善するための前例のない手段を提供します。臨床コミュニティとデータサイエンスコミュニティの両方が、外科手術で CV を最適に利用する方法に関する研究と科学的調査を進めることに集中し始めており、潜在的な臨床価値のあるいくつかの概念実証アプリケーションが低侵襲手術で実証されています。このようなアプリケーションを一般化するための主要な取り組みは、患者ケアに固有の文化的および倫理的側面を常に考慮しながら、手術データへのアクセスの合理化とより優れたモデリング方法に重点を置いています。手術における CV が成熟するにつれて、手術における CV の約束が安全かつ効果的に手術患者のケアを支援するために確実に反映されるようにするには、より広範な社会の関与が必要となるでしょう。

現在の調査ではデータセットが生成または分析されていないため、データ共有はこの記事には適用されません。

ワイザー、TG et al. 2012 年の世界の手術件数の推定: 健康転帰の改善を裏付ける評価。ランセット 385、S11 (2015)。

論文 PubMed Google Scholar

メラ、JG et al. Global Surgery 2030: 健康、福祉、経済発展を達成するための証拠とソリューション。外科 158、3–6 (2015)。

論文 PubMed Google Scholar

Childers, CP & Maggard-Gibbons, M. 手術室でのケアのコストを理解する。 JAMA Surg. 153、e176233 (2018)。

論文 PubMed PubMed Central Google Scholar

Zegers、M.ら。外科部門における有害事象の発生率、根本原因、および結果: 潜在的な予防戦略への影響。患者安全。外科。 5、13 (2011)。

論文 PubMed PubMed Central Google Scholar

レヴァンドロフスキ、K.-U. 他。脊椎外科医の間での低侵襲脊椎手術技術の受け入れと利用における地域差：世界規模の調査の結果。 J.脊椎外科 6、S260–S274 (2020)。

論文 PubMed PubMed Central Google Scholar

Bardakcioglu, O.、Khan, A.、Aldridge, C. & Chen, J. 米国における腹腔鏡下結腸切除術の成長: 長期にわたる地域的および社会経済的要因の分析。アン。外科。 258、270–274 (2013)。

論文 PubMed Google Scholar

リチャーズ、MK et al. 一般外科研修医における低侵襲手術の頻度に関する全国的レビュー: 20 年間にわたる一般外科研修医の研修中の ACGME 症例記録の評価。 JAMA Surg. 150、169–172 (2015)。

論文 PubMed Google Scholar

周、M.ら。腹腔鏡手術のスキル習得における触覚フィードバックの効果。外科。エンドスク。 26、1128–1134 (2012)。

論文 CAS PubMed Google Scholar

Balvardi, S. et al. 術中の技術的パフォーマンスと患者の転帰のビデオベースの評価との関連性: 系統的レビュー。外科。エンドスク。 https://doi.org/10.1007/s00464-022-09296-6 (2022)。

マスカーニ、P. et al. 腹腔鏡下胆嚢摘出術における安全性に関する重要な見解の導入を促進するための術中タイムアウト: 343 件の手術のビデオベースの評価。混雑する。コル。外科。 233、497–505 (2021)。

論文 PubMed Google Scholar

ピュー、CM、橋本、DA、コーンドルファー、JR Jr. あれは何？どうやって？そして誰が？ビデオベースの評価。午前。Ｊ．Ｓｕｒｇ． 221、13–18 (2021)。

論文 PubMed Google Scholar

フェルドマン、LS 他。 SAGES ビデオベース評価 (VBA) プログラム: 外科医の生涯学習のビジョン。外科。エンドスク。 34、3285–3288 (2020)。

論文 PubMed Google Scholar

Sharma, G. et al. 死体の処置解剖学シミュレーションコースにより、手術パフォーマンスのビデオベースの評価が向上します。Ｊ．Ｓｕｒｇ．解像度 223、64–71 (2018)。

論文 PubMed Google Scholar

ウォード、TM et al. 手術におけるコンピュータービジョン。外科 169、1253–1256 (2021)。

論文 PubMed Google Scholar

ハッサン、C.ら。結腸内視鏡検査における腺腫とポリープの検出における人工知能のパフォーマンス:系統的レビューとメタ分析。胃腸検査。エンドスク。 93、77–85.e6 (2021)。

論文 PubMed Google Scholar

van Leeuwen, KG、Schalekamp, S.、Rutten, MJCM、van Pinneken, B. & de Rooij, M. 放射線医学における人工知能: 100 の市販製品とその科学的証拠。ユーロ。ラジオル。 31、3797–3804 (2021)。

論文 PubMed PubMed Central Google Scholar

プッチャー、PH et al. 30年間にわたる腹腔鏡下胆嚢摘出術後の転帰傾向と安全対策：体系的レビューとプールされたデータ分析。外科。エンドスク。 32、2175–2183 (2018)。

論文 PubMed PubMed Central Google Scholar

Törnqvist, B.、Strömberg, C.、Persson, G. & Nilsson, M. 意図した術中胆道造影と胆管損傷の早期発見が胆嚢摘出術後の生存率に及ぼす影響：集団ベースのコホート研究。 BMJ 345、e6457 (2012)。

論文 PubMed PubMed Central Google Scholar

1518件の腹腔鏡下胆嚢摘出術の前向き分析。Ｎ．Ｅｎｇｌ． J.Med. 324、1073–1078 (1991)。

ロジャース、SO Jr. 他賠償責任保険会社 4 社における終了した医療過誤請求における手術ミスの分析。外科 140、25–33 (2006)。

論文 PubMed Google Scholar

Berci, G. et al. 腹腔鏡下胆嚢摘出術：第一に、害を与えないこと。次に、胆管結石に注意してください。外科。エンドスク。 27、1051–1054 (2013)。

論文 PubMed Google Scholar

アンテビー、R.ら。腹腔鏡手術におけるディープラーニング視覚分析: 系統的レビューと診断テスト精度のメタ分析。外科。エンドスク。 35、1521–1533 (2021)。

論文 PubMed Google Scholar

ギャロー、CR et al. 手術段階認識のための機械学習: 体系的なレビュー。アン。外科。 273、684–693 (2021)。

論文 PubMed Google Scholar

ツインダ、AP 他。 EndoNet: 腹腔鏡ビデオの認識タスクのためのディープアーキテクチャ。 IEEEトランス。医学。イメージング 36、86–97 (2017)。

論文 PubMed Google Scholar

Kannan, S.、Yengera, G.、Mutter, D.、Marescaux, J.、Padoy, N. 早期手術タイプ認識のための将来状態予測 LSTM。 IEEEトランス。医学。イメージング 39、556–566 (2020)。

論文 PubMed Google Scholar

Yengera, G.、Mutter, D.、Marescaux, J.、Padoy, N. 少ないほど良い: CNN-LSTM ネットワークの自己教師付き事前トレーニングによる注釈の少ない手術段階認識。 arXiv [cs.CV] (2018)。

オレゴン州メイレレスら。手術ビデオの注釈フレームワークに関する SAGES のコンセンサス推奨事項。外科。エンドスク。プレスで、（2021）。

Nwoye、CI et al. ランデブー: 内視鏡ビデオにおける手術動作の 3 つの要素を認識するための注意メカニズム。医学。アナル画像。 78、102433 (2022)。

論文 PubMed Google Scholar

Yeung, S. et al. リアルタイムの時空間 AI モデルが、公開手術ビデオのスキルを分析します。解像度スクエア https://doi.org/10.21203/rs.3.rs-1129461/v1 (2021)。

マスカーニ、P. et al. 手術ビデオ内の重要なイベントを自動的に特定するコンピュータービジョンプラットフォーム: 腹腔鏡下胆嚢摘出術の安全性を文書化します。アン。外科。 274、e93–e95 (2021)。

論文 PubMed Google Scholar

マスカーニ、P. et al. EndoDigest の多中心検証: 腹腔鏡下胆嚢摘出術における安全性の重要な見解をビデオ文書化するためのコンピュータービジョンプラットフォーム。外科。エンドスク。 https://doi.org/10.1007/s00464-022-09112-1 (2022)。

Yu, T. & Padoy, N. 目に見えないものをエンコードする: スケーラブルなミッドストリーム取得のための予測ビデオハッシュ。執筆者：Ishikawa, H.、Liu, CL.、Pajdla, T.、Shi, J. (編) Computer Vision – ACCV 2020. ACCV 2020. コンピューターサイエンスの講義ノート、vol 12626. Springer、Cham。 https://doi.org/10.1007/978-3-030-69541-5_26 (2021)。

Yu, T. 他圧縮された不確実性を備えたライブ腹腔鏡ビデオ検索。プレプリント: https://arxiv.org/abs/2203.04301 (2022)。

バーレット、M.ら。畳み込みニューラルネットワーク (CNN) による位相アノテーションと位相のちらつき現象に基づく腹腔鏡下胆嚢摘出術の外科レポート: 概念実証。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 https://doi.org/10.1007/s11548-022-02680-6 (2022)。

Loukas, C.、Frountzas, M.、Schizas, D. 深層学習を使用した腹腔鏡画像からの胆嚢壁血管分布のパッチベースの分類。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 16、103–113 (2021)。

論文 PubMed Google Scholar

Ward, TM、Hashimoto, DA、Ban, Y.、Rosman, G. & Meireles, OR 胆嚢炎症の自動識別からの胆嚢摘出手術経過の人工知能予測。外科。エンドスク。 https://doi.org/10.1007/s00464-022-09009-z (2022)。

ジン、A.ら。領域ベースの畳み込みニューラルネットワークを使用した外科ビデオにおけるツールの検出と操作スキルの評価、コンピュータービジョンのアプリケーション (WACV) に関する IEEE 冬季会議、2018 年、691 ～ 699 ページ。 https://doi.org/10.1109/WACV.2018.00081 (2018)。

ラヴァンシー、JL et al. 3 段階の機械学習アルゴリズムを使用した手術スキル評価の自動化。科学。議員 11、5197 (2021)。

論文 CAS PubMed PubMed Central Google Scholar

ウォード、TM et al. 外科教育のための外科データサイエンスと人工知能。Ｊ．Ｓｕｒｇ．オンコル。 124、221–230 (2021)。

論文 PubMed Google Scholar

Vannucci、M.ら。腹腔鏡下胆嚢摘出術の手術難易度を術前に予測するための統計モデル：系統的レビュー。外科 171、1158–1167 (2022)。

論文 PubMed Google Scholar

徳安哲ほか腹腔鏡下胆嚢摘出術中に解剖学的ランドマークを示すためのディープラーニングを使用した人工知能システムの開発。外科。エンドスク。 35、1651–1658 (2021)。

論文 PubMed Google Scholar

マダニ、A.ら。術中指導のための人工知能。アン。外科。 276、363–369 (2022)。

論文 PubMed Google Scholar

ウェイ、LW et al. 腹腔鏡下胆管損傷の原因と予防。アン。外科。 237、460–469 (2003)。

論文 PubMed PubMed Central Google Scholar

ブラント、LMら。安全な胆嚢摘出術胆嚢摘出術中の胆管損傷の予防に関する多社会実践ガイドラインと最先端のコンセンサス会議。アン。外科。 272、3–23 (2020)。

論文 PubMed Google Scholar

マスカーニ、P. et al. 手術の安全のための人工知能。アン。外科。 275、955–961 (2022)。

論文 PubMed Google Scholar

アスパルト、F.ら。 ClipAssistNet: 手術室にリアルタイムの安全性フィードバックをもたらします。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 17、5–13 (2022)。

論文 PubMed Google Scholar

Twinanda, AP、Yengera, G.、Mutter, D.、Marescaux, J. & Padoy, N. RSDNet: 手動の注釈なしで腹腔鏡ビデオから残りの手術時間を予測する方法を学習します。 IEEEトランス。医学。イメージング 38、1069–1078 (2019)。

論文 PubMed Google Scholar

ウォード、TM et al. 経口内視鏡筋切開術における自動化された手術期の識別。外科。エンドスク。 35、4008–4015 (2021)。

論文 PubMed Google Scholar

ミネソタ州マブロスら。パンドラの箱を開ける: 術中の有害事象の性質、パターン、および 30 日間の結果を理解する。午前。Ｊ．Ｓｕｒｇ． 208、626–631 (2014)。

論文 PubMed Google Scholar

Mazer, L.、Varban, O.、Montgomery, JR、Awad, MM、Schulman, A. ビデオの方が優れています: なぜビデオを使用しないのでしょうか? 日常的な手順のビデオ録画と症例レビューに対する障壁についての混合法研究。外科。エンドスク。 36、1090–1097 (2022)。

論文 PubMed Google Scholar

van Dalen、ASHM、Legemaate、J.、Schlack、WS、Legemate、DA、Schijven、MP 動作環境におけるブラックボックス録画デバイスに関する法的観点。 Br. Ｊ．Ｓｕｒｇ． 106、1433–1441 (2019)。

論文 PubMed PubMed Central Google Scholar

米国連邦規制法。 42 CFR Ch I、パート 3。 https://www.ecfr.gov/current/title-42/chapter-I/subchapter-A/part-3。

Rivas-Blanco, I.、Perez-Del-Pulgar, CJ、Garcia-Morales, I. & Munoz, VF 低侵襲手術における深層学習に関するレビュー。 IEEE Access 9、48658–48678 (2021)。

記事 Google Scholar

清水哲、八馬理、梶田英、高爪裕、斉藤博。自己中心カメラによる手の動きを認識した手術器具の位置特定と分類。 J. イメージング 7、15 (2021)。

論文 PubMed PubMed Central Google Scholar

Zhang、M.ら。コンピュータービジョンを使用して、開腹手術のビデオにおける手の検出と外科医の動きの追跡を自動化します。アミア・アンヌ。症状手順 2020、1373–1382 (2020)。

PubMed Google Scholar

Goldbraikh, A.、D'Angelo, A.-L.、Pugh, CM、Laufer, S. 開腹手術の縫合スキルのビデオベースの完全自動評価。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 17、437–448 (2022)。

論文 PubMed PubMed Central Google Scholar

マスカーニ、P. et al. 安全な胆嚢摘出術のための外科データサイエンス: 肝嚢胞の解剖学的構造のセグメント化と安全性の重要な観点の評価のためのプロトコル。プレプリント: https://arxiv.org/abs/2106.10916 (2021)。

ウォード、TM et al. 手術ビデオのアノテーションにおける課題。コンピューティングアシストサージ (アビンドン) 26、58–68 (2021)。

記事 Google Scholar

エステバ、A.ら。医療におけるディープラーニングのガイド。ナット。医学。 25、24–29 (2019)。

論文 CAS PubMed Google Scholar

Maier-Hein、L. et al. 外科データサイエンス - 概念から臨床への翻訳まで。医学。アナル画像。 76、102306 (2022)。

論文 PubMed Google Scholar

ラウ、A.ら。内視鏡検査における深度予測のための条件付き敵対的生成ネットワークによる暗黙的なドメイン適応。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 14、1167–1176 (2019)。

論文 PubMed PubMed Central Google Scholar

Shorten, C. & Khoshgoftaar, TM 深層学習のための画像データ拡張に関する調査。 J. ビッグデータ 6、(2019)。

カセム、H.ら。フェデレーテッドサイクリング (FedCy): 手術段階の半教師ありフェデレーテッドラーニング。プレプリント: https://arxiv.org/abs/2203.07345 (2022)。

タレブ、A.ら。医用画像処理のための 3D 自己教師あり手法。第 34 回神経情報処理システム国際会議議事録 (pp. 18158–18172) (2020)。

Yu, T.、Mutter, D.、Marescaux, J.、Padoy, N. 手動アノテーションの小さなデータセットからの学習: 手術段階認識のための教師/生徒アプローチ。プレプリント: https://arxiv.org/abs/1812.00033 (2018)。

Shi、X.、Jin、Y.、Dou、Q.、Heng、P.-A. ラベル効率の良い外科ワークフロー認識のための、ラベルなしデータの漸進的な発掘による半教師あり学習。医学。アナル画像。 73、102158 (2021)。

論文 PubMed Google Scholar

Zhang, J.、Sheng, VS、Li, T.、Wu, X. ノイズ補正を使用してクラウドソースのラベル品質を向上させます。 IEEEトランス。ニューラルネットワーク。学ぶ。システム。 29、1675–1688 (2018)。

論文 PubMed Google Scholar

Nwoye, CI、Mutter, D.、Marescaux, J. & Padoy, N. 腹腔鏡ビデオでのツール追跡のための弱教師あり畳み込み LSTM アプローチ。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 14、1059–1067 (2019)。

論文 PubMed Google Scholar

デン、J.ら。 ImageNet: 大規模な階層型画像データベース。 2009 年のコンピュータービジョンとパターン認識に関する IEEE 会議 (IEEE、2009)。 https://doi.org/10.1109/cvpr.2009.5206848。

レイエス、M.ら。放射線医学における人工知能の解釈可能性について: 課題と機会。無線。アーティフ。知性。 2、e190043 (2020)。

記事 Google Scholar

Castro, DC、Walker, I. & Glocker, B. 医療画像処理では因果関係が重要です。ナット。共通。 11、3673 (2020)。

論文 CAS PubMed PubMed Central Google Scholar

Liu、X.ら。医療アルゴリズム監査。ランセットディジットヘルス 4、e384–e397 (2022)。

論文 PubMed Google Scholar

Sun, L.、Jiang, X.、Ren, H. & Guo, Y. 医療モノのインターネットにおけるエッジクラウドコンピューティングと人工知能: アーキテクチャ、テクノロジー、アプリケーション。 IEEE Access 8、101079–101092 (2020)。

記事 Google Scholar

Gerke, S.、Minssen, T. & Cohen, G. 人工知能主導の医療における倫理的および法的課題。ヘルスケアにおける人工知能 295–336 (エルゼビア、2020)。

Gallant, J.-N.、Brelsford, K.、Sharma, S.、Grantcharov, T. & Langerman, A. 手術室における音声およびビデオ記録に対する患者の認識。アン。外科。 https://doi.org/10.1097/SLA.0000000000004759 (2021)。

ギチョヤ、JW et al. 医療画像における患者人種の AI 認識: モデリング研究。ランセットディジットヘルス 4、e406–e414 (2022)。

論文 PubMed Google Scholar

Pierson, E.、Cutler, DM、Leskovec, J.、Mullainathan, S.、Obermeyer, Z. 十分なサービスを受けられていない集団における説明のつかない痛みの格差を減らすためのアルゴリズム的アプローチ。ナット。医学。 27、136–140 (2021)。

論文 CAS PubMed Google Scholar

レズニック、R.ら。人工知能と新興デジタル技術に関するタスクフォースレポート。公開場所: https://www.royalcollege.ca/rcsite/documents/health-policy/rc-ai-task-force-e.pdf (2021)。

トポルのレビュー — イギリスの NHS 健康教育。 Topol レビュー — NHS 健康教育イングランド。公開場所: https://topol.hee.nhs.uk/ (2019)。

リファレンスをダウンロードする

この研究は、参照 ANR-20-CHIA-0029-01 (国家 AI 議長 AI4ORSafety) および ANR-10-IAHU-02 (IHU ストラスブール) に基づいて ANR が管理するフランス国家基金によって部分的に支援されました。この研究は、Marie Sklodowska-Curie 助成契約番号 813782 - プロジェクト ATLAS に基づく欧州連合の Horizon 2020 研究およびイノベーションプログラムから資金提供を受けています。

これらの著者は同様に貢献しました: Pietro Mascagni、Deepak Alapatt。

ジェメッリ病院、カトリック聖心大学、ローマ、イタリア

ピーター・マスカーニ

IHU-ストラスブール、画像誘導外科研究所、ストラスブール、フランス

ピエトロ・マスカーニ & ニコラ・パドイ

Global Surgical Artificial Intelligence Collaborative、カナダ、オンタリオ州トロント

[ PubMed ] 10. ピエトロ・マスカーニ、マリア・S・アルティエリ、アミン・マダニ、渡辺祐介、アドナン・アルセイディ、ダニエル・A・ハシモト

ICube、ストラスブール大学、CNRS、IHU、ストラスブール、フランス

ディーパック・アラパット、ルカ・セスティーニ、ニコラス・パドイ

イタリア、ミラノ工科大学、電子情報バイオエンジニアリング学部

ルカ・セスティーニ

ペンシルベニア大学ペレルマン医学部外科、米国ペンシルバニア州フィラデルフィア

マリア・S・アルティエリ & ダニエル・A・ハシモト

カナダ、オンタリオ州トロント、University Health Network、外科

アミン・マダニ

北海道大学外科学教室

Yusuke Watanabe

カリフォルニア大学サンフランシスコ外科、サンフランシスコ、カリフォルニア州、米国

アドナン・アルセイディ

AdventHealth-Celebration Health、セレブレーション、フロリダ州、米国外科

ジェイ・A・リダン

A. ジェメッリ大学病院財団 IRCCS、ローマ、イタリア

セルジオ・アルフィエーリ、グイド・コスタマーニャ、イヴォ・ボスコスキ

PubMed Google Scholar でこの著者を検索することもできます

PM: 構想と設計、製図と大幅な修正。 DA: 構想と設計、製図と大幅な修正。 LS: 構想と設計、製図、および大幅な改訂。 MSA: 設計、製図、および大幅な改訂。 AM: デザイン、大幅な修正。 YW: 設計、大幅な改訂。 AA: デザイン、大幅な改訂。 JR: デザイン、大幅な修正。 SA: デザイン、大幅な改訂。 GC: デザイン、大幅な修正。 IB: 設計、大幅な改訂。 NP: 構想と設計、大幅な改訂。 DAH: 構想と設計、草稿と大幅な改訂。すべての著者が提出されたバージョンを承認し、作品に対して個人的に責任を負うことに同意します。 PM と DA は同等に貢献し、最初の共著を共有しました。

ピエトロ・マスカーニへの通信。

著者らは以下の競合する金銭的利益を宣言します: AM は Activ Surgical および Genesis MedTech のコンサルタントです。 NP は Caresyntax の科学顧問であり、彼の研究室は Intuitive Surgical から PhD フェローシップを受けています。 DAH は、ジョンソン・エンド・ジョンソン研究所とアクティブサージカルのコンサルタントです。以前はオリンパス株式会社から研究支援を受けていました。著者らは、以下の競合する非金融利益も宣言します: PM、MSA、AM、YW、AA、および DAH は、データ共有および分析プラットフォームを監督する非営利組織である Global Surgical AI Collaborative の理事を務めています。手術データ用。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Mascagni, P.、Alapatt, D.、Sestini, L. 他手術におけるコンピュータービジョン: 可能性から臨床的価値まで。 npj 数字。医学。 5、163 (2022)。 https://doi.org/10.1038/s41746-022-00707-5

引用をダウンロード

受信日: 2022 年 7 月 15 日

受理日: 2022 年 10 月 10 日

公開日: 2022 年 10 月 28 日

DOI: https://doi.org/10.1038/s41746-022-00707-5

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

npj デジタルメディシン (2023)