임상 인공지능 품질 개선: 의료 분야 AI 알고리즘의 지속적인 모니터링 및 업데이트를 지향합니다.

npj 디지털 의학 5권, 기사 번호: 66(2022) 이 기사 인용

13,000회 액세스

19 인용

49 알트메트릭

측정항목 세부정보

기계 학습(ML) 및 인공 지능(AI) 알고리즘은 임상 데이터에서 통찰력을 도출하고 환자 결과를 개선할 수 있는 잠재력을 가지고 있습니다. 그러나 이러한 매우 복잡한 시스템은 환경 변화에 민감하고 성능이 저하되기 쉽습니다. ML/AI 알고리즘은 임상 실습에 성공적으로 통합된 후에도 장기적인 안전성과 효율성을 보장하기 위해 지속적으로 모니터링하고 업데이트해야 합니다. 임상 치료에서 AI를 성숙시키기 위해 우리는 품질 보증과 이러한 알고리즘의 개선을 담당하는 병원 부서("AI-QI" 부서라고 함)의 창설을 옹호합니다. 병원 품질 보증 및 품질 개선에 오랫동안 사용되어 온 도구를 정적 ML 알고리즘을 모니터링하기 위해 어떻게 조정할 수 있는지 논의합니다. 반면, 지속적인 모델 업데이트 절차는 아직 초기 단계입니다. 우리는 방법론적 혁신을 위한 기존 방법과 기회 중에서 선택할 때 주요 고려 사항을 강조합니다.

임상 분야에서 인공 지능(AI)과 기계 학습(ML)의 사용은 의료 영상, 심장학 및 급성 치료 분야에서 수많은 사례를 포함하여 지난 수십 년 동안 엄청나게 발전했습니다1,2,3,4,5,6. 실제로 미국 식품의약청(FDA)에서 임상용으로 승인한 AI/ML 기반 알고리즘 목록은 계속해서 빠른 속도로 증가하고 있습니다7. 이러한 의료 알고리즘의 가속화된 개발에도 불구하고 병원에 적용되는 것은 제한적이었습니다. 성공적인 통합을 향한 과정에서 직면하게 되는 과제는 초기 개발 및 평가 단계를 훨씬 넘어서는 것입니다. ML 알고리즘은 데이터 의존도가 높기 때문에 주요 관심사는 성능이 특정 상황, 특정 시간에 데이터가 생성되는 방식에 크게 좌우된다는 것입니다. 이러한 모델의 복잡성으로 인해 잠재적인 실패 모드가 모호해질 수 있으므로 시간이 지남에 따라 이러한 모델이 실제 환경에서 어떻게 작동할지 예측하기 어려울 수 있습니다8. 현재 FDA에서는 승인 후 알고리즘을 수정하지 말 것을 요구하고 있으며 이를 "잠김"이라고 합니다. 이 정책은 유해한 모델 업데이트의 도입을 방지하지만, 잠긴 모델은 의료와 같이 매우 동적인 환경에서 시간이 지남에 따라 성능이 저하될 수 있습니다. 실제로 많은 환자 사례 혼합, 임상 실습 패턴, 치료 옵션 등으로 인해 ML 성능 저하가 기록되었습니다9,10,11.

AI/ML 기반 임상 알고리즘의 장기적인 신뢰성과 효율성을 보장하려면 정기적인 모니터링 및 유지 관리를 위한 시스템을 구축하는 것이 중요합니다12,13,14. 지속적인 모니터링 및 업데이트의 중요성이 최근 여러 논문에서 인정되었지만15,16,17 대부분의 기사에서는 이러한 시스템을 구현하는 방법에 대한 세부 정보를 제한적으로 제공합니다. 실제로 가장 유사한 작업은 인터넷 회사에서 생산 가능한 ML 시스템 생성을 기록한 최근 논문일 수 있습니다18,19. 그럼에도 불구하고 의료 환경에서는 오류가 더 심각한 영향을 미치고, 샘플 수가 적고, 데이터에 노이즈가 더 많은 경향이 있다는 점에서 다릅니다.

이 작업에서 우리는 AI-QI라고 하는 임상 AI 알고리즘에 대한 유사한 이니셔티브를 설계하기 위한 템플릿으로 기존 병원 품질 보증(QA) 및 품질 개선(QI) 노력20,21,22을 살펴봅니다. 표준 임상 QI 관행과 유사점을 도출함으로써 통계적 프로세스 제어(SPC)의 잘 확립된 도구가 임상 AI 기반 알고리즘을 모니터링하는 데 어떻게 적용될 수 있는지 보여줍니다. 또한, 실제 데이터 부족, AI로 인한 치료 관련 검열, 데이터의 고차원성 등 AI 알고리즘을 모니터링할 때 발생하는 여러 고유한 문제에 대해 설명합니다. 모델 업데이트는 기술 혁신의 기회가 많은 완전히 새로운 작업입니다. 모델 업데이트 절차를 선택할 때 주요 고려 사항과 장단점을 간략하게 설명합니다. AI-QI를 효과적으로 구현하려면 임상의, 병원 관리자, 정보 기술(IT) 전문가, 생물통계학자, 모델 개발자 및 규제 기관 간의 긴밀한 협력이 필요합니다(그림 1). 마지막으로, 우리의 논의를 뒷받침하기 위해 FDA 승인 Edwards의 Acumen Hypotension Prediction Index23에서 영감을 받아 급성 저혈압 에피소드(AHE)에 대한 가상의 AI 기반 조기 경보 시스템의 예를 사용할 것입니다.