Изграждане на изкуствен интелект за диагностично изобразяване: Какво работи, какво се счупва и какво ще изискват регулаторните органи

Диагностичният изкуствен интелект е най-голямата категория медицински устройства с изкуствен интелект, одобрени от FDA, със значителна разлика. От над 950-те устройства с изкуствен интелект, одобрени от FDA до 2024 г., по-голямата част са с изкуствен интелект в радиологията – обхващащи компютърна томография, ядрено-магнитен резонанс, рентгенова снимка, ултразвук, мамография и патологична образна диагностика. Европейският пазар следва подобен модел.

Този обем одобрени устройства може да подсказва за зряла и добре разбрана област. Инженерната реалност е по-сложна. Публикуваният изкуствен интелект в областта на радиологията често се проваля при външна валидация. Устройствата, одобрени чрез регулаторно подаване, се представят значително по-зле в реално клинично внедряване, отколкото в своите валидационни проучвания. А разликата между производителността при сравнение и производителността при внедряване е постоянно по-голяма за изкуствения интелект в областта на образната диагностика, отколкото за повечето други категории клиничен изкуствен интелект.

Тази статия е за това защо съществува тази празнина и какво правилно изисква изграждането на изкуствен интелект за изображения - от конвейера за данни, през архитектурата на модела, до подаването на регулаторни документи.

Допълнителна статия към по-широката ни поредица за здравен изкуствен интелект: инженерната реалност на клиничния изкуствен интелект за технически принципи, приложими в различните модалности; клинично валидиране на структурата на пакета с доказателства; проблемът с данните за стратегии, когато данните за обучение са оскъдни; наблюдение след пускане на пазара за това какво се случва след маркировката CE; и избор на пътека от FDA за стратегията в САЩ.

Защо изкуственият интелект за изображения се проваля при външна валидация

Разликата между производителността на вътрешната валидация и производителността на външната валидация за изображения с изкуствен интелект е документирана подробно в медицинската литература. Публикувани мета-анализи на диагностични изследвания с изкуствен интелект многократно са установили, че по-голямата част от тях показват значително влошаване на производителността, когато са оценени върху набори от данни от сайтове, различни от тези, използвани за разработка. Влошаването не се обяснява с технически проблеми с моделите. То се обяснява със структурата на данните от медицинските изображения.

Специфичните за скенера характеристики се изучават като клинични характеристики. Медицинските изображения съдържат информация за интересуващото ни заболяване. Те съдържат и информация за скенера, който ги е създал – текстурни характеристики, шумови модели, контрастни профили, пространствена резолюция, артефакти, специфични за производителя и протокола за придобиване. Дълбоките невронни мрежи, обучени върху изображения от ограничен набор от скенери, изучават и двата вида характеристики. Когато се разгръщат върху изображения от различни скенери, специфичните за скенера характеристики не съвпадат с разпределението на обучението, но моделът ги прилага така, сякаш съвпадат. Производителността се влошава пропорционално на разликата между характеристиките на скенера по време на обучение и разгръщане.

Този проблем е по-сериозен при компютърната томография (КТ) и ядрено-магнитния резонанс (ЯМР), където параметрите на получаване (ядро, дебелина на среза, алгоритъм за реконструкция, зрително поле) варират значително между различните места и протоколи. Той е по-малко сериозен при мамографията, където получаването е по-стандартизирано, и най-малко сериозен при патологичните изображения, където стандартизираните протоколи за оцветяване и получаване намаляват вариабилността.

Специфичната за мястото клинична практика създава систематични разлики в етикетите. „Основната истина“ в образната диагностика с изкуствен интелект обикновено е анотация от експерт-рентгенолог. Различните рентгенолози в различните институции имат различни прагове за това какво представлява докладвана находка, различни конвенции за това как да се описват двусмислени случаи и различен достъп до клиничен контекст при анотиране на изображения. Модел, обучен върху анотации от институция А, може да научи конвенциите за анотиране на рентгенолозите на институция А – конвенции, които се различават от тези на институция Б.

За бинарна класификация (намиране на наличие/липса), това създава систематични прагови разлики между обектите. За задачи за оценяване на тежестта или измерване, това създава систематични калибровъчни разлики. Моделът правилно предсказва какво биха казали рентгенолозите на институция А, но разположен в институция Б, това не съвпада с това, което казват рентгенолозите на институция Б.

Разлики в популацията на пациентите между различните обекти. Моделите на насочване, географските демографски данни и разпространението на заболяванията се различават между различните институции. Модел, обучен в третичен реферален център, където насочените пациенти имат по-висока разпространеност на заболяванията и често по-тежки или сложни прояви, може да се представи по-слабо в общинска болница с различен състав на случаите и разпространение на заболяванията. Калибрирането на модела – връзката между доверителния коефициент и действителното разпространение – се променя с разпространението на заболяванията по начини, които не се коригират от вътрешните параметри на модела.

Какво трябва да включва тръбопроводът за данни за обучение

Покритие на множество скенери от обучителния набор. Най-ефективното техническо смекчаване за обучение на специфични за скенера характеристики е обучението върху данни от множество скенери и протоколи за придобиване. Това е по-ефективно от техниките за адаптация на домейна, прилагани след обучението. Ако вашите данни за обучение идват от една или две институции, разнообразието от скенери във вашия обучителен набор почти сигурно не отразява гамата от оборудване, с което вашето устройство ще се сблъска при внедряването.

За комерсиално внедрен изкуствен интелект за изображения, набор от данни за обучение, обхващащ поне 5–10 различни производители на скенери, модела или протокола за придобиване във всяка целева модалност на изображенията, е разумен минимум. Подадените регулаторни документи, които разчитат на данни за изображения от едно място, са подложени на все по-голям контрол от страна на нотифицираните органи.

Хармонизация и нормализация. Подходите за нормализиране на изображенията нормализиране на интензитета за ЯМР, нормализиране на дозата за КТ, нормализиране на оцветяването за патология намаляват вариабилността между скенерите в данните за обучение и в конвейера за извод. За намаляване на сигнатурата на скенера в изображенията преди извличането на клиничните характеристики се използват нормализация на ниво място, съвпадение на хистограми и адаптация на домейн, базирана на дълбоко обучение (CycleGAN и подобни). Всеки подход има компромиси: агресивната нормализация, която намалява специфичните за скенера характеристики, може също да намали клинично значимия сигнал. Изборът на подход за нормализиране трябва да бъде документиран и обоснован в техническото досие.

Проспективно етикетирани данни, а не опортюнистични PACS извличания. Много набори от данни за обучение по образна диагностика с изкуствен интелект се сглобяват чрез извличане на изображения от PACS (Система за архивиране и комуникация на изображения) архиви и използване на свързани радиологични доклади като етикети. Това е бързо, но води до етикети с по-ниско качество от проспективната анотация. Радиологичните доклади се пишат за клинична комуникация, а не за обучение по машинно обучение – те използват променлива терминология, препращат към клиничен контекст, който не се вижда на изображението, и може да не описват всички съответни находки (рентгенолог може да отбележи първичната находка, без да документира случайна находка, която би била от значение за класификатора на машинно обучение).

Проспективно етикетиране анотатори да преглеждат изображения специално за целите на машинното обучение, с документиран протокол за анотиране, множество анотатори и разрешаване на несъгласия води до по-висококачествени обучителни данни на значително по-висока цена. За обучителни набори от данни с регулаторно ниво се очаква проспективно етикетиране или структуриран ретроспективен процес на етикетиране със същите контроли за качество.

Съображения за архитектура на модела за изобразяване на изкуствен интелект

CNN остават основната работна сила за задачи, свързани с 2D изображения. ResNet, EfficientNet, DenseNet и техните варианти са зрели, добре характеризирани архитектури за класификация и откриване на 2D изображения. Предварително обучените тегла в ImageNet (или върху големи набори от данни за медицински изображения като CheXpert или RadImageNet) осигуряват силна инициализация за фина настройка на задачи, свързани с медицински изображения. Производителността на CNN-базираните архитектури при стандартни бенчмаркове за медицински изображения е добре установена и предоставя защитима точка за сравнение за регулаторни доказателства.

Зрителни трансформатори (ViT) набират популярност. Механизмите за самовнимание във Vision Transformers са по-добри в улавянето на пространствени взаимоотношения на дълги разстояния в изображенията - което е важно за задачи за образна диагностика, при които диагностичната характеристика може да включва пространствени взаимоотношения между отдалечени области на изображението (напр. сърдечен силует спрямо белодробните полета, модели на разпределение на лимфните възли). Предварително обучени ViT върху набори от данни за медицински изображения са все по-достъпни и конкурентни на CNN при много задачи.

3D архитектури за обемни данни. КТ и ЯМР са по своята същност 3D – те създават стекове от 2D срезове, които заедно образуват 3D обем. 2D анализът на ниво срез губи 3D контекстуалната информация, която рентгенолозите използват при четене на обемни данни. 3D CNN (3D U-Net, за сегментиране) и 3D механизмите за внимание обработват обемните данни директно. Изчислителните разходи са значително по-високи, а изискванията за данни за обучение (анотирани 3D обеми, а не 2D срезове) също са по-високи.

Многозадачно обучение за свързани находки. Много случаи на използване на изкуствен интелект за изображения включват свързани, но различни клинични находки модел за откриване на белодробни нодули може едновременно да открива и характеризира нодули (твърди, матово стъкло, частично твърди) и да измерва размера на нодулите. Многозадачното обучение, при което моделът е обучен да предсказва множество изходи едновременно, често подобрява производителността при всяка отделна задача чрез споделено представяне. За регулаторната документация, многозадачните архитектури изискват внимателно определяне на обхвата на предназначението всеки клиничен изход изисква собствена валидация на производителността и оценка на риска.

Анотация: Решаващият фактор за развитието на изкуствения интелект в областта на изображенията

Междуанотиращото съгласие трябва да се измерва и докладва. Анотацията на медицински изображения е субективна. Двама рентгенолози, анотиращи един и същ набор от данни, няма да постигнат съгласие за всеки случай. Степента на несъгласие – количествено определена чрез каппа на Коен, каппа на Флайс или коефициент на вътрешнокласова корелация в зависимост от задачата – ви показва колко трудна е задачата за анотиране и ограничава максимално постижимата производителност на модела. Ако рентгенолозите са съгласни в 85% от времето, модел, който е правилен в 90% от времето, се представя над човешката последователност – което изисква внимателна клинична обосновка. Ако рентгенолозите са съгласни в 70% от времето, модел, който е правилен в 75% от времето, е приблизително на нивото на експертно човешко представяне.

Нотифицираните органи, които преглеждат доказателства за клинична валидация за изображения с изкуствен интелект, все по-често очакват да видят данни за съгласуваност между анотаторите за етикетите за достоверност. Без тях клиничната оценка не установява как изглежда „правилното“ изпълнение на задачата.

Протокол за разрешаване на разногласия. Когато анотаторите не са съгласни по даден случай, определен процес на разрешаване определя етикета за основна истина. Опции: мнозинство от гласове (където се използват трима или повече анотатори), разрешаване от определен старши клиницист или изключване от набора за обучение/валидиране за наистина двусмислени случаи. Всяка опция има последици за състава на набора от данни за обучение и набора от данни за валидиране. Документирайте протокола за разрешаване в техническото си досие.

Анотация на областта на интерес срещу анотация на цялото изображение. За задачи за откриване и локализиране (намиране и локализиране на нодул, тумор или лезия в изображение), анотацията изисква очертаване на областта на интерес – обикновено ограничаваща кутия или маска за сегментиране на ниво пиксел. Тази анотация е значително по-отнемаща време от двоичните класификационни етикети. Инструментите за анотация, контролът на качеството и обучението на анотиращите за последователно използване на инструментите са част от процеса на разработване на данни за обучение, който трябва да бъде документиран.

Какво ще поискат регулаторните органи

Въз основа на представените до момента диагностични устройства с изкуствен интелект, прегледани от нотифицираните органи и FDA, въпросите, които най-често се повдигат за образната диагностика с изкуствен интелект:

Относно данните за обучение: Колко различни места за събиране на данни и модели на скенери са представени? Каква беше методологията за етикетиране? Какво беше споразумението между анотаторите? Как беше приложено разделянето на обучение/валидиране/тест на ниво пациент?

Относно доказателствата за ефективността: Кои са основните показатели за ефективност и предварително ли са били определени? Каква е ефективността по отношение на съответните клинични подгрупи (пол, възраст, тежест на заболяването)? Как се сравнява ефективността с ефективността на рентгенолозите върху същия набор от данни? Има ли външни доказателства за валидиране (данни от центрове, които не участват в разработването на модела)?

Относно обобщението: Какво се случва, когато моделът получава изображения от скенер, който не е представен в обучението? Как се открива и обработва качеството на изображението извън дистрибуцията?

Относно обяснимостта: Могат ли резултатите от модела да бъдат проследени до разпознаваеми характеристики на изображението? Какви техники за визуализация или атрибуция се използват? Как се съобщават те на клиничните потребители?

Относно наблюдението след пускане на пазара: Как ще се открие влошаване на производителността от промени в скенера или промени в популацията след пускането на пазара?

Относно съответствието със Закона за ИИ (програми, обвързани с ЕС): Как се документира управлението на данните за обучение? Какви са разпоредбите за човешки надзор, информацията за прозрачност, предоставяна на внедрителите, и специфичният за ИИ мониторинг след пускане на пазара съгласно член 72? За медицинските изделия с ИИ от клас IIa+ се прилагат изискванията за висок риск по Закона за ИИ в допълнение към MDR/IVDR и нотифицираните органи сега проучват съответствието със Закона за ИИ, наред с клиничната оценка по MDR.

Изискването за външна валидация

Нотифицираните органи все по-често изискват външни доказателства за валидиране данни за производителността от поне един обект, който не е участвал в разработването на модела за устройства за изображения с изкуствен интелект от клас IIa и по-висок. За устройства без това, PMCF проучвания, предоставящи външни доказателства за валидиране, се очакват като условие за първоначално поставяне на маркировка „CE“.

Планирането на външна валидация във вашата програма за разработка а не като последващо добавяне, след като се установи, че нотифицираният орган го очаква е това, което позволява ефективен регулаторен график. Външният сайт за валидиране се нуждае от споразумения за споделяне на данни, етично одобрение за валидационното проучване и достатъчен брой пациенти във вашата клинична категория. Установяването им отнема време.

За програми, планиращи непрекъснато подобряване на моделите след пускането им на пазара – включително разширяване до нови семейства скенери, нови клинични показания или подобрена производителност – предварително определен план за контрол на промените (PCCP), предварително одобрен по време на първоначалното подаване, е все по-правилният структурен избор. FDA финализира рамката на PCCP през декември 2024 г. и регулаторните органи на ЕС се обединяват около подобни принципи. По-специално за образната диагностика с изкуствен интелект, където непрекъснато се появяват нови модели скенери и подобрени протоколи за придобиване, добре проектираният PCCP превръща това, което иначе би било каскадни цикли на оценка на съответствието, в управляем работен поток за управление на промените.

Където се вписва Vector Labs

Vector Labs изгражда системи за образна диагностика с изкуствен интелект за регулирани клинични приложения, с опит в сърдечно-съдовата образна диагностика, онкологията и женското здраве. Ние работим с екипи за образна диагностика с изкуствен интелект в три аспекта: стратегия за данни и анотации (събиране на данни от множество скенери, протоколи за анотации, оценяване, документация между оценители), инженеринг на модели и конвейери (избор на архитектура, нормализация, валидиране на множество обекти, калибриране) и регулаторно изпълнение (клинична оценка, изграждане на технически файлове, външни валидационни проучвания, проектиране на PCCP).

Ако разработвате изкуствен интелект за диагностично изобразяване и искате да разберете изискванията за регулаторни доказателства, преди да се ангажирате с дизайн на проучване, свържете се с vector-labs.ai .

За по-широката серия: инженерната реалност на клиничния изкуствен интелект обхваща техническите принципи, приложими в различните модалности; клиничното валидиране обхваща структурата на пакета с доказателства; проблемът с данните обхваща стратегии, когато данните за обучение са оскъдни; наблюдението след пускане на пазара обхваща какво се случва след маркировката CE; а изборът на пътека от FDA обхваща стратегията от страна на САЩ.