Кой е отговорен за грешката с изкуствения интелект? Изграждане на архитектура за отчетност, преди регулаторите да ви наложат

Повечето предприятия, внедряващи изкуствен интелект днес, имат структура на управление, която работи добре при едно специфично условие: когато нищо не се обърка. Моделът се доставя, бизнес показателите се подобряват и екипът, който го е изградил, получава признание, разпределено широко между инженерния, продуктовия и изпълнителния слой. Когато даден модел генерира дискриминационен резултат, задейства нарушение на съответствието или причинява съществен оперативен проблем, същата разпределена структура води до различен резултат - търсене на отговорност, което не открива никого, който да е ясен отговорен. Тази статия твърди, че техническите директори и главните директори по изкуствен интелект трябва да разработят ясни структури за отчетност сега, не в отговор на регулаторен мандат, а защото управлението, заложено в инженерната култура от самото начало, е структурно по-евтино и по-защитимо от управлението, пренастроено под външен натиск.

Разликата в отчетността е структурна, а не случайна

Разпространението на отговорността за ИИ в организациите не е управленски провал в обичайния смисъл. То е предвидимо следствие от начина, по който се изграждат и притежават системите с ИИ. Производственият модел обикновено има екип за данни, който е събрал данни за обучение, екип по машинно обучение, който ги е обучил и оценил, продуктов екип, който е дефинирал случая на употреба и критериите за приемане, екип за платформа, който я е внедрил, и собственик на бизнес, който я е одобрил. Когато системата генерира вреден резултат, всеки екип може точно да опише собствения си тесен принос и също толкова точно да опише решението, взето от някой друг. Режимът на неуспех е архитектурен: отговорността никога не е била възложена на нито една точка във веригата, така че тя пропада през всяка празнина едновременно. Търговското последствие е, че реакцията при инциденти става бавна, регулаторните отговори стават непоследователни и правното излагане се натрупва без ясен собственик, който да го управлява.

Правата за вземане на решения са основата, а не надстройката

Най-често срещаната грешка при проектирането на управление на ИИ е третирането на отчетността като ниво на отчитане - комитет, съвет за преглед, документ за политиката, който се намира над съществуващата инженерна организация. Структурите за управление, които действат на това ниво, пристигат твърде късно в процеса на разработка, за да променят резултатите. Докато моделът достигне до комитет за управление, архитектурните решения, които определят неговия рисков профил, вече са взети: данните за обучение са избрани, целевата функция е дефинирана, показателите за оценка са избрани. Смислената отчетност изисква права за вземане на решения, определени в момента, в който решенията действително се вземат, което е в процеса на техническо проектиране, а не над него. Това означава да се посочи писмено кой има правомощия да одобрява състава на данните за обучение за модел с високи залози, кой има правомощия да определя приемливи проценти на грешки и за кои подпопулации, и кой носи лична отговорност, ако тези решения по-късно се окажат грешни.

Граница между техническия директор и главния директор по изкуствен интелект

Организационната връзка между CTO и Главния директор по ИИ е мястото, където много архитектури за отчетност се провалят на практика. CTO обикновено притежава инженерната платформа, инфраструктурата и организацията за доставка. Главният директор по ИИ обикновено притежава стратегията за ИИ, управлението на модела, а в някои организации и самата функция за машинно обучение. Когато тези роли не са изрично разграничени, отговорността за грешките в ИИ е склонна да попадне в празнината между тях - CTO посочва решенията за модела като извън обхвата на платформата, главният директор по ИИ посочва условията за внедряване като извън обхвата на модела и никой от двамата не отговаря за грешката изцяло. Решението не е промяна в линията на докладване, а матрица на правата за вземане на решения: писмена спецификация на това кои категории решения принадлежат към коя роля, с изрични клаузи за съвместна собственост за решения, които действително обхващат и двете области, като например изборът на инфраструктура за извод, която влияе върху поведението на модела под натоварване. Без тази матрица границата между двете роли функционира като празнота на отчетността, а не като прехвърляне на отговорност.

Модели на отговорност за инциденти

Назначаване на отговорно лице

Всяка продуктивна система с изкуствен интелект трябва да има определено отговорно лице, а не екип, не комитет, който носи лична отговорност за поведението на системата в производствения процес. Това е моделният еквивалент на собственик на системата в традиционното ИТ управление и принципът е същият: дифузната собственост води до бавна реакция при инциденти и неясна отчетност след инцидента. Определеното лице не е необходимо да е изградило системата или да е най-технически експертът по нея. Неговата функция е да бъде единствената точка за контакт за ескалация, лицето, което прави обаждането, когато екипът за реагиране при инциденти не е съгласен, и лицето, което подписва доклада след инцидента. Организациите, които се съпротивляват на тази структура с мотива, че системите с изкуствен интелект са твърде сложни за отчетност от едно лице, на практика избират да нямат отговорно лице, а не да имат несъвършено такова.

Пътища за ескалация и класификация на тежестта

Моделът за собственост върху инциденти изисква схема за класификация на тежестта, която съпоставя режимите на отказ на ИИ с пътища на ескалация, преди да възникне инцидент. Модел, генериращ резултати с 2% процент на грешки в контекст на препоръки с нисък залог, е различна категория събитие от същия модел, генериращ 2% процент на грешки в контекст на кредитно решение или клиничен триаж. Класификацията трябва да бъде дефинирана чрез въздействие - финансова вреда, нарушение на регулаторните разпоредби, щети за репутацията, физическа вреда, а не чрез технически характеристики на отказа. Пътят на ескалация за инцидент със степен на тежест 1 (материална вреда или нарушение на регулаторните разпоредби) трябва да достигне до главния директор по ИИ и главния юрисконсулт в рамките на определен времеви прозорец, обикновено от два до четири часа, с документиран регистър на решенията от точката на откриване. Организациите, които дефинират този път само след възникване на инцидент, ще установят, че първият сериозен отказ на ИИ служи и като първи тест за тяхната структура за комуникация с ръководството, което не е желателна комбинация.

Вграждане на отчетност в жизнения цикъл на разработка

Архитектурата на отчетност е най-ефективна, когато е вградена като набор от задължителни артефакти в самия процес на разработване на ИИ, а не като външен преглед, прилаган в края. На практика това означава три специфични интервенции. Първо, всеки проект за разработване на модел трябва да създаде карта на модела или еквивалентен документ, който посочва отговорното лице, описва предвидения случай на употреба и изрично изключва случаите на употреба, записва състава на данните за обучение и известните ограничения, и посочва критериите за оценка и популациите, за които са валидирани. Второ, всяко решение за внедряване трябва да изисква одобрена оценка на риска, която идентифицира режимите на отказ, специфични за контекста на внедряване, а не за модела като цяло. Трето, всеки модел в производство трябва да има определена честота на преглед поне на тримесечие за системи с високи залози, при която посоченото отговорно лице преглежда производителността спрямо първоначалните критерии за приемане и документира всяко съществено отклонение. Тези артефакти изпълняват едновременно две функции: те налагат определянето на отговорност преди възникване на проблеми и представляват одитната следа, която регулаторните органи и страните по делото ще изискват, когато възникнат проблеми.

Защо реактивното управление струва повече

Аргументът за проактивно изграждане на архитектура на отчетност е отчасти принципен и отчасти икономически. Принципният аргумент е ясен: организациите, които внедряват системи, способни да причинят вреда, трябва да имат структури за отчетност, съизмерими с тази възможност. Икономическият аргумент е по-специфичен. Структурите за управление, проектирани под регулаторен натиск в отговор на глоба, разследване или публичен инцидент, са изградени, за да задоволят външно изискване, а не да се впишат в действителния процес на разработване на организацията. Те са склонни да създават театър на съответствие: документация, която удовлетворява одиторите, без да променя решенията, които причиняват вреда. Те също така са склонни да бъдат по-скъпи за внедряване, защото изискват пренастройване в съществуваща инженерна култура, която вече е нормализирала липсата на формална отчетност. Изискванията на Закона на ЕС за ИИ за високорискови системи с ИИ, които включват техническа документация, оценки на съответствието и задължения за мониторинг след пускане на пазара, не се различават структурно от описаните по-горе артефакти. Организациите, които вече са внедрили тези практики в своя жизнен цикъл на разработка, ще удовлетворят регулаторното изискване с пределни разходи. Организациите, които не са го направили, ще се сблъскат с програма за отстраняване, която нарушава активното разработване, като същевременно работи под регулаторен контрол.

Одитните пътеки като инженерна инфраструктура

Одитната следа е най-малко бляскавият компонент на архитектурата на отчетност и този, който най-вероятно ще бъде третиран като последваща мисъл. Тя трябва да се третира като инфраструктура. За производствена система с изкуствен интелект, одитната следа трябва да обхваща най-малкото: версията на модела, която е довела до всяко решение, входните данни, които са били предадени към нея, резултата и оценката за доверие, бизнес логиката, която е превърнала резултата от модела в действие, и всяко човешко пренебрегване, което е възникнало. Това не е предимно изискване за съответствие, а информацията, необходима за диагностициране на повреда, когато такава възникне. Без пълна одитна следа, анализът след инцидента е догадки и отговорното лице, посочено в структурата на управление, няма фактическа основа, от която да защити решенията на организацията. Инженерните разходи за изграждане на тази инфраструктура са предварително натоварени и ограничени. Цената за възстановяването ѝ след значителен инцидент, при условия на правно разкриване, е значително по-висока и се появява в най-неподходящия възможен момент.