Архитектурата на цикъла: Как инженерните екипи трябва да структурират самоуправляващи се AI агенти за дългосрочни производствени задачи

Повечето екипи, които изграждат AI агенти днес, на практика изграждат сложни тръбопроводи за бърз отговор. Потребителят подава заявка, моделът я обосновава, извършва се едно или две извиквания на инструмент и се връща отговор. Този модел работи добре за ограничени задачи с ясни терминални състояния, но се разваля, когато се очаква агентите да работят в разширени хоризонти на задачите: многостъпкови изследователски работни потоци, автономни цикли на преглед на код, дългосрочни задачи за съгласуване на данни или всяка задача, при която правилният резултат не може да бъде проверен от човек на всяка междинна стъпка. Преминаването от бърз отговор към това, което все по-често се нарича парадигма на цикъла, изисква различен инженерен договор, при който агентът е отговорен не само за генерирането на резултати, но и за тяхната оценка, вземане на решение дали да продължи и управление на собствения си контекст в рамките на неопределено удължен прозорец за изпълнение. Тази статия описва четирите архитектурни компонента, които правят цикъла от производствен клас да функционира надеждно, и идентифицира къде инженерните екипи най-често въвеждат нестабилност във всеки един от тях.

Допълнителна част към по-широката ни работа върху архитектурата на агентните системи. Вижте „Агентите с изкуствен интелект се нуждаят от идентичност, разрешения и одитни следи“ за информация относно управлението на нечовешка идентичност, моделите за предоставяне на най-малко привилегии и дизайна на портали за проверка за производствени агенти.

Какво всъщност изисква парадигмата на цикъла

Определящата характеристика на цикълната архитектура е, че изходът на агента на стъпка N става част от входа на стъпка N+1. Това създава структура за обратна връзка, която е коренно различна от извикване на промънт-отговор без запазване на състоянието. В цикъл агентът трябва да поддържа работещо представяне на целта си, да проследява какво вече е направил, да оценява дали текущото му състояние е съвместимо с постигането на напредък и да решава дали да продължи, да се разклонява или да прекрати. Нито една от тези възможности не е автоматични свойства на езиковия модел; те трябва да бъдат изрично вградени в системата. Практическото следствие е, че екипите не могат просто да обгърнат способен модел в while цикъл и да го нарекат агент. Те трябва да проектират представянето на целта, стратегията за управление на контекста, слоя за оценка и логиката за прекратяване като отделни инженерни проблеми, всеки със свои собствени режими на отказ.

Определяне на обхвата на целите и проблемът с прецизността

Първият компонент е представянето на целта: как целта на агента е кодирана в началото на цикъл и как това кодиране се запазва с напредването на изпълнението. Най-често срещаният режим на неуспех тук са недостатъчно дефинираните цели. Цел като „одит на хранилището за уязвимости в сигурността“ е интерпретируема на ниво човешка инструкция, но не предоставя на агента достатъчно структура, за да се самонасочва надеждно. Без точен критерий за успех, агентът няма основа да реши кога е направил достатъчно, което води или до преждевременно прекратяване, или до неконтролируемо изпълнение, което продължава след точката на намаляваща възвръщаемост. Правилният инженерен подход е целта да се разложи на набор от проверими подцели, всяка с изрично условие за приемане. Това не е бързо инженерно упражнение; това е упражнение за проектиране на схема. Обектът на целта трябва да бъде структуриран тип данни, който агентът може да чете, актуализира и проверява, а не низ на естествен език, който моделът трябва да преинтерпретира на всяка стъпка.

Управление на контекста в разширени хоризонти

Управлението на контекста е компонентът, който повечето екипи подценяват, и е този, който е най-вероятно да причини тихи повреди в производството. Цикъл, който се изпълнява в продължение на десетки стъпки, натрупва голямо количество междинно състояние: резултати от извиквания на инструменти, частични изходи, съобщения за грешки, решения за разклоняване. Ако всичко това се предава в контекстния прозорец на модела на всяка стъпка, възникват два проблема. Първо, ограниченията за дължината на контекста налагат твърд таван за това колко стъпки може да изпълни цикълът, преди най-ранният контекст да бъде отрязан. Второ, и по-вредно, дългите контексти намаляват вниманието на модела, карайки агента да загуби представа за първоначалната си цел или да преиндексира скорошна информация за сметка на по-ранни ограничения. Практическото смекчаване е многостепенна архитектура на паметта. Незабавната работна памет съхранява само входовете и изходите на текущата стъпка. Обобщено епизодично хранилище съхранява компресирани представяния на завършените стъпки, актуализирани от специално извикване за обобщаване, а не от сурово натрупване. Дългосрочното постоянно състояние, като например оригиналния целеви обект и всички твърди ограничения, се съхранява външно и се инжектира на всяка стъпка като заглавка с фиксирана дължина. Тази структура поддържа контекста предвидим и ограничен, независимо от дължината на цикъла.

Слой за оценка: От проверени от инженер до проверени от агент резултати

В система с бърз отговор, проверката е човешка отговорност. Инженер или краен потребител преглежда резултата и решава дали е приемлив. В циклична архитектура това не е осъществимо за повечето междинни стъпки, а за много производствени задачи не е осъществимо и за крайния резултат. Слоят за оценка е механизмът, чрез който агентът поема тази отговорност за проверка. Той се състои от един или повече проходи за оценка, които се изпълняват след всяка стъпка и оценяват резултата спрямо условията за приемане, дефинирани в целевия обект. Тези проходи за оценка могат да бъдат реализирани като отделни извиквания на модел с ограничена схема на изхода, като детерминистични проверки срещу известни добри модели или като извиквания към външни услуги за валидиране. Критичният принцип на проектиране е, че слоят за оценка трябва да бъде независим от слоя за генериране. Агент, който оценява собствените си изходи, използвайки същото извикване на модел, което ги е произвело, е подложен на същите грешки и отклонения, които са произвели тези изходи. Разделянето на генерирането от оценката, дори ако и двете използват един и същ основен модел, налага отделен проход за разсъждение и значително намалява скоростта, с която уверени, но неправилни изходи преминават безпрепятствено.

Логика на прекратяване и проблемът с избягалия агент

Логиката за прекратяване е най-недостатъчно специфицираният компонент в повечето реализации на агенти. Екипите обикновено прилагат максимален брой стъпки като единствено условие за прекратяване, което е по-скоро праг на безопасност, отколкото принципен критерий за спиране. Добре проектираният цикъл трябва да прекратява при някое от три условия: условията за приемане на целта са изпълнени, потвърдени от оценъчния слой, агентът достига състояние, от което не може да постигне напредък и не съществува път за възстановяване, или бюджетът за ресурси е изчерпан. Второто условие е най-трудно за изпълнение, защото изисква агентът да разпознае кога е заседнал, което само по себе си е нетривиална задача за разсъждение. Един практичен подход е да се поддържа сигнал за напредък: скаларна или категорична мярка, актуализирана от оценъчния слой на всяка стъпка, която проследява дали състоянието на агента се движи към условията за приемане. Ако сигналът за напредък не успее да се подобри в рамките на конфигурируем брой последователни стъпки, цикълът прекратява и ескалира до опашка за преглед „човек в цикъла“, вместо да продължи да консумира изчисления и потенциално да предприема необратими действия.

Изисквания към инструментацията за производствени контури

Цикъл, който се изпълнява без външна наблюдаемост, е оперативно неуправляем. Всяка стъпка от цикъла трябва да генерира структурирано събитие за проследяване, съдържащо най-малко: индекса на стъпката, текущото целево състояние, входните данни за генерирането на извикването, суровия изход, резултата от оценъчния слой, стойността на сигнала за напредък и общия брой консумирани токени. Тези проследявания служат за две цели. По време на изпълнение те захранват система за наблюдение, която може да открива аномални модели, като например осцилиращи оценки, които показват, че агентът преминава между две състояния, без да постига напредък. С течение на времето те формират набор от данни за офлайн анализ на поведението на цикъла, което е основният механизъм за идентифициране на систематични режими на отказ, които не се появяват при тестване на прототипи. Екипите, които пропускат структурираното проследяване в полза на отстраняването на грешки на ниво лог, установяват, че диагностицирането на производствени повреди в дългосрочно работещи цикли е непосилно скъпо, защото причинно-следствената верига между грешка в ранен етап и повреда в късен етап не може да се възстанови от неструктурирани регистрационни файлове.

Протоколи за предаване и границата „човек в цикъла“

Последният архитектурен проблем е дефинирането на условията, при които агентът предава контрола на човек. В производствен цикъл тази граница трябва да бъде кодирана толкова експлицитно, колкото и логиката за прекратяване. Условията за предаване се разделят на две категории: планирани контролни точки, при които цикълът спира на предварително определена стъпка, за да представи междинни резултати за преглед, преди да продължи, и непланирани ескалации, при които агентът достига състояние, което не може да разреши автономно. Планираните контролни точки са подходящи за задачи, при които междинните изходи имат трудни за обратими последици, като например изпращане на комуникации или извършване на записи в базата данни. Непланираните ескалации изискват агентът да класифицира точно собственото си заседнало състояние, което зависи от качеството на описания по-горе сигнал за напредък. И в двата случая предаването трябва да включва структурирано обобщение на състоянието на цикъла в точката на ескалация: какво е завършено, какво остава и каква е оценката на агента за блокиращото състояние. Предаване, което просто връща контрола на човек без контекст, прехвърля когнитивната тежест от реконструирането на историята на цикъла, което обезсмисля голяма част от аргумента за продуктивност при изпълнението на цикъла.