Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę własnego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć robocza, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozkłada się na wiele etapów i wymaga przeskakiwania między różnymi źródłami informacji. To właśnie ta umiejętność odróżnia agenta od prostego skryptu, który wykonuje jedynie wcześniej ustaloną listę poleceń.
Osobną kwestią pozostaje sposób ewaluacji własnych działań. Dobrze zbudowany agent jest w stanie rozpoznać, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do poprzedniego etapu, by podjąć próbę innej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej oddaniem.