AI Lifecycle Management og intelligent drift

Der er noget særligt ved det første glimt af en ny model. Det øjeblik hvor man ser sin AI levere resultater, man kun havde håbet på. Den forudsiger churn, genererer tekst, detekterer fejl, opsummerer komplekse dokumenter. Potentialet føles næsten uendeligt.

Men der er også et andet øjeblik, som jeg har set gentage sig igen og igen – især i større organisationer. Det øjeblik, hvor modellen er klar, men ingen ved, hvordan den skal i drift. Hvem der ejer den. Hvordan den vedligeholdes. Hvad der sker, når forudsætningerne ændrer sig. Eller når nogen stiller spørgsmålet: “Kan vi stole på den?”

Det er dér, mange AI-projekter løber ind i muren. Og det er derfor, vi skal se lidt nærmere på AI Lifecycle Management. Ikke som endnu et buzzword. Men som en nødvendighed, hvis AI skal være noget, vi bygger videre på og som giver reel værdi og ikke bare noget, vi bare viser frem.

Hvorfor AI-projekter sjældent dør – de forvitrer

De fleste organisationer jeg møder, er ikke i tvivl om, at AI har potentiale. De har eksperimenteret. Måske har de endda lavet et succesfuldt POC-projekt eller brugt GPT til intern automatisering.

Men det, der ofte mangler, er strukturen omkring selve modellen: Hvordan versionerer vi den? Hvordan overvåger vi performance over tid? Hvordan genskaber vi tidligere outputs, hvis nogen spørger ind til beslutninger? Hvordan sikrer vi, at den stadig virker, når data ændrer sig? Og hvordan udvikler og deployer vi en ny udgave?

Det er de spørgsmål, AI Lifecycle Management skal kunne svare på. Det handler ikke kun om at træne en god model – men om at få den til at leve i en dynamisk, kompleks og reguleret virkelighed.

AI Lifecycle Management: Mere end MLops

Traditionelt har vi talt om MLops som en måde at operationalisere machine learning på – med inspiration fra DevOps og CI/CD. Og det er stadig relevant, når man bygger klassiske ML-modeller på struktureret data.

Men nutidens AI-landskab er langt bredere. Vi arbejder med store sprogmodeller, hvor vi ikke altid ejer træningsdata eller selve modellen. Vi bygger agenter, der orkestrerer flere modeller og systemer. Vi tilpasser pre-trainede foundation models gennem finetuning, prompt engineering eller RAG (Retrieval-Augmented Generation). Vi kører AI i edge-scenarier, med begrænset båndbredde og lokale compliance-krav.

Derfor taler vi i dag om AI Lifecycle Management som den overordnede disciplin. En tilgang, der favner hele livscyklussen – fra idé til drift, overvågning, revision og afvikling – uanset om vi bygger modeller selv eller orkestrerer eksisterende AI-tjenester.

De fem faser i AI Lifecycle Management

1. Ideation og formål: AI skal ikke starte med teknologien, men med forretningsudfordringen. Er det en beslutningsunderstøttelse? Automatisering? Risikovurdering? Hvad er succeskriteriet – og hvordan måles det? Hvordan kan man udarbejdes et evalueringsdatasæt?

2. Udvikling og træning: Klassisk dataforberedelse, feature engineering, træning og validering. Her er det vigtigt, at man tænker versionering og reproducérbarhed ind fra starten – fx med værktøjer som MLflow, DVC eller Azure ML Pipelines.

3. Deployment og integration: Hvordan kommer modellen ud at leve? Som API? Som en del af en agent? Som batch-rapport? Her bliver der hurtigt brug for DevOps, infrastrukturbeskrivelse (IaC) og sikkerhedspolitikker.

4. Monitoring og feedback: Et overset, men kritisk område. Har du styr på model-drift, datadrift, performance drift? Er der mulighed for human-in-the-loop korrektion? Hvordan opfanger du bias eller performance degradation over tid?

5. Governance og compliance: Kan du dokumentere beslutningsgrundlag og output? Kan du genskabe tidligere modelversioner? Har du audit trails? Er modellen i overensstemmelse med jeres etiske og juridiske retningslinjer?

AI-agenter: Dér, hvor AI bliver alvor

Jeg tror, vi står et sted, hvor modeller ikke længere er nok. Vi skal bygge systemer, der kan handle.

AI-agenter er den naturlige forlængelse. De er softwarekomponenter, der bruger modeller til at træffe beslutninger ud fra kontekst, sætte handlinger i gang og interagerer med systemer, API’er, mennesker og data. For at sikre, at agenterne træffer de rigtige beslutninger, er det afgørende at være meget konkret omkring hvordan man måler succes. Hvis man kan udarbejde et evalueringsdatasæt med input-prompts og korrekte svar (golden answers), er det et uvurderligt værktøj – både i udviklingsfasen og til overvågning efterfølgende.

Vi designer og benytter AI-agenter på mange forskellige måder – fra det helt simple til det forbløffende avancerede. Nogle steder starter det med en intelligent chatbot, der forstår kundens spørgsmål og ruter henvendelsen videre til rette afdeling. Andre steder handler det om mere komplekse assistenter, der arbejder bag kulissen og automatisk håndterer dokumenter, klassificerer indhold, oversætter og arkiverer på tværs af afdelinger og systemer.

I finanssektoren kan det være arbejde med at designe agenter, der overvåger transaktioner for tegn på hvidvask, analyserer dokumenter for risikoprofiler og automatisk eskalerer sager, der kræver menneskelig vurdering – alt sammen med versionsstyret logik og fuld sporbarhed.

I en anden branche nemlig lufttransport, hvor tid og logistik er altafgørende, er de betydningsfulde agenter, dem der kan analysere vejrforhold, passagerdata og bemandingsplaner i realtid for at kunne forudse forsinkelser og automatisk justere gate- og crew-disponering. Samtidig kunne det være relevant, at systemet også kunne sørge for at kommunikere relevante ændringer til passagererne.

I sundhedsvæsenet kan AI management hjælpe sundhedspersonalet med at gennemgå store mængder kliniske noter og patientjournaler, identificere potentielle risikofaktorer og foreslå relevante screenings eller observationer til behandlingsplaner – uden at gå på kompromis med datasikkerheden eller lægefagligheden.

Fælles for de her løsninger er, at de ikke bare er smarte systemer og det er ikke nok med en model. Det kræver en agent, der kan koble kontekst, beslutning og handling sammen. Og det kræver et lifecycle setup, der sikrer, at alt kan overvåges, forklares og forbedres løbende. Agenterne er designet til at kunne indgå i den daglig drift uanset industri, hvor sporbarhed, justerbarhed og governance er en selvfølge – ikke en eftertanke.

AI er ikke længere et vildt eksperiment – det er driftskritisk

Noget af det vigtigste, jeg har lært gennem de seneste år, er at AI er ikke noget, man eksperimenterer med. Det er noget, man forvalter.

Det betyder ikke, at vi ikke skal være nysgerrige. Tværtimod. Men det betyder, at AI skal behandles med samme modenhed og ansvar som resten af de kritiske systemer. For når først AI træffer beslutninger, genererer indhold eller repræsenterer virksomheden udadtil – så er det ikke længere innovation. Så er det forretning.

Derfor handler AI Lifecycle Management i sidste ende om tillid. Tillid til, at modellen gør det rigtige. At den kan forklares. At den ikke forsvinder, når en nøgleperson skifter job. At den kan vedligeholdes, uden at hele systemet skal genopfindes.

Til jer, der sidder med ansvaret

Hvis du læser med som CDO, CTO, CIO eller digitaliseringsansvarlig i en større virksomhed, så har du sikkert allerede nogle AI-initiativer i gang. Det vigtigste I kan gøre nu er ikke at gå i gang med at bygge endnu en model – men at se på, om I har grundlaget til at få jeres eksisterende løsninger til at leve og være bæredygtige. I skal bl.a. spørg jer selv om I har en strategi for AI-agenter og deres rolle i organisationen, om I har et setup til at overvåge og opdatere jeres modeller og om I ved hvordan I skalerer ansvarligt og sikkert.

Hvis ikke – så er det ikke et tegn på, at I er bagud. Det er et tegn på, at I står ved det samme skæringspunkt som mange andre: Hvor AI skal tages alvorligt. Ikke som fremtid. Men som drift.

Sørg for, at jeres AI ikke bare bliver tekniske eksperimenter, men at I gør det til noget konkret, brugbart, som I kan stole på.