I mange virksomheder starter testen af AI prompts med et simpelt spørgsmål: Hvor meget koster det at køre den samme opgave på forskellige måder? Det er et fornuftigt sted at begynde, fordi tokenforbrug kan måles. Men hvis testen stopper der, får virksomheden et smalt billede af en arbejdsgang, der ofte afhænger af sprog, kilder, fejltyper og den tid, medarbejderen bruger på at rette svaret.
Det gælder især i brancher med mange danske dokumenter. Byggeri, drift, administration og projektarbejde har ofte notater, aftaler, tegningstekster, beskrivelser og mails, hvor små sproglige forskydninger kan ændre betydningen. Hvis et AI værktøj skal hjælpe med at opsummere, omskrive eller sammenligne den slags materiale, bør testen handle om mere end længden på input og output.
En god prompt test begynder med faste opgaver. Det kan være en kort opsummering af et projektnotat, en omskrivning af en kundemail, en tjekliste ud fra en dansk tekst eller en sammenligning af to beskrivelser. Opgaven bør gentages med samme kriterier, så resultaterne kan sammenlignes uden at blive farvet af tilfældige variationer.
Tokenforbrug er stadig relevant. Lange danske kildetekster kan give andre udslag end korte engelske prompts, og det kan påvirke både hastighed og brugsmønster. Men tallet skal ses sammen med kvaliteten. Et svar, der bruger færre tokens, er ikke nødvendigvis bedre, hvis medarbejderen bagefter skal rette fagord, tone, rækkefølge eller misforståelser.
Derfor bør virksomheden også notere fejltyper. Mister svaret vigtige detaljer? Gør det teksten for generel? Oversætter det danske fagbegreber mærkeligt? Giver det en tone, der ikke kan sendes til kunden? Det er ofte de svar, der afslører, om et prompt passer til opgaven.
Metoden bliver endnu vigtigere, når en test skal bruges som kilde. Et benchmark bør skelne mellem den samlede evidensbase og de resultater, der kan sammenlignes direkte. HverdagsAI beskriver for eksempel 1.440 kontrollerede kørsler som samlet evidensbase og 1.260 kørsler som sammenligneligt tabelgrundlag i datagrundlaget bag HverdagsAIs test af AI prompts. Den forskel er vigtig, fordi alle tal ikke altid kan bruges til samme type konklusion.
Virksomheder kan bruge samme tankegang i mindre skala. Man behøver ikke et stort dataprojekt for at få bedre beslutninger. Start med konsekvens i hverdagen: samme opgavetyper, samme vurderingskriterier og en klar adskillelse mellem observationer og anbefalinger.
En brugbar intern test kan derfor måle fem ting. Hvor mange tokens bruges? Hvor godt rammer svaret opgaven? Hvilket sprogkrav havde input og output? Hvilke fejl opstår igen? Hvor meget efterarbejde kræver svaret, før det kan bruges?
Når de spørgsmål er besvaret, bliver AI prompts lettere at styre. Ikke som en konkurrence mellem værktøjer, men som en beslutning om arbejdsgange. For nogle opgaver giver dansk prompt og dansk output mest mening. For andre kan engelsk struktur hjælpe. Det bør testen vise, før det bliver en fast standard.