Hoe Scobe en AI samenwerken op een rekensom; verwondering en irritatie

Kritisch rekenen: IRR-berekening als voorbeeld

Achter de schermen is Scobe bezig met het ontwikkelen van een aantal micro-learnings voor planeconomen. Hier zitten natuurlijk een hoop rekensommen bij uit de praktijk. Met zo’n som testen kun je makkelijk een dag bezig zijn; met gebruik van AI valt dit in te korten, zodat iemand alleen de gemaakte berekeningen dient te controleren in plaats van alles uit te rekenen én te controleren.

In onze ervaring is ChatGPT op dit moment beter in het controleren van sommen dan Microsoft Co-Pilot; de AI assistent die gekoppeld is aan Excel. Of dit over een half jaar nog zo is, weten we niet. AI ontwikkelingen gaan natuurlijk razendsnel.

Invoer chat-sessie

We leggen ChatGPT een interne rendementsberekening (IRR) voor een casus van een kinderdagverblijf. De casus bestaat uit aankoop, 4 jaar verhuur en daarna verkoop; alle bedragen zijn primo. We vragen ChatGPT van een gegeven kasstroom de IRR te berekenen. We hebben de aankoop op 1 januari van het 1e jaar geplaatst. De verkoop hebben we staan op 1 januari jaar 5. Hieronder is het stappenplan voor een controle van hoger niveau. Voor onderstaand voorbeeld geldt: Scobe gebruikt de betaalde versie van ChatGPT.

1. Upload eventuele bestanden naar ChatGPT en geef de opdracht om deze te formatteren zodat de AI ze kan lezen en begrijpen.
2. Geef de AI context en een rol binnen deze context. “Scobe is bezig met het ontwikkelen van micro-learnings voor planeconomen. Het is aan jou om de rol van student op je te nemen en deze opgaven te maken.”
3. Voor kwalitatief betere antwoorden: geef AI de instructie om kritisch en nauwkeurig te werken.
4. Geef de opdracht en format waarin je het antwoord wil ontvangen.

​

Lerend vermogen

ChatGPT stelt een correctie voor: dat we de aankoop in januari van jaar 0 moeten doen, maar ook dat we de verkoop naar het begin van het 4e jaar moeten doen. Beide kloppen niet. Bijvoorbeeld voor het 2e punt: als je op 1 januari van jaar 1 (primo) een verhuurd pand verkoopt kun je natuurlijk niet tot 31 december van datzelfde jaar huurinkomsten hebben. Een mens snapt dit maar onze lokale AI toch niet.

Gelukkig staat ChatGPT open voor feedback. We leggen aan de ai uit waarom het niet klopt en vragen de IRR opnieuw te berekenen. ChatGPT weet dan tot het juiste antwoord te komen. AI kan ook zelf beredeneren waarom hij de mist in is gegaan. Bij een nieuwe opdracht van dezelfde aard maakt hij dezelfde fout niet nogmaals: ai leert dus echt van jouw feedback en sturing.

Stelligheid

Een tweede incident in ditzelfde gesprek laat wederom zien dat je niet klakkeloos alles wat ai uitspuugt dient te geloven. Zo claimt AI met bron en al: bij vastgoedrekenen gaat men typisch uit van ultimo. Na 2 seconden Googelen weet je echter dat die claim niet waar is. Wees dus altijd kritisch met antwoorden van ChatGPT, ook al onderbouwt hij zijn claims met (betrouwbare) bronnen. De wereld is niet zo zwart-wit als computers willen.

Irritatie

Wie nu de Google zoekmachine raadpleegt krijgt prominent bovenaan een AI-antwoord. Zo stelden we voor onze micro-learnings de vraag wat een verduurzaming per m2 kost om van G naar A label van een kantoor te komen. Het gegeven antwoord was € 64,- per m2. Een kijkje naar de bron brengt ons naar een onderzoeksrapport van het Economisch Instituut voor de Bouw (EIB). Zeker een betrouwbare bron, alleen de publicatiedatum is november 2016. Je hebt er hedendaags dus niets aan. Dat geldt voor vele vragen over kosten en opbrengsten. Ook als je AI vraagt om door te rekenen of informatie te actualiseren lukt dat slecht, in onze ervaring.