A GPT-4 átment a mérlegképes könyvelői vizsgán

A mesterséges intelligencia (AI) egyre inkább az életünk részévé válik, és ennek egyik legújabb példája a ChatGPT 4.0 sikerének története. A könyvelői vizsgán való átmenet nem mindennapi teljesítmény, de a OpenAI legújabb fejlesztésének, a ChatGPT 4.0-nek nem okozott gondot.

A ChatGPT egy mesterséges intelligencia modell, amelyet a OpenAI fejlesztett ki. Az AI modell most először próbált meg egy CPA (Certified Public Accountant, avagy mérlegképes könyvelő) gyakorlati vizsgát, miután az első kísérletnél nem sikerült átmennie. Ez nem is annyira meglepő, hiszen a vizsgázók 50%-a megbukik az első próbálkozásnál. Az első kísérletnél a ChatGPT 3.5-ös verziója volt használatban, míg a legújabb kísérletben már a 4-es verziót alkalmazták. Az új verzió eredményei meggyőzőek voltak: AUD szekcióban 87.5%, BEC szekcióban 85.7%, FAR szekcióban 78%, és végül REG szekcióban 82%-ot ért el a GPT-4.


Hirdetés:



A kutatók, akik között vannak olyan akadémikusok is, akik egy korábbi tanulmányban a ChatGPT-t számviteli alapkérdésekkel tesztelték, először egy „nulla shot” forgatókönyvben tesztelték a GPT-4-et. Ebben a forgatókönyvben a modellnek csak egy felszólítást vagy kérdést, valamint néhány magas szintű utasítást vagy leírást adnak, de nincs explicit tréningje a konkrét feladatra. A modell kizárólag a már meglévő tudására és általános megértésére támaszkodik a válasz generálásához, anélkül, hogy további finomhangolásra vagy specifikus példákra lenne szüksége. Ebben a forgatókönyvben a GPT-4 jobban teljesített, mint a 3.5-ös verzió, de még mindig megbukott, 67,8%-os átlagos eredménnyel.

A kutatók ezután kipróbálták a „10-shot” forgatókönyvet, amelyben először 10 minta számviteli kérdéssel „etetik meg” a mesterséges intelligenciát, hogy megadjanak neki némi tárgyismereti tréninget és hozzászoktassák a számviteli gondolkodáshoz. Ezt a tesztet néhány apró beállítási változtatás is kísérte (amely lehetséges, ha az 4-es verziót API-n keresztül használják a webes kliens helyett, ahogy az Accounting Today tette a kísérletében), hogy kiküszöböljék a modellek válaszaiban jelentkező véletlenszerűséget és csökkentsék a kreativitást. Ebben a forgatókönyvben a GPT-4 átlagosan 74,4%-ot ért el minden szekcióban, tehát éppen hogy nem érte el a 75%-os „átmeneti” szintet.

Végül a kutatók a „gondolatmenet” módszerét alkalmazták a ChatGPT további előzetes etetésére. A gondolatmenet módszere azt jelenti, hogy egy nagyobb problémát több köztes lépésre bontanak, hogy megkapják a végső választ, kihasználva a bot képességét, hogy emlékezzen a beszélgetés során felmerült dolgokra és alkalmazza azokat a válaszaiban, ahelyett, hogy minden felszólítást független eseményként kezelne. Funkcionálisan ez megfelel egy ember vizsgára való tanulásának. Ez a beállítás – a 10 számviteli kérdéssel előzetesen etetett modellen végzett gondolatmenet módszer alkalmazása – eredményezte, hogy a ChatGPT átmenjen a gyakorlati vizsgán minden szekcióban, 84,3%-os átlagos eredménnyel.

A tanulmány eredményei azt mutatják, hogy a ChatGPT képes kellően jól teljesíteni, hogy átmenjen a fontos számviteli minősítéseken. Ez felveti a kérdést, hogy mi a „versenyelőnye” az emberi könyvelőnek a géppel szemben.

„Tudomásunk szerint ez az első alkalom, hogy egy AI ugyanolyan jól teljesített, mint az emberi könyvelők többsége egy valós világi számviteli feladatban. Ez felveti a kérdést, hogy hogyan fog a gép és a könyvelő a jövőben együtt dolgozni. Arra ösztönözzük a kutatást, hogy segítsen megérteni, hogy a gépi és emberi képességeket hola legjobb bevetni a számviteli területen. Szintén ösztönözzük azon kutatásokat, amelyek fejlesztik és kitalálják a gépek képességeit a számviteli munka nagyobb részének elvégzésére – ezáltal szabadítva fel a könyvelőket, hogy innováljanak és nagyobb értéket adjanak szervezeteiknek és a társadalomnak”

– áll a tanulmány záró részében

David Wood, a Bringham Young Egyetem munkatársa, aki a jelen tanulmány, valamint egy korábbi, a ChatGPT 3.5-ös verzióját számviteli osztálykérdésekkel tesztelő tanulmány fő szerzője, elmondta a Accounting Today-nek, hogy az eredmények azt mutatják, hogy a könyvelők nem engedhetik meg maguknak, hogy figyelmen kívül hagyják az AI-t.

„El vagyok ájulva attól, hogy milyen gyorsan változik ez a technológia. Eddig a ChatGPT használata munkámban produktívabbá tett, és élvezem! Lehetővé tette számomra, hogy kreatívan dolgozzak, és eltávolítsam munkám unalmas, monoton részeit. Minél többet használom ezt a technológiát, annál inkább hiszem, hogy jelentősen meg kell változtatni azt, amit eddig könyvelőkként és oktatókként csináltunk. Meggyőződésem, hogy a változások pozitívak lesznek, de úgy gondolom, hogy a technológia munkánkba történő bevezetése hullámzó folyamat lesz”​.

– David Wood, a Bringham Young Egyetem docense

Hozzászólás írása

Az Ön email címe nem fog megjelenni. A kötelező mezőket csillaggal (*) jelöljük.