A Jó, a Rossz és a Csúf ─ Hogyan mérjük a nagy nyelvi modellek okosságát és használhatóságát?

A ChatGPT sikerét megelőzően is, de azóta még több nagy nyelvi modell (LLM) és ezek számos variációja jelent meg. Az újabb és egyre kifinomultabb modellek összehasonlítása komplexebb feladattá vált a sokféle részképesség, alkalmazási helyzet miatt, és megjelentek olyan szempontok is mint a modellek nem kívánatos felhasználás elleni védettségének mértéke. Az előadás során betekintünk az LLM modellek és rendszerek értékelésével kapcsolatos módszerekbe és kihívásokba, ezek fejlődésébe. Bízunk abba, hogy a mesterséges intelligencia ezen csúcstermékei képességeinek egyre bővülő jellemzése közelebb visz saját hasonló emberi képességeink jobb megértéshez.