Képek generálása szövegből AI módszerekkel

Az elmúlt hónapokban sok olyan új neurális hálózat modellről lehet hallani, amik természetes nyelven írt szövegből nagy felbontású, fotorealisztikus képeket tudnak generálni. Ezek nem csak egy képadatbázison futtatott keresés eredményei. És nem is csak egy ollóval összevágott kollázs a szövegben megjelenő tárgyakból. Teljesen új képeket tudunk létrehozni. De persze a látványos eredmények mögött csak bonyolult software áll - nincs szó arról, hogy egy emberi festő kreativitásával, megérzéseivel rendelkező programot hoztak volna létre.

Az előadásban megnézzük, hogy milyen erősségei és korlátai vannak ezeknek a modelleknek. Példákon keresztül átfutjuk hogy, mennyire képesek “megérteni” az emberi nyelvet. Hogy tudnak bonyolult, soha nem látott vagy épp nagyon valószerűtlen szövegekből képeket generálni. Megnézzük azt is, hogy mi az a tervezői ötlet, ahogy a Dall-E 2, az Imagen és hasonló modellek egyesítik a legerősebb nyelv- es képfeldolgozó neurális hálózatok erősségeit.