Az emberi agy és a Stable Diffusion közös erővel hoz létre élethű képeket
Az oszakai egyetem biotudományi egyetemének kutatói jelentős áttörést értek el a neurális képgenerálás területén. A csapat nagy felbontású képeket hozott létre az emberi agy aktivitásának figyelésével a Stable Diffusion modellen segítségével.
Az eredmények biztatóak: a rekonstruált képek rendkívül pontosak és nagy felbontásúak. A kutatók az fMRI képkimenet és a szemantikus dekódoló kombinációját használták fel, hogy a végső generált képek jobban hasonlítsanak a résztvevőknek bemutatott eredeti képekhez.
Hirdetés:
A csapat az agyi tevékenység vizsgálatára funkcionális mágneses rezonancia képalkotást (fMRI) alkalmazott. Az emberek agyi tevékenységét az fMRI szkennerek segítségével mérték, miközben azok egy sor képet néztek. A látott képek alapján a csapat a látens reprezentációt, vagyis a képadatok modelljét jósolta meg az fMRI jelekből.
Ezután a modellt feldolgozták, és a diffúziós folyamaton keresztül „zajt” adtak hozzá. A magasabb látókéregben lévő fMRI-jelekből származó szöveges reprezentációkat dekódolták, és bemenetként használták fel a végső kép elkészítéséhez.
A piros keretes képeket az alanyok nézték, a fekete keretes képeket a Stable Diffusion generálta fMRI adatok alapján.
A kutatás eredményei egy új lehetőséget teremtenek a képgenerálás területén. Az AI-modellek képesek az emberi aggyal együttműködni a képek újraalkotásában. A technológiai áttörés lehetővé teszi, hogy a rekonstruált képek jobban hasonlítsanak az eredeti, valódi képekhez, mint korábban.
A csapat által végzett kutatás eredményeit egy decemberben megjelent tanulmányban ismertették. A Yu Takagi és Shinji Nishimoto vezette csapat újabb mérföldkőhöz ért ebben a kutatási területen, és remélhetőleg ez a fajta technológiai fejlesztés a jövőben még több izgalmas lehetőséget kínál majd az AI és a képgenerálás területén.
