Szekeres Béla János, Izsák Ferenc: On the computation of the gradient in implicit neural networks

The Journal of Supercomputing, https://doi.org/10.1007/s11227-024-06117-6

Kutatásunk az implicit neurális hálózatokkal foglalkozik – ez a mesterséges intelligencia egyik legújabb és legizgalmasabb területe. Ezek a hálózatok eltérnek a hagyományos mesterséges neurális hálózatoktól, amelyekben az információ lépésről lépésre, rétegenként halad előre.

Az implicit hálózatokban viszont előfordulhatnak irányított körök, vagyis az információ körbejárhat a hálózaton belül. Ilyenkor a rendszer egyensúlyi állapotot keres, és addig finomítja a megoldását, amíg egy stabil pontot nem talál – ezt a gondolkodásmódot mély egyensúlyi modelleknek is nevezik. Ezekben a modellekben a „rétegek” súlyai mintha végtelenszer ismétlődnének, és mi megmutattuk, hogy ez a két megközelítés matematikailag egyenértékű.

Milyen újdonságokat hozott a kutatás?

• Saját módszert dolgoztunk ki az ilyen típusú hálózatok felépítésére, ami eltér a korábban megszokott megközelítésektől.
• Javasoltunk egy hatékonyabb módot a hálózat tanításához szükséges számításokhoz (úgynevezett „gradiens” számításhoz), amely kikerüli a bonyolult implicit függvénytételeket.
• Eredményeinket számítógépes szimulációkkal is alátámasztottuk, és ezek alapján a modell jobb teljesítményt nyújtott, mint a hagyományos „előrehaladó” (feedforward) hálózatok.
• A módszert CUDA C nyelven implementáltuk, ami lehetővé tette, hogy olyan hálózati struktúrákat is megvalósítsunk, amiket a népszerű könyvtárak (mint a PyTorch vagy TensorFlow) jelenleg nem tudnak kezelni.

Az elméleti fejlesztések mellett gyakorlati alkalmazásokat is kipróbáltunk:

• Pulzárok felismerése: ezek olyan csillagok, amelyek nagyon gyorsan forognak, és rádiójeleket bocsátanak ki.
• Hálózati behatolások észlelése: vagyis a kibertámadások automatikus felismerése adatforgalmi minták alapján.

Ezekhez implicit autoenkódereket készítettünk, amelyek különösen jól teljesítettek az adatok elemzésében.

Kutatásunk bebizonyította, hogy az implicit neurális hálózatok nemcsak elméletileg érdekesek, hanem gyakorlati problémák megoldásában is erősebbek lehetnek, mint a hagyományos megoldások – ráadásul új módon és hatékonyabban is taníthatók, mint eddig gondoltuk.