Aktiveringsfunksjonens påvirkning på nevrale nettverks læringsevne

Sammendrag

Aktiveringsfunksjonene i nevrale nettverk utgjør en viktig del av kunstig intelligens. En aktiveringsfunksjon er den funksjonen i et nevralt nettverk som leverer resultatet basert på datainputen. Denne studien sammenliknet læringsevnen til nevrale nettverk med ulike aktiveringsfunksjoner. De seks aktiveringsfunksjonene PReLU, ReLU, Sigmoid, Softplus, Tanh og den lineære funksjonen, f(x) = x ble testet på 600 nevrale nettverk. Nettverkene ble trent og testet på MNIST-datasettet som består av 80 000 bilder av håndskrevne tall. Resultatene viste at det var signifikante forskjeller mellom læringsevnen til nettverkene som brukte ulike aktiveringsfunksjoner. Nettverkene som brukte PReLU oppnådde høyest identifiseringsrate, og hadde lavest standardavvik.