Popravki
parent
7006b845fd
commit
46c98b4437
BIN
diploma.pdf
BIN
diploma.pdf
Binary file not shown.
12
diploma.tex
12
diploma.tex
|
@ -1636,22 +1636,22 @@ kar vodi v slabo zmogljivost na novih, nevidenih podatkih.
|
|||
Med različnimi tehnikami regularizacije je "izpuščanje nevronov" (v angleščini "dropout") ena izmed najbolj priljubljenih in učinkovitih metod za nevronske mreže.
|
||||
Koncept izpuščanja nevronov je preprost, a močan: med ucenjem se določen odstotek nevronov v mreži naključno "izklopi" ali izpusti. To pomeni, da se med posameznim prehodom naprej določeni nevroni (in njihove povezave) začasno odstranijo iz mreže.
|
||||
|
||||
V modelu sem uporabil izpuščanje nevronov na več ključnih mestih:
|
||||
V modelu smo uporabili izpuščanje nevronov na več ključnih mestih:
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Izpuščanje Nevronov v Modelu Twins}:
|
||||
Izpuščanje nevronov je bilo uporabljeno za regulacijo različnih komponent modela, vključno z deli, kot so \texttt{attn\_drop}, \texttt{proj\_drop}, \texttt{head\_drop}, \texttt{mlp\_drop1}, \texttt{mlp\_drop2} in \texttt{pos\_drops}..
|
||||
Izpuščanje nevronov je bilo uporabljeno za regulacijo različnih komponent modela, vključno z deli, kot so \texttt{attn\_drop}, \texttt{proj\_drop}, \texttt{head\_drop}, \texttt{mlp\_drop1}, \texttt{mlp\_drop2} in \texttt{pos\_drops}.
|
||||
Vsaka od teh komponent ima svojo specifično vlogo v arhitekturi modela.
|
||||
Z dodajanjem izpuščanja nevronov na te komponente sem dodal dodatno raven regularizacije, ki pomaga preprečiti prekomerno prilagajanje.
|
||||
Z dodajanjem izpuščanja nevronov na te komponente smo dodali dodatno raven regularizacije, ki pomaga preprečiti prekomerno prilagajanje.
|
||||
|
||||
\item \textbf{Izpuščanje Nevronov v Modulu za Združevanje Značilnosti}:
|
||||
Po vsaki konvolucijski operaciji v fuzijskem delu modela sem dodal izpuščanje nevronov.
|
||||
Po vsaki konvolucijski operaciji v fuzijskem delu modela smo dodali izpuščanje nevronov.
|
||||
Konvolucijske plasti lahko hitro postanejo kompleksne in se prekomerno prilagodijo podatkom, zlasti ko delujejo na visokodimenzionalnih značilnostih.
|
||||
Z dodajanjem izpuščanja nevronov po vsaki konvolucijski plasti sem zmanjšal to tveganje in povečal robustnost modela.
|
||||
Z dodajanjem izpuščanja nevronov po vsaki konvolucijski plasti smo zmanjšali to tveganje in povečal robustnost modela.
|
||||
\end{enumerate}
|
||||
|
||||
Izpuščanje nevronov je ena izmed najbolj učinkovitih tehnik regularizacije za nevronske mreže.
|
||||
Z njegovo uporabo v modelu sem zagotovil, da je model bolj robusten in manj nagnjen k prekomernemu prilagajanju na učne podatke.
|
||||
Z njegovo uporabo v modelu smo zagotovili, da je model bolj robusten in manj nagnjen k prekomernemu prilagajanju na učne podatke.
|
||||
V kompleksnih modelih, kot je Twins, kjer je veliko komponent, ki se lahko prekomerno prilagodijo podatkom, je uporaba izpuščanja nevronov ključnega pomena za zagotavljanje natančnih in zanesljivih rezultatov.
|
||||
|
||||
\subsection{Rezultati}
|
||||
|
|
Loading…
Reference in New Issue