Dodaj se rezultate stratificiranega uzorcenja

main
Gašper Spagnolo 2023-08-24 12:30:58 +02:00
parent a3f022d60d
commit 6d2b60223e
No known key found for this signature in database
GPG Key ID: 2EA0738CC1EFEEB7
2 changed files with 34 additions and 15 deletions

Binary file not shown.

View File

@ -1318,47 +1318,54 @@ Križno utežena srednja kvadratna napaka & 0.007 & 0.07 & 0.06 \\
\subsubsection{Hanningova kriterijska funkcija}
Hanningova kriterijska funkcija je pridobila vrednost
8.49, na ucni mnozici je dosegla $RDS_{\text{train}}$ vrednost 0.893 in na validacijski mnozici $RDS_{\text{val}}$ vrednost 0.709.
Glede na rezultate lahko opazimo, da Hanningova kriterijska funkcija izkazuje precej visoko uspešnost na trening setu, medtem ko je njena učinkovitost na validacijskem setu nekoliko nižja, vendar še vedno zelo dobra.
Hanningova kriterijska funkcija, znana tudi po svoji edinstveni značilnosti dodeljevanja uteži vzorcem glede na njihovo lokacijo, je v testiranju pokazala zavidljive rezultate.
S skupno vrednostjo 8.49 in $RDS_{\text{train}}$ vrednostjo 0.893 na učni množici se je izkazala kot izredno učinkovita za trening set.
Čeprav je bila njena učinkovitost na validacijski množici, kjer je dosegla $RDS_{\text{val}}$ vrednost 0.709, nekoliko nižja, so rezultati še vedno zelo obetavni.
\begin{figure}[!h]
\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{./img/hanning_validation_plot.png}
\includegraphics[width=0.7\textwidth]{./img/hanning_validation_plot.png}
\caption{Primer izhoda ob uporabi Hanningove kriterijske funkcije}
\label{fig:hanning_kriterijska_funkcija}
\end{figure}
Razlog za to lahko pripišemo edinstveni značilnosti Hanningove funkcije, ki dodeljuje uteži vzorcem glede na njihovo lokacijo.
V kontekstu satelitskih slik, kjer je pomembnost središčnega položaja običajno večja kot pomembnost robovih položajev, Hanningova funkcija ponuja naravno prilagodljivost, ki pomaga modelu bolje razumeti in upoštevati te pomembne razlike.
Ključna prednost Hanningove funkcije je v njeni zmožnosti prilagajanja uteži vzorcem glede na njihov položaj, kar se zdi še posebej primerno pri analizi satelitskih slik.
V teh slikah je središčni položaj pogosto bistven, medtem ko robovi morda niso tako pomembni.
To naravno prilagodljivost Hanningove funkcije lahko opazimo v njenih rezultatih, ki jih dosegla v obravnavanem primeru.
\subsubsection{Gaussovo utežena srednja kvadratna napaka}
Gaussova utežena srednja kvadratna napaka je dosegla rezultate, ki so bili veliko slabsi v primerjavi s Hanningovo kriterijsko funkcijo, na ucni mnozici je dosegla $RDS_{\text{train}}$ vrednost 0.077 in na validacijski mnozici $RDS_{\text{val}}$ vrednost 0.74.
Čeprav je Gaussova utežena srednja kvadratna napaka prav tako zasnovana na principu dodeljevanja uteži glede na lokacijo vzorca, rezultati kažejo, da ne dosega enake uspešnosti kot Hanningova funkcija.
Z $RDS_{\text{train}}$ vrednostjo 0.077 na učni množici in $RDS_{\text{val}}$ vrednostjo 0.74 na validacijski množici so njeni rezultati precej slabši v primerjavi s Hanningovo funkcijo.
\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{./img/mse_gauss_validation_plot.png}
\includegraphics[width=0.7\textwidth]{./img/mse_gauss_validation_plot.png}
\caption{Primer izhoda ob uporabi Gaussovo utežene srednje kvadratne napake}
\label{fig:gasuss_mse_validation}
\label{fig:gauss_mse_validation}
\end{figure}
Kljub temu, da tudi Gaussova funkcija izgube dodeljuje uteži glede na lokacijo vzorca, se zdi, da Hanningova funkcija bolje ustreza naravi satelitskih podatkov, vsaj v obravnavanem primeru.
Čeprav obe funkciji temeljita na podobnem principu, se zdi, da Hanningova funkcija bolje odraža posebnosti in značilnosti satelitskih slik.
\subsubsection{Hanningovo utežena srednja kvadratna napaka}
Pri tej funkciji se je izkazalo, da mreža ni dosegla želenih rezultatov.
Namesto, da bi se mreža naučila prepoznati in interpretirati relevantne značilnosti satelitskih slik, se je večinoma učila šuma.
Praktično, model se ni naučil nič koristnega, kar nakazuje, da Hanningovo utežena srednja kvadratna napaka morda ni primerna za to vrsto podatkov ali za uporabljeni model.
\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{./img/mse_hannings_validation_plot.png}
\includegraphics[width=0.7\textwidth]{./img/mse_hannings_validation_plot.png}
\caption{Primer izhoda ob uporabi Hanningove utežene srednje kvadratne napake}
\label{fig:gasuss_mse_validation}
\end{figure}
\subsubsection{Križno utežena srednja kvadratna napaka}
Podobno kot pri Hanningovi uteženi srednji kvadratni napaki se je tudi pri Križno uteženi srednji kvadratni napaki pokazalo, da mreža večinoma prepoznava in se uči šuma.
Rezultati so bili nezadovoljivi in kažejo na to, da ta funkcija ni najbolj primerna za analizo satelitskih slik s tem pristopom.
\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{./img/cwmse_gauss_validation_plot.png}
\includegraphics[width=0.7\textwidth]{./img/cwmse_gauss_validation_plot.png}
\caption{Primer izhoda ob uporabi Križno utežene srednje kvadratne napake}
\label{fig:gasuss_mse_validation}
\end{figure}
@ -1405,13 +1412,25 @@ Slabosti stratificiranega vzorčenja:
Nacin & Hanningova izguba & $RDS_{\text{train}}$ & $RDS_{\text{val}}$ \\
\hline
Train test split ucenje & 8.49 & 0.893 & 0.709 \\
Ucenje s stratificiranim uzorcenjem & / & / & / \\
Ucenje s stratificiranim uzorcenjem & 3.17 & 0.750 & 0.731 \\
\hline
\end{tabular}
\caption{Rezultati ob uporabi stratificiranega uzorcenja.}
\label{tab:stratified}
\end{table}
Iz rezultatov \ref{tab:stratified} je razvidno, da je uporaba stratificiranega vzorčenja vplivala na rezultate.
Za boljše razumevanje uspešnosti modelov je ključno upoštevati tudi njihovo zmogljivost na validacijskih naborih podatkov.
To je še posebej pomembno, saj nam validacija daje vpogled v to, kako dobro model predvideva rezultate na nevidenih podatkih.
Če primerjamo rezultate $RDS_{\text{val}}$ med obema pristopoma, opazimo, da je model, ki je bil naučen s stratificiranim vzorčenjem, dosegel rahlo višjo uspešnost (0.731) v primerjavi z modelom, ki je bil naučen s tradicionalno metodo "train-test split" (0.709).
To kaže, da se je model, ki je bil naučen s stratificiranim vzorčenjem, nekoliko bolje spoprijel s generalizacijo na nevidenih podatkih.
To dejstvo podkrepi tudi zmanjšana razlika med uspešnostjo na učni in validacijski množici v primeru stratificiranega vzorčenja.
Večja konsistentnost rezultatov med učno in validacijsko množico je lahko pokazatelj, da model ni pretirano prilagojen in se lahko bolje generalizira na nove podatke.
Torej, medtem ko je tradicionalna "train-test split" metoda dosegla višjo uspešnost na učni množici, se zdi, da stratificirano vzorčenje ponuja bolj zanesljive in stabilne rezultate na validacijski množici, kar je ključnega pomena za ocenjevanje realne zmogljivosti modela.
V našem primeru se zdi, da stratificirano vzorčenje ponuja bolj robusten in stabilen model za obravnavane satelitske slike.
Vendar pa je pomembno upoštevati tudi omejitve stratificiranega vzorčenja, kot so omejena generalizacija in potencialne težave pri "out-of-distribution" podatkih.
\section{Vpliv velikosti Hanningovega okna na rezultate}
Velikost Hanningovega okna igra ključno vlogo pri določanju uteži vzorcev. Zaradi narave Hanningove kriterijske funkcije velikost okna neposredno vpliva na razporeditev in obliko uteži, dodeljenih vzorcem v satelitskih slikah.