Add more plots
parent
eae211f2e6
commit
7392ac8755
BIN
diploma.pdf
BIN
diploma.pdf
Binary file not shown.
49
diploma.tex
49
diploma.tex
|
@ -1307,25 +1307,24 @@ Kjer so:
|
||||||
|
|
||||||
Model smo učili na računalniški konfiguraciji, opremljeni z visokozmogljivim procesorjem Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz s 12 jedri.
|
Model smo učili na računalniški konfiguraciji, opremljeni z visokozmogljivim procesorjem Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz s 12 jedri.
|
||||||
Dodatno je računalnik vseboval grafično kartico NVIDIA GeForce RTX 3060 s 12 GB pomnilnika, kar je omogočalo efektivno paralelizacijo in optimizacijo operacij, ki jih zahteva model med treningom.
|
Dodatno je računalnik vseboval grafično kartico NVIDIA GeForce RTX 3060 s 12 GB pomnilnika, kar je omogočalo efektivno paralelizacijo in optimizacijo operacij, ki jih zahteva model med treningom.
|
||||||
|
Naš razvoj je temeljil na platformi Ubuntu z uporabo python knjižnice PyTorch.
|
||||||
Naš razvoj je temeljil na platformi Ubuntu z uporabo knjižnice PyTorch.
|
|
||||||
S to kombinacijo smo lahko izkoristili tako fleksibilnost razvoja kot tudi zmogljivosti, ki jih ponuja takšna strojna oprema.
|
|
||||||
|
|
||||||
Da bi povečali produktivnost in optimizirali proces, smo razvili avtomatizirane skripte, imenovane \texttt{push-ml-node} in \texttt{train-ml-node}.
|
Da bi povečali produktivnost in optimizirali proces, smo razvili avtomatizirane skripte, imenovane \texttt{push-ml-node} in \texttt{train-ml-node}.
|
||||||
Prva skripta je bila uporabljena za sinhronizacijo virov z računalnikom, medtem ko je bila druga skripta uporabljena za zagon samega učenja.
|
Prva skripta je bila uporabljena za sinhronizacijo virov z računalnikom, medtem ko je bila druga skripta uporabljena za zagon samega učenja.
|
||||||
|
|
||||||
\begin{lstlisting}[language=bash]
|
Za dosego optimalnih rezultatov smo uporabili specifične hiperparametre in nastavitve:
|
||||||
train-ml-node: push-ml-node # Zagon ucenja na oddaljenem racunalniku
|
|
||||||
@echo "Training on ml-node"
|
|
||||||
ssh ml-node "tmux new-session -d -s training && \
|
|
||||||
tmux send-keys -t training 'cd /home/ml-node/Documents/uav-localization-2023 && \
|
|
||||||
. .venv/bin/activate && python3 train.py --config configuration-ml-node' C-m && \
|
|
||||||
tmux split-window -h -t training && \
|
|
||||||
tmux send-keys -t training 'nvtop' C-m"
|
|
||||||
\end{lstlisting}
|
|
||||||
|
|
||||||
Uporaba teh skript nam je omogočila, da hitro in enostavno zaženemo proces učenja, medtem ko smo lokalno nadaljevali z drugimi razvojnimi nalogami.
|
\begin{description}
|
||||||
Skripta je avtomatizirala zagon učenja in spremljanje napredka s pomočjo orodja \texttt{nvtop}, kar je omogočilo nemoteno delo in hitro iteracijo modelov.
|
\item[Naprava:] Učenje je potekalo na \texttt{cuda:0}, ki se nanaša na uporabo NVIDIA grafične kartice.
|
||||||
|
\item[Hitrost učenja:] Uporabljena sta bila dva različna parametra: $lr\_fusion = 0.0004$ za združevanje in $lr\_backbone = 0.0001$ za osnovno arhitekturo.
|
||||||
|
\item[Prilagajanje hitrosti učenja:] $gamma = 0.2$ z mejniki na epohah 9, 13 in 15.
|
||||||
|
\item[Delovni procesi:] Skupno 24 hkratnih delovnih procesov (\texttt{num\_workers = 24}).
|
||||||
|
\item[Epoh:] Model je bil učen skozi 24 epoh.
|
||||||
|
\item[Velikost serije:] \texttt{batch\_size = 16}.
|
||||||
|
\item[Mešanje podatkov:] Podatki so bili premešani pred vsako epoho.
|
||||||
|
\item[Funkcija izgube:] Uporabljena je bila \texttt{hanning} funkcija.
|
||||||
|
\item[Vizualizacija:] Vključena za spremljanje napredka učenja.
|
||||||
|
\end{description}
|
||||||
|
|
||||||
\section{Izbira kriterjiske funkcije}
|
\section{Izbira kriterjiske funkcije}
|
||||||
|
|
||||||
|
@ -1492,7 +1491,7 @@ Križno utežena srednja kvadratna napaka & 0.007 & 0.07 & 0.06 \\
|
||||||
|
|
||||||
\subsubsection{Hanningova kriterijska funkcija}
|
\subsubsection{Hanningova kriterijska funkcija}
|
||||||
|
|
||||||
Hanningova kriterijska funkcija, znana tudi po svoji edinstveni značilnosti dodeljevanja uteži vzorcem glede na njihovo lokacijo, je v testiranju pokazala zavidljive rezultate.
|
Hanningova kriterijska funkcija, znana tudi po svoji značilnosti dodeljevanja uteži vzorcem glede na njihovo lokacijo, je v testiranju pokazala dobre rezultate.
|
||||||
S skupno vrednostjo 8.49 in $RDS_{\text{train}}$ vrednostjo 0.893 na učni množici se je izkazala kot izredno učinkovita za trening set.
|
S skupno vrednostjo 8.49 in $RDS_{\text{train}}$ vrednostjo 0.893 na učni množici se je izkazala kot izredno učinkovita za trening set.
|
||||||
Čeprav je bila njena učinkovitost na validacijski množici, kjer je dosegla $RDS_{\text{val}}$ vrednost 0.709, nekoliko nižja, so rezultati še vedno zelo obetavni.
|
Čeprav je bila njena učinkovitost na validacijski množici, kjer je dosegla $RDS_{\text{val}}$ vrednost 0.709, nekoliko nižja, so rezultati še vedno zelo obetavni.
|
||||||
Primer je viden na sliki \ref{fig:hanning_validation_plot}.
|
Primer je viden na sliki \ref{fig:hanning_validation_plot}.
|
||||||
|
@ -1553,7 +1552,7 @@ Primer je viden na sliki \ref{fig:gasuss_cwmse_validation_plot}.
|
||||||
\textbf{Zaključek:} Hanningova kriterijska funkcija se je v obravnavanem primeru izkazala kot najbolj učinkovita.
|
\textbf{Zaključek:} Hanningova kriterijska funkcija se je v obravnavanem primeru izkazala kot najbolj učinkovita.
|
||||||
Njena edinstvena sposobnost prilagajanja uteži glede na lokacijo vzorca se zdi še posebej primerna za obravnavo satelitskih slik, kar je morda razlog za njeno premoč nad ostalimi obravnavanimi funkcijami izgube.
|
Njena edinstvena sposobnost prilagajanja uteži glede na lokacijo vzorca se zdi še posebej primerna za obravnavo satelitskih slik, kar je morda razlog za njeno premoč nad ostalimi obravnavanimi funkcijami izgube.
|
||||||
|
|
||||||
\section{Ucenje s Stratificiranim Vzorčenjem}
|
\section{Učenje s Stratificiranim Vzorčenjem}
|
||||||
|
|
||||||
\subsection{Stratificirano vzorčenje}
|
\subsection{Stratificirano vzorčenje}
|
||||||
Stratificirano vzorčenje je metoda vzorčenja, pri kateri se celoten nabor podatkov razdeli na ločene podskupine ali strate.
|
Stratificirano vzorčenje je metoda vzorčenja, pri kateri se celoten nabor podatkov razdeli na ločene podskupine ali strate.
|
||||||
|
@ -1599,7 +1598,7 @@ Ucenje s stratificiranim uzorcenjem & 3.17 & 0.750 & 0.731 \\
|
||||||
\label{tab:stratified}
|
\label{tab:stratified}
|
||||||
\end{table}
|
\end{table}
|
||||||
|
|
||||||
Iz rezultatov \ref{tab:stratified} je razvidno, da je uporaba stratificiranega vzorčenja vplivala na rezultate.
|
Iz rezultatov \ref{tab:stratified} je razvidno, da je uporaba stratificiranega vzorčenja pozitivno vplivala na rezultate.
|
||||||
|
|
||||||
Za boljše razumevanje uspešnosti modelov je ključno upoštevati tudi njihovo zmogljivost na validacijskih naborih podatkov.
|
Za boljše razumevanje uspešnosti modelov je ključno upoštevati tudi njihovo zmogljivost na validacijskih naborih podatkov.
|
||||||
To je še posebej pomembno, saj nam validacija daje vpogled v to, kako dobro model predvideva rezultate na nevidenih podatkih.
|
To je še posebej pomembno, saj nam validacija daje vpogled v to, kako dobro model predvideva rezultate na nevidenih podatkih.
|
||||||
|
@ -1626,11 +1625,25 @@ V naših testiranjih smo ugotovili, da je najbolje najti uravnoteženo velikost
|
||||||
|
|
||||||
\begin{figure}[H]
|
\begin{figure}[H]
|
||||||
\centering
|
\centering
|
||||||
\includegraphics[width=0.9\textwidth]{./img/plot_different_hann_kernels.png}
|
\includegraphics[width=1\textwidth]{./img/plot_different_hann_kernels.png}
|
||||||
\caption{Primerjava rezultatov ob uporabi razlicnih velikosti Hanningovega okna.}
|
\caption{Primerjava rezultatov ob uporabi razlicnih velikosti Hanningovega okna.}
|
||||||
\label{fig:plot_different_hann_kernels}
|
\label{fig:plot_different_hann_kernels}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
|
\begin{figure}[H]
|
||||||
|
\centering
|
||||||
|
\includegraphics[width=1\textwidth]{./img/heatmaps3d_1.png}
|
||||||
|
\caption{Primerjava toplotnih map ob uporabi razlicnih velikosti Hanningovega okna.}
|
||||||
|
\label{fig:heatmaps3d_1}
|
||||||
|
\end{figure}
|
||||||
|
|
||||||
|
\begin{figure}[H]
|
||||||
|
\centering
|
||||||
|
\includegraphics[width=1\textwidth]{./img/heatmaps3d_2.png}
|
||||||
|
\caption{Primerjava toplotnih map ob uporabi razlicnih velikosti Hanningovega okna.}
|
||||||
|
\label{fig:heatmaps3d_2}
|
||||||
|
\end{figure}
|
||||||
|
|
||||||
\section{Regularizacija v modelu z uporabo izpuščanja nevronov}
|
\section{Regularizacija v modelu z uporabo izpuščanja nevronov}
|
||||||
|
|
||||||
\subsection{Izpuščanje nevronov}
|
\subsection{Izpuščanje nevronov}
|
||||||
|
|
Binary file not shown.
After Width: | Height: | Size: 480 KiB |
Binary file not shown.
After Width: | Height: | Size: 331 KiB |
Binary file not shown.
Before Width: | Height: | Size: 151 KiB After Width: | Height: | Size: 160 KiB |
Loading…
Reference in New Issue