diff --git a/diploma.pdf b/diploma.pdf index 0a61d05..0004606 100644 Binary files a/diploma.pdf and b/diploma.pdf differ diff --git a/diploma.tex b/diploma.tex index 12764d3..8ca6bf5 100644 --- a/diploma.tex +++ b/diploma.tex @@ -305,22 +305,22 @@ todo \clearemptydoublepage % zahvala -\thispagestyle{empty}\mbox{}\vfill\null\it% -\noindent -Zahvaljujem se mami in proskiju. -\rm\normalfont - -% prazna stran -\clearemptydoublepage - -%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% -% posvetilo, če sama zahvala ne zadošča :-) -\thispagestyle{empty}\mbox{}{\vskip0.20\textheight}\mbox{}\hfill\begin{minipage}{0.55\textwidth}% -Svoji dragi proskici. -\normalfont\end{minipage} - -% prazna stran -\clearemptydoublepage +%\thispagestyle{empty}\mbox{}\vfill\null\it% +%\noindent +%Zahvaljujem se mami in proskiju. +%\rm\normalfont +% +%% prazna stran +%\clearemptydoublepage +% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%% posvetilo, če sama zahvala ne zadošča :-) +%\thispagestyle{empty}\mbox{}{\vskip0.20\textheight}\mbox{}\hfill\begin{minipage}{0.55\textwidth}% +%Svoji dragi proskici. +%\normalfont\end{minipage} +% +%% prazna stran +%\clearemptydoublepage %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% @@ -407,11 +407,11 @@ A proper abstract should contain around 100 words which makes this one way too s \pagestyle{fancy} \chapter{Uvod} -Droni in sateliti se uporabljajo za iskanje in reševanje, kartiranje terena, kmetijsko spremljanje, navigacijo dronov in podobne naloge. +Brezpilotni letalniki in sateliti se uporabljajo za iskanje in reševanje, kartiranje terena, kmetijsko spremljanje, navigacijo dronov in podobne naloge. Raznolikost platform za tehnologijo oddaljenega zaznavanja prinaša veliko prednosti na teh področjih. Ljudje ne lahko le prek satelitov pridobijo podatkov velikega obsega, temveč tudi s pomočjo platform dronov pridobijo bolj jasne lokalne slike. -Trenutno se droni v glavnem zanašajo na satelitske signale za navigacijo in določitev položaja med letom. +Trenutno se brezpilotni letalniki v glavnem zanašajo na satelitske signale za navigacijo in določitev položaja med letom. Vendar se v praksi satelitski signal močno oslabi po dolgi razdalji, kar lahko povzroči motnje sprejetega satelitskega signala na dronu. Zlasti na vojaškem področju je izguba satelitskega signala pogosta. Samozadostna lokalizacija in navigacija dronov v okoljih, kjer so satelitski signali omejeni ali moteni, postaja vse pomembnejša. @@ -435,10 +435,6 @@ Ko je lokacija iskanja najdena na iskalnem zemljevidu, lahko iz podatkov o zemlj \chapter{Teoreticno Ozadje} \label{ch0} -\section{Pregled literature} - -Tuki bos opisal o sorodhin delih in kake clanke si use si pogledu. - \section{Osnovni pojmi in terminologija} \subsection{Brezpilotni letalnik} @@ -923,11 +919,11 @@ Osredotoča se na dve ključni območji: \end{enumerate} Zajem slik je bil izveden na naključnih poteh po mestu, kar omogoča širok spekter scenarijev in situacij. -V mestnih območjih je poudarek na razumevanju, kako se droni lokalizirajo in navigirajo med visokimi zgradbami, kjer so lahko GPS signali zmanjšani ali moteni. -V zelenih območjih je cilj razumeti, kako se droni obnašajo v okoljih, kjer so vizualni vzorci manj raznoliki in se teren lahko zdi monoton. +V mestnih območjih je poudarek na razumevanju, kako se brezpilotni letalniki lokalizirajo in navigirajo med visokimi zgradbami, kjer so lahko GPS signali zmanjšani ali moteni. +V zelenih območjih je cilj razumeti, kako se brezpilotni letalniki obnašajo v okoljih, kjer so vizualni vzorci manj raznoliki in se teren lahko zdi monoton. V naboru podatkov za ucenje je 10.000 slik iz desetih mest, pri čemer vsako mesto prispeva 1.000 slik. -Droni so bili kalibrirani na višini 150 metrov nad navedeno nadmorsko višino mesta. -Kamere na dronih imajo vidno polje 80 stopinj in so usmerjene pravokotno na središče Zemlje. Vse slike so bile ustvarjene z uporabo orodja Google Earth Studio +Brezpioltni letalniki so bili kalibrirani na višini 150 metrov nad navedeno nadmorsko višino mesta. +Kamere na brezpilotnih letalnikih imajo vidno polje 80 stopinj in so usmerjene pravokotno na središče Zemlje. Vse slike so bile ustvarjene z uporabo orodja Google Earth Studio Mesta, vključena v ucni nabor podatkov, so: @@ -948,7 +944,7 @@ Dodatno je bil v nabor dodan tudi testni nabor podatkov za Ljubljano, ki vključ Vsaka slika je opremljena z oznakami lokacije kamere v sistemu ECEF. Sistem ECEF (Earth Centered, Earth Fixed) je globalni koordinatni sistem z izhodiščem v središču Zemlje. -Ta nabor podatkov ponuja vpogled v izzive in možnosti, ki jih droni srečujejo v različnih mestnih okoljih, +Ta nabor podatkov ponuja vpogled v izzive in možnosti, ki jih brezpilotni letalniki srečujejo v različnih mestnih okoljih, in je ključnega pomena za razvoj naprednih algoritmov za lokalizacijo in navigacijo. \begin{figure}[h] @@ -1030,18 +1026,27 @@ Da bi bolje izvlekli informacije večih meril in obdržali več prostorskih info nato pa se modul WAMF uporablja za izračun podobnosti in fuzijo več značilnosti. Končno so združene značilnosti povečane, da se ustvari končna izhodna napovedna mapa. Na izhodu dobimo toplotno karto iste velikosti kot vhodna satelitska slika v WAMF-FPI. +\begin{figure}[h] +\centering +\includegraphics[width=\linewidth]{./img/model.pdf} +\caption{Skica arhitekture modela} +\label{fig:model_architecture} +\end{figure} + + \subsection{Modul za ekstrakcijo značilnosti} WAMF-FPI uporablja strukturo, podobno omrežju Siamese, vendar se razlikuje od tradicionalnega sledenja objektom. Med satelitskimi in slikami brezpilotnega letalnika je velika razlika, saj izvirajo iz različnih naprav. -Zato veji UAV in satelitski pogled v WAMF-FPI ne uporabljata metode deljenja uteži. -WAMF-FPI uporablja satelitske slike (400 × 400 × 3) in UAV slike (128 × 128 × 3) kot vhod modela, nato pa se značilnosti slik ekstrahirajo s pomočjo PCPVT-S. +Zato veji slike brezpilotnega letalnika in satelitske slike v WAMF-FPI ne uporabljata metode deljenja uteži. +WAMF-FPI uporablja satelitske slike (400 × 400 × 3) in slike brezpilotnega letalnika (128 × 128 × 3) kot vhod modela, nato pa se značilnosti slik ekstrahirajo s pomočjo PCPVT-S. Natančneje, odstranili smo zadnjo stopnjo PCPVT-S in uporabili samo prve tri stopnje za ekstrakcijo značilnosti. Ko je velikost vhodnih slik 400 × 400 × 3 in 128 × 128 × 3, lahko iz obeh vej pridobimo značilnostne mape z obliko 25 × 25 × 320 in 8 × 8 × 320. V nasprotju z Deit-S, uporabljenim v FPI \cite{dai2022finding}, ima PCPVT-S piramidno strukturo, ki se lahko bolje prilagodi nalogi goste napovedi. Uporaba piramidne strukture postavlja temelje za kasnejšo uporabo modula WAMF. Hkrati omrežje z piramidno strukturo lahko učinkovito zmanjša količino izračunov in izboljša hitrost izračuna. To je zelo pomembno za dejansko implementacijo metode. -Po uporabi PCPVT-S za ekstrakcijo informacij iz slike, se izračun podobnosti izvede neposredno na zadnjih značilnostnih mapah, bo nizka ločljivost izhodne značilnostne mape neposredno vplivala na natančnost končnih rezultatov modela (mapa 25 × 25 na 400 × 400). -V ta namen smo uporabili strukturo piramide značilnosti za združevanje izvirnih značilnostnih map z uporabo upsamplinga in lateralne povezovalne strukture, končni izhod pa je bil stisnjen le za faktor štiri v primerjavi z vhodom. + +Po uporabi PCPVT-S za ekstrakcijo informacij iz slike, se izračun podobnosti izvede neposredno na zadnjih značilnostnih mapah. +Končni izhod pa je stisnjen le za faktor štiri v primerjavi z vhodom. Katerega se potem z bikubicno interpolacijo poveca na velikost vhodne satelitske slike. Lokalizacijska pristranskost, ki jo povzroča nizka ločljivost značilnostne mape, je izključena pri viru. Ker ima plitva značilnostna mapa z visoko ločljivostjo več prostorskih informacij, je globoka značilnostna mapa z bogatimi semantičnimi informacijami združena z lateralno povezovalno strukturo. @@ -1050,7 +1055,7 @@ Ta operacija omogoča modelu, da "vidi" in prepozna različne vzorce in značiln Začetno fazo obdelave v WAMF-FPI predstavlja uporaba konvolucijskega jedra velikosti ena. Ta korak je namenjen prilagoditvi kanalske dimenzije tri-stopnjske značilnostne mape, ki je bila pridobljena s pomočjo PCPVT-S. -V praksi je bilo število izhodnih kanalov nastavljeno na 64, kar omogoča kompaktno in učinkovito predstavitev značilnosti. +Stevilo izhodnih kanalov nastavljeno na 64, kar omogoča kompaktno in učinkovito predstavitev značilnosti. Po tem koraku se na značilnostnih mapah zadnjih dveh stopenj izvede operacija upsamplinga. Ta operacija poveča ločljivost značilnostnih map, kar omogoča bolj natančno lokalizacijo. Pridobljene značilnostne mape se nato združijo z značilnostnimi mapami istega merila, ki jih izhaja iz osnovnega modela. @@ -1110,7 +1115,7 @@ Kjer je Upsample funkcija, ki poveča prostorsko resolucijo značilnostne mape z Kjer je $\text{corr}$ funkcija za izračun korelacije med dvema značilnostnima mapama. Korelacija v kontekstu obdelave slik je postopek izračuna podobnosti med dvema slikama ali značilnostnima mapama. -V osnovi se ena značilnostna mapa (poimenovana poizvedba) "drsi" čez drugo značilnostno mapo (poimenovana iskalna regija) in izračuna podobnost med njima na vsaki lokaciji. +V osnovi ena značilnostna mapa (poimenovana poizvedba) "drsi" čez drugo značilnostno mapo (poimenovana iskalna regija) in izračuna podobnost med njima na vsaki lokaciji. Rezultat tega postopka je nova značilnostna mapa, imenovana korelacijska mapa, kjer vsaka vrednost predstavlja stopnjo podobnosti med poizvedbo in delom iskalne mape na določeni lokaciji. Matematično je korelacija med dvema funkcijama $f$ in $g$ definirana kot: @@ -1135,6 +1140,8 @@ Nazadnje se izvede uteženo združevanje teh treh koreliranih značilnostnih map \end{equation} \end{center} +Za dokončanje postopka se uporabi bikubična interpolacija, da se $\text{fused\_map}$ poveča na velikost vhodne satelitske slike. +Na izhodu dobimo toplotno karto iste velikosti kot vhodna satelitska slika v WAMF-FPI. \chapter{Eksperimenti} \label{ch4} @@ -1302,8 +1309,73 @@ class CrossWeightedMSE(nn.Module): %\label{tab:metode} %\end{table} +\section{Ucenje s Stratificiranim Vzorčenjem} + +\subsection{Stratificirano vzorčenje} +Stratificirano vzorčenje je metoda vzorčenja, pri kateri se celoten nabor podatkov razdeli na ločene podskupine ali strate. +Vsak stratum predstavlja določeno kategorijo ali razred v naboru podatkov. +V kontekstu mest bi lahko vsako mesto predstavljalo svoj stratum. +Namen stratificiranega vzorčenja je zagotoviti, da je vsak vzorec reprezentativen za celoten nabor podatkov. + +Zakaj je stratificirano vzorčenje pomembno? + +\begin{enumerate} + \item \textbf{Ohranjanje Distribucije}: + Stratificirano vzorčenje zagotavlja, da se razmerje vzorcev v vsakem stratumu ohranja enako kot v celotnem naboru podatkov. + To je še posebej pomembno, ko je distribucija podatkov v vsakem stratumu (v tem primeru mesto) ključnega pomena za analizo. + Na primer, če želimo, da je naš vzorec reprezentativen za različna mesta, bi uporabili stratificirano vzorčenje, da zagotovimo, da so vsa mesta ustrezno zastopana. + \item \textbf{Natancnost}: + Stratificirano vzorčenje lahko poveča natančnost ocen, saj zmanjšuje variabilnost znotraj vsakega strata. + To pomeni, da so vzorci iz vsakega strata bolj homogeni, kar lahko vodi do natančnejših rezultatov. +\end{enumerate} + +Slabosti stratificiranega vzorčenja: + +\begin{enumerate} + \item \textbf{Omejena Generalizacija}: + Čeprav stratificirano vzorčenje zagotavlja, da so vse kategorije ali razredi v naboru podatkov ustrezno zastopani v vzorcu, to lahko pomeni, da model morda ni tako dobro pripravljen na povsem nove, nevidene podatke. + Model je lahko optimiziran za specifično distribucijo podatkov, ki je bila uporabljena med ucenjem in validacijo. + \item \textbf{"In-Distribution" Validacija} + Ker se vzorci za ucenje in validacijo izbirajo iz iste distribucije (stratificirane distribucije), model morda ne bo dobro deloval na "out-of-distribution" podatkih. + To pomeni, da čeprav model morda kaže visoko natančnost na validacijskem naboru, to ne zagotavlja, da bo enako dobro deloval na podatkih, ki se močno razlikujejo od originalne distribucije. +\end{enumerate} + +\subsection{Rezultati} +todo + +\section{Regularizacija v modelu z uporabo izpuščanja nevronov} + +\subsection{Izpuščanje nevronov} +V svetu strojnega učenja je regularizacija ključna tehnika, ki se uporablja za preprečevanje prekomernega prilagajanja modela. +Prekomerno prilagajanje se pojavi, ko model postane preveč specifičen za učni nabor podatkov, kar pomeni, da se "preveč nauči" podrobnosti in šuma v učnih podatkih, +kar vodi v slabo zmogljivost na novih, nevidenih podatkih. +Med različnimi tehnikami regularizacije je "izpuščanje nevronov" (v angleščini "dropout") ena izmed najbolj priljubljenih in učinkovitih metod za nevronske mreže. +Koncept izpuščanja nevronov je preprost, a močan: med usposabljanjem se določen odstotek nevronov v mreži naključno "izklopi" ali izpusti. To pomeni, da se med posameznim prehodom naprej določeni nevroni (in njihove povezave) začasno odstranijo iz mreže. + +V modelu sem uporabil izpuščanje nevronov na več ključnih mestih: + +\begin{enumerate} + \item \textbf{Izpuščanje Nevronov v Modelu Twins}: + Izpuščanje nevronov je bilo uporabljeno za regulacijo različnih komponent modela, vključno z deli, kot so \texttt{attn\_drop}, \texttt{proj\_drop}, \texttt{head\_drop}, \texttt{mlp\_drop1}, \texttt{mlp\_drop2} in \texttt{pos\_drops}.. + Vsaka od teh komponent ima svojo specifično vlogo v arhitekturi modela. + Z dodajanjem izpuščanja nevronov na te komponente sem dodal dodatno raven regularizacije, ki pomaga preprečiti prekomerno prilagajanje. + + \item \textbf{Izpuščanje Nevronov v Modulu za Združevanje Značilnosti}: + Po vsaki konvolucijski operaciji v fuzijskem delu modela sem dodal izpuščanje nevronov. + Konvolucijske plasti lahko hitro postanejo kompleksne in se prekomerno prilagodijo podatkom, zlasti ko delujejo na visokodimenzionalnih značilnostih. + Z dodajanjem izpuščanja nevronov po vsaki konvolucijski plasti sem zmanjšal to tveganje in povečal robustnost modela. +\end{enumerate} + +Izpuščanje nevronov je ena izmed najbolj učinkovitih tehnik regularizacije za nevronske mreže. +Z njegovo uporabo v modelu sem zagotovil, da je model bolj robusten in manj nagnjen k prekomernemu prilagajanju na učne podatke. +V kompleksnih modelih, kot je Twins, kjer je veliko komponent, ki se lahko prekomerno prilagodijo podatkom, je uporaba izpuščanja nevronov ključnega pomena za zagotavljanje natančnih in zanesljivih rezultatov. + +\subsubsection{Rezultati} +todo + \section{Testiranje zmoznosti lokalizacije na testnih podatkih} -pass +todo + \chapter{Sklepne ugotovitve} diff --git a/img/model.pdf b/img/model.pdf new file mode 100644 index 0000000..68295e7 Binary files /dev/null and b/img/model.pdf differ diff --git a/img/model.svg b/img/model.svg new file mode 100644 index 0000000..2d5e2ae --- /dev/null +++ b/img/model.svg @@ -0,0 +1,4 @@ + + + +
F1
F1
F2
F2
F3
F3
F1
F1
F2
F2
F3
F3
U1
U1
U1
U1
U2
U2
U3
U3
U2
U2
U3
U3
SATELITSKA SLIKA
SATELITS...
SLIKA IZ BREZPILOTNEGA LETALNIKA
SLIKA IZ...
TOPLOTNA KARTA
TOPLOTNA...
EKSTRAKCIJA ZNALČILK (TWINS PCPVT)
EKSTRAKCIJA ZNALČI...
SKALIRANJE IN ZDRUŽITEV ZNAČILK
SKALIRANJE IN ZDRUŽI...
VZAJEMNA KORELACIJA
VZAJEMNA KORELAC...
UTEŽENA VSOTA
UTEŽENA VSOTA
400x400x3
400x400x3
128x128x3
128x128x3
400x400x1
400x400x1
101x101x1
101x101x1
101x101x1
101x101x1
101x101x1
101x101x1
101x101x1
101x101x1
A1
A1
A2
A2
A2
A2
Σ
Σ
BIKUBIČNA INTERPOLACIJA
BIKUBIČNA INTERPOLACI...Text is not SVG - cannot display \ No newline at end of file