More text :)
parent
d33c245563
commit
bc37a61291
BIN
diploma.pdf
BIN
diploma.pdf
Binary file not shown.
140
diploma.tex
140
diploma.tex
|
@ -305,22 +305,22 @@ todo
|
|||
\clearemptydoublepage
|
||||
|
||||
% zahvala
|
||||
\thispagestyle{empty}\mbox{}\vfill\null\it%
|
||||
\noindent
|
||||
Zahvaljujem se mami in proskiju.
|
||||
\rm\normalfont
|
||||
|
||||
% prazna stran
|
||||
\clearemptydoublepage
|
||||
|
||||
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
||||
% posvetilo, če sama zahvala ne zadošča :-)
|
||||
\thispagestyle{empty}\mbox{}{\vskip0.20\textheight}\mbox{}\hfill\begin{minipage}{0.55\textwidth}%
|
||||
Svoji dragi proskici.
|
||||
\normalfont\end{minipage}
|
||||
|
||||
% prazna stran
|
||||
\clearemptydoublepage
|
||||
%\thispagestyle{empty}\mbox{}\vfill\null\it%
|
||||
%\noindent
|
||||
%Zahvaljujem se mami in proskiju.
|
||||
%\rm\normalfont
|
||||
%
|
||||
%% prazna stran
|
||||
%\clearemptydoublepage
|
||||
%
|
||||
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
||||
%% posvetilo, če sama zahvala ne zadošča :-)
|
||||
%\thispagestyle{empty}\mbox{}{\vskip0.20\textheight}\mbox{}\hfill\begin{minipage}{0.55\textwidth}%
|
||||
%Svoji dragi proskici.
|
||||
%\normalfont\end{minipage}
|
||||
%
|
||||
%% prazna stran
|
||||
%\clearemptydoublepage
|
||||
|
||||
|
||||
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
||||
|
@ -407,11 +407,11 @@ A proper abstract should contain around 100 words which makes this one way too s
|
|||
\pagestyle{fancy}
|
||||
|
||||
\chapter{Uvod}
|
||||
Droni in sateliti se uporabljajo za iskanje in reševanje, kartiranje terena, kmetijsko spremljanje, navigacijo dronov in podobne naloge.
|
||||
Brezpilotni letalniki in sateliti se uporabljajo za iskanje in reševanje, kartiranje terena, kmetijsko spremljanje, navigacijo dronov in podobne naloge.
|
||||
Raznolikost platform za tehnologijo oddaljenega zaznavanja prinaša veliko prednosti na teh področjih.
|
||||
Ljudje ne lahko le prek satelitov pridobijo podatkov velikega obsega, temveč tudi s pomočjo platform dronov pridobijo bolj jasne lokalne slike.
|
||||
|
||||
Trenutno se droni v glavnem zanašajo na satelitske signale za navigacijo in določitev položaja med letom.
|
||||
Trenutno se brezpilotni letalniki v glavnem zanašajo na satelitske signale za navigacijo in določitev položaja med letom.
|
||||
Vendar se v praksi satelitski signal močno oslabi po dolgi razdalji, kar lahko povzroči motnje sprejetega satelitskega signala na dronu.
|
||||
Zlasti na vojaškem področju je izguba satelitskega signala pogosta.
|
||||
Samozadostna lokalizacija in navigacija dronov v okoljih, kjer so satelitski signali omejeni ali moteni, postaja vse pomembnejša.
|
||||
|
@ -435,10 +435,6 @@ Ko je lokacija iskanja najdena na iskalnem zemljevidu, lahko iz podatkov o zemlj
|
|||
\chapter{Teoreticno Ozadje}
|
||||
\label{ch0}
|
||||
|
||||
\section{Pregled literature}
|
||||
|
||||
Tuki bos opisal o sorodhin delih in kake clanke si use si pogledu.
|
||||
|
||||
\section{Osnovni pojmi in terminologija}
|
||||
|
||||
\subsection{Brezpilotni letalnik}
|
||||
|
@ -923,11 +919,11 @@ Osredotoča se na dve ključni območji:
|
|||
\end{enumerate}
|
||||
|
||||
Zajem slik je bil izveden na naključnih poteh po mestu, kar omogoča širok spekter scenarijev in situacij.
|
||||
V mestnih območjih je poudarek na razumevanju, kako se droni lokalizirajo in navigirajo med visokimi zgradbami, kjer so lahko GPS signali zmanjšani ali moteni.
|
||||
V zelenih območjih je cilj razumeti, kako se droni obnašajo v okoljih, kjer so vizualni vzorci manj raznoliki in se teren lahko zdi monoton.
|
||||
V mestnih območjih je poudarek na razumevanju, kako se brezpilotni letalniki lokalizirajo in navigirajo med visokimi zgradbami, kjer so lahko GPS signali zmanjšani ali moteni.
|
||||
V zelenih območjih je cilj razumeti, kako se brezpilotni letalniki obnašajo v okoljih, kjer so vizualni vzorci manj raznoliki in se teren lahko zdi monoton.
|
||||
V naboru podatkov za ucenje je 10.000 slik iz desetih mest, pri čemer vsako mesto prispeva 1.000 slik.
|
||||
Droni so bili kalibrirani na višini 150 metrov nad navedeno nadmorsko višino mesta.
|
||||
Kamere na dronih imajo vidno polje 80 stopinj in so usmerjene pravokotno na središče Zemlje. Vse slike so bile ustvarjene z uporabo orodja Google Earth Studio
|
||||
Brezpioltni letalniki so bili kalibrirani na višini 150 metrov nad navedeno nadmorsko višino mesta.
|
||||
Kamere na brezpilotnih letalnikih imajo vidno polje 80 stopinj in so usmerjene pravokotno na središče Zemlje. Vse slike so bile ustvarjene z uporabo orodja Google Earth Studio
|
||||
|
||||
Mesta, vključena v ucni nabor podatkov, so:
|
||||
|
||||
|
@ -948,7 +944,7 @@ Dodatno je bil v nabor dodan tudi testni nabor podatkov za Ljubljano, ki vključ
|
|||
|
||||
Vsaka slika je opremljena z oznakami lokacije kamere v sistemu ECEF. Sistem ECEF (Earth Centered, Earth Fixed) je globalni koordinatni sistem z izhodiščem v središču Zemlje.
|
||||
|
||||
Ta nabor podatkov ponuja vpogled v izzive in možnosti, ki jih droni srečujejo v različnih mestnih okoljih,
|
||||
Ta nabor podatkov ponuja vpogled v izzive in možnosti, ki jih brezpilotni letalniki srečujejo v različnih mestnih okoljih,
|
||||
in je ključnega pomena za razvoj naprednih algoritmov za lokalizacijo in navigacijo.
|
||||
|
||||
\begin{figure}[h]
|
||||
|
@ -1030,18 +1026,27 @@ Da bi bolje izvlekli informacije večih meril in obdržali več prostorskih info
|
|||
nato pa se modul WAMF uporablja za izračun podobnosti in fuzijo več značilnosti. Končno so združene značilnosti povečane, da se ustvari končna izhodna napovedna mapa.
|
||||
Na izhodu dobimo toplotno karto iste velikosti kot vhodna satelitska slika v WAMF-FPI.
|
||||
|
||||
\begin{figure}[h]
|
||||
\centering
|
||||
\includegraphics[width=\linewidth]{./img/model.pdf}
|
||||
\caption{Skica arhitekture modela}
|
||||
\label{fig:model_architecture}
|
||||
\end{figure}
|
||||
|
||||
|
||||
\subsection{Modul za ekstrakcijo značilnosti}
|
||||
WAMF-FPI uporablja strukturo, podobno omrežju Siamese, vendar se razlikuje od tradicionalnega sledenja objektom.
|
||||
Med satelitskimi in slikami brezpilotnega letalnika je velika razlika, saj izvirajo iz različnih naprav.
|
||||
Zato veji UAV in satelitski pogled v WAMF-FPI ne uporabljata metode deljenja uteži.
|
||||
WAMF-FPI uporablja satelitske slike (400 × 400 × 3) in UAV slike (128 × 128 × 3) kot vhod modela, nato pa se značilnosti slik ekstrahirajo s pomočjo PCPVT-S.
|
||||
Zato veji slike brezpilotnega letalnika in satelitske slike v WAMF-FPI ne uporabljata metode deljenja uteži.
|
||||
WAMF-FPI uporablja satelitske slike (400 × 400 × 3) in slike brezpilotnega letalnika (128 × 128 × 3) kot vhod modela, nato pa se značilnosti slik ekstrahirajo s pomočjo PCPVT-S.
|
||||
Natančneje, odstranili smo zadnjo stopnjo PCPVT-S in uporabili samo prve tri stopnje za ekstrakcijo značilnosti.
|
||||
Ko je velikost vhodnih slik 400 × 400 × 3 in 128 × 128 × 3, lahko iz obeh vej pridobimo značilnostne mape z obliko 25 × 25 × 320 in 8 × 8 × 320.
|
||||
V nasprotju z Deit-S, uporabljenim v FPI \cite{dai2022finding}, ima PCPVT-S piramidno strukturo, ki se lahko bolje prilagodi nalogi goste napovedi.
|
||||
Uporaba piramidne strukture postavlja temelje za kasnejšo uporabo modula WAMF.
|
||||
Hkrati omrežje z piramidno strukturo lahko učinkovito zmanjša količino izračunov in izboljša hitrost izračuna. To je zelo pomembno za dejansko implementacijo metode.
|
||||
Po uporabi PCPVT-S za ekstrakcijo informacij iz slike, se izračun podobnosti izvede neposredno na zadnjih značilnostnih mapah, bo nizka ločljivost izhodne značilnostne mape neposredno vplivala na natančnost končnih rezultatov modela (mapa 25 × 25 na 400 × 400).
|
||||
V ta namen smo uporabili strukturo piramide značilnosti za združevanje izvirnih značilnostnih map z uporabo upsamplinga in lateralne povezovalne strukture, končni izhod pa je bil stisnjen le za faktor štiri v primerjavi z vhodom.
|
||||
|
||||
Po uporabi PCPVT-S za ekstrakcijo informacij iz slike, se izračun podobnosti izvede neposredno na zadnjih značilnostnih mapah.
|
||||
Končni izhod pa je stisnjen le za faktor štiri v primerjavi z vhodom. Katerega se potem z bikubicno interpolacijo poveca na velikost vhodne satelitske slike.
|
||||
|
||||
Lokalizacijska pristranskost, ki jo povzroča nizka ločljivost značilnostne mape, je izključena pri viru. Ker ima plitva značilnostna mapa z visoko ločljivostjo več prostorskih informacij, je globoka značilnostna mapa z bogatimi semantičnimi informacijami združena z lateralno povezovalno strukturo.
|
||||
|
||||
|
@ -1050,7 +1055,7 @@ Ta operacija omogoča modelu, da "vidi" in prepozna različne vzorce in značiln
|
|||
|
||||
Začetno fazo obdelave v WAMF-FPI predstavlja uporaba konvolucijskega jedra velikosti ena.
|
||||
Ta korak je namenjen prilagoditvi kanalske dimenzije tri-stopnjske značilnostne mape, ki je bila pridobljena s pomočjo PCPVT-S.
|
||||
V praksi je bilo število izhodnih kanalov nastavljeno na 64, kar omogoča kompaktno in učinkovito predstavitev značilnosti.
|
||||
Stevilo izhodnih kanalov nastavljeno na 64, kar omogoča kompaktno in učinkovito predstavitev značilnosti.
|
||||
Po tem koraku se na značilnostnih mapah zadnjih dveh stopenj izvede operacija upsamplinga.
|
||||
Ta operacija poveča ločljivost značilnostnih map, kar omogoča bolj natančno lokalizacijo.
|
||||
Pridobljene značilnostne mape se nato združijo z značilnostnimi mapami istega merila, ki jih izhaja iz osnovnega modela.
|
||||
|
@ -1110,7 +1115,7 @@ Kjer je Upsample funkcija, ki poveča prostorsko resolucijo značilnostne mape z
|
|||
Kjer je $\text{corr}$ funkcija za izračun korelacije med dvema značilnostnima mapama.
|
||||
|
||||
Korelacija v kontekstu obdelave slik je postopek izračuna podobnosti med dvema slikama ali značilnostnima mapama.
|
||||
V osnovi se ena značilnostna mapa (poimenovana poizvedba) "drsi" čez drugo značilnostno mapo (poimenovana iskalna regija) in izračuna podobnost med njima na vsaki lokaciji.
|
||||
V osnovi ena značilnostna mapa (poimenovana poizvedba) "drsi" čez drugo značilnostno mapo (poimenovana iskalna regija) in izračuna podobnost med njima na vsaki lokaciji.
|
||||
Rezultat tega postopka je nova značilnostna mapa, imenovana korelacijska mapa, kjer vsaka vrednost predstavlja stopnjo podobnosti med poizvedbo in delom iskalne mape na določeni lokaciji.
|
||||
|
||||
Matematično je korelacija med dvema funkcijama $f$ in $g$ definirana kot:
|
||||
|
@ -1135,6 +1140,8 @@ Nazadnje se izvede uteženo združevanje teh treh koreliranih značilnostnih map
|
|||
\end{equation}
|
||||
\end{center}
|
||||
|
||||
Za dokončanje postopka se uporabi bikubična interpolacija, da se $\text{fused\_map}$ poveča na velikost vhodne satelitske slike.
|
||||
Na izhodu dobimo toplotno karto iste velikosti kot vhodna satelitska slika v WAMF-FPI.
|
||||
|
||||
\chapter{Eksperimenti}
|
||||
\label{ch4}
|
||||
|
@ -1302,8 +1309,73 @@ class CrossWeightedMSE(nn.Module):
|
|||
%\label{tab:metode}
|
||||
%\end{table}
|
||||
|
||||
\section{Ucenje s Stratificiranim Vzorčenjem}
|
||||
|
||||
\subsection{Stratificirano vzorčenje}
|
||||
Stratificirano vzorčenje je metoda vzorčenja, pri kateri se celoten nabor podatkov razdeli na ločene podskupine ali strate.
|
||||
Vsak stratum predstavlja določeno kategorijo ali razred v naboru podatkov.
|
||||
V kontekstu mest bi lahko vsako mesto predstavljalo svoj stratum.
|
||||
Namen stratificiranega vzorčenja je zagotoviti, da je vsak vzorec reprezentativen za celoten nabor podatkov.
|
||||
|
||||
Zakaj je stratificirano vzorčenje pomembno?
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Ohranjanje Distribucije}:
|
||||
Stratificirano vzorčenje zagotavlja, da se razmerje vzorcev v vsakem stratumu ohranja enako kot v celotnem naboru podatkov.
|
||||
To je še posebej pomembno, ko je distribucija podatkov v vsakem stratumu (v tem primeru mesto) ključnega pomena za analizo.
|
||||
Na primer, če želimo, da je naš vzorec reprezentativen za različna mesta, bi uporabili stratificirano vzorčenje, da zagotovimo, da so vsa mesta ustrezno zastopana.
|
||||
\item \textbf{Natancnost}:
|
||||
Stratificirano vzorčenje lahko poveča natančnost ocen, saj zmanjšuje variabilnost znotraj vsakega strata.
|
||||
To pomeni, da so vzorci iz vsakega strata bolj homogeni, kar lahko vodi do natančnejših rezultatov.
|
||||
\end{enumerate}
|
||||
|
||||
Slabosti stratificiranega vzorčenja:
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Omejena Generalizacija}:
|
||||
Čeprav stratificirano vzorčenje zagotavlja, da so vse kategorije ali razredi v naboru podatkov ustrezno zastopani v vzorcu, to lahko pomeni, da model morda ni tako dobro pripravljen na povsem nove, nevidene podatke.
|
||||
Model je lahko optimiziran za specifično distribucijo podatkov, ki je bila uporabljena med ucenjem in validacijo.
|
||||
\item \textbf{"In-Distribution" Validacija}
|
||||
Ker se vzorci za ucenje in validacijo izbirajo iz iste distribucije (stratificirane distribucije), model morda ne bo dobro deloval na "out-of-distribution" podatkih.
|
||||
To pomeni, da čeprav model morda kaže visoko natančnost na validacijskem naboru, to ne zagotavlja, da bo enako dobro deloval na podatkih, ki se močno razlikujejo od originalne distribucije.
|
||||
\end{enumerate}
|
||||
|
||||
\subsection{Rezultati}
|
||||
todo
|
||||
|
||||
\section{Regularizacija v modelu z uporabo izpuščanja nevronov}
|
||||
|
||||
\subsection{Izpuščanje nevronov}
|
||||
V svetu strojnega učenja je regularizacija ključna tehnika, ki se uporablja za preprečevanje prekomernega prilagajanja modela.
|
||||
Prekomerno prilagajanje se pojavi, ko model postane preveč specifičen za učni nabor podatkov, kar pomeni, da se "preveč nauči" podrobnosti in šuma v učnih podatkih,
|
||||
kar vodi v slabo zmogljivost na novih, nevidenih podatkih.
|
||||
Med različnimi tehnikami regularizacije je "izpuščanje nevronov" (v angleščini "dropout") ena izmed najbolj priljubljenih in učinkovitih metod za nevronske mreže.
|
||||
Koncept izpuščanja nevronov je preprost, a močan: med usposabljanjem se določen odstotek nevronov v mreži naključno "izklopi" ali izpusti. To pomeni, da se med posameznim prehodom naprej določeni nevroni (in njihove povezave) začasno odstranijo iz mreže.
|
||||
|
||||
V modelu sem uporabil izpuščanje nevronov na več ključnih mestih:
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Izpuščanje Nevronov v Modelu Twins}:
|
||||
Izpuščanje nevronov je bilo uporabljeno za regulacijo različnih komponent modela, vključno z deli, kot so \texttt{attn\_drop}, \texttt{proj\_drop}, \texttt{head\_drop}, \texttt{mlp\_drop1}, \texttt{mlp\_drop2} in \texttt{pos\_drops}..
|
||||
Vsaka od teh komponent ima svojo specifično vlogo v arhitekturi modela.
|
||||
Z dodajanjem izpuščanja nevronov na te komponente sem dodal dodatno raven regularizacije, ki pomaga preprečiti prekomerno prilagajanje.
|
||||
|
||||
\item \textbf{Izpuščanje Nevronov v Modulu za Združevanje Značilnosti}:
|
||||
Po vsaki konvolucijski operaciji v fuzijskem delu modela sem dodal izpuščanje nevronov.
|
||||
Konvolucijske plasti lahko hitro postanejo kompleksne in se prekomerno prilagodijo podatkom, zlasti ko delujejo na visokodimenzionalnih značilnostih.
|
||||
Z dodajanjem izpuščanja nevronov po vsaki konvolucijski plasti sem zmanjšal to tveganje in povečal robustnost modela.
|
||||
\end{enumerate}
|
||||
|
||||
Izpuščanje nevronov je ena izmed najbolj učinkovitih tehnik regularizacije za nevronske mreže.
|
||||
Z njegovo uporabo v modelu sem zagotovil, da je model bolj robusten in manj nagnjen k prekomernemu prilagajanju na učne podatke.
|
||||
V kompleksnih modelih, kot je Twins, kjer je veliko komponent, ki se lahko prekomerno prilagodijo podatkom, je uporaba izpuščanja nevronov ključnega pomena za zagotavljanje natančnih in zanesljivih rezultatov.
|
||||
|
||||
\subsubsection{Rezultati}
|
||||
todo
|
||||
|
||||
\section{Testiranje zmoznosti lokalizacije na testnih podatkih}
|
||||
pass
|
||||
todo
|
||||
|
||||
|
||||
\chapter{Sklepne ugotovitve}
|
||||
|
||||
|
|
Binary file not shown.
File diff suppressed because one or more lines are too long
After Width: | Height: | Size: 1.1 MiB |
Loading…
Reference in New Issue