diff --git a/diploma.pdf b/diploma.pdf index e216bb4..8c88085 100644 Binary files a/diploma.pdf and b/diploma.pdf differ diff --git a/diploma.tex b/diploma.tex index e52eb3a..8147afb 100644 --- a/diploma.tex +++ b/diploma.tex @@ -798,6 +798,17 @@ y = \text{softmax}(W_2\text{ReLU}(W_1e)) \end{equation} \end{center} +Na sliki \ref{fig:vit} levo je videti kako se slika razdeli na pred vstopom v model. +Na desni strani pa lahko opazimo, da sama arhitektura ViT uporablja klasičen transformerski kodirnik. + +\begin{figure}[h] +\centering +\includegraphics[width=\textwidth]{./img/vit.png} +\caption{Skica ViT modela, iz članka \cite{vit}} +\label{fig:vit} +\end{figure} + + \section{Piramidni ViT (PVT)} Piramidni ViT (PVT) \cite{wang2021pyramid} je bil razvit z namenom vključitve piramidne strukture v okviru Transformerja. Arhitektura PVT je razdeljena na štiri stopnje. @@ -1530,7 +1541,7 @@ Pogoji eksperimenta so bili naslednji: \begin{figure}[h] \centering -\includegraphics[width=0.7\textwidth]{./img/sat_drone.png} +\includegraphics[width=\textwidth]{./img/sat_drone.png} \caption{Primer referenčnih slik, ki smo jih uporabili za testiranje.} \label{fig:sat_drone} \end{figure} @@ -1546,42 +1557,42 @@ Zaključimo lahko, da je izbira prave velikosti Hanningovega okna ključna za do \begin{figure}[h] \centering -\includegraphics[width=0.8\textwidth]{./img/plot_different_hann_kernels.png} +\includegraphics[width=\textwidth]{./img/plot_different_hann_kernels.png} \caption{Primerjava rezultatov ob uporabi različnih velikosti Hanningovega okna, na celotni validacijski množici.} \label{fig:plot_different_hann_kernels} \end{figure} \begin{figure}[H] \centering -\includegraphics[width=0.55\textwidth]{./img/heatmaps3d_1.png} +\includegraphics[width=\textwidth]{./img/heatmaps3d_1.png} \caption{Primerjava toplotnih map ob uporabi različnih velikosti Hanningovega okna.} \label{fig:heatmaps3d_1} \end{figure} \begin{figure}[H] \centering -\includegraphics[width=0.55\textwidth]{./img/heatmaps3d_2.png} +\includegraphics[width=\textwidth]{./img/heatmaps3d_2.png} \caption{Primerjava toplotnih map ob uporabi različnih velikosti Hanningovega okna.} \label{fig:heatmaps3d_2} \end{figure} \begin{figure}[H] \centering -\includegraphics[width=0.55\textwidth]{./img/heatmaps3d_3.png} +\includegraphics[width=\textwidth]{./img/heatmaps3d_3.png} \caption{Primerjava toplotnih map ob uporabi različnih velikosti Hanningovega okna.} \label{fig:heatmaps3d_3} \end{figure} \begin{figure}[H] \centering -\includegraphics[width=0.55\textwidth]{./img/heatmaps3d_4.png} +\includegraphics[width=\textwidth]{./img/heatmaps3d_4.png} \caption{Primerjava toplotnih map ob uporabi različnih velikosti Hanningovega okna.} \label{fig:heatmaps3d_4} \end{figure} \begin{figure}[H] \centering -\includegraphics[width=0.55\textwidth]{./img/heatmaps3d_5.png} +\includegraphics[width=\textwidth]{./img/heatmaps3d_5.png} \caption{Primerjava toplotnih map ob uporabi različnih velikosti Hanningovega okna.} \label{fig:heatmaps3d_5} \end{figure} diff --git a/img/vit.png b/img/vit.png new file mode 100644 index 0000000..ec69856 Binary files /dev/null and b/img/vit.png differ