diff --git a/diploma.pdf b/diploma.pdf index c5f45ef..b77f7af 100644 Binary files a/diploma.pdf and b/diploma.pdf differ diff --git a/diploma.tex b/diploma.tex index 59eb0f0..d0ef817 100644 --- a/diploma.tex +++ b/diploma.tex @@ -821,7 +821,7 @@ Kar drži - začeli smo z $m$ poizvedbami v $Q$ in končali z $m$ odgovori v izh Vsak izračun glave ima drugačno linearno preslikavo za matrike ključev, poizvedb in vrednosti. Vsaka od teh preslikav se nauči med učenjem. -\subsubsection{Maskiranje vhodov} +\subsection{Maskiranje vhodov} En način za maskiranje vhodov je preprosto dodajanje matrike M k argumentu ki vsebuje 0 v spodnjem trikotniku in $-\infty$ povsod drugje: \begin{equation} @@ -880,7 +880,7 @@ Namesto da bi slike obdelovali kot dvodimenzionalne mreže pikslov (kot to počn To omogoča uporabo istih tehnik samo-pozornosti, ki so bile učinkovite v jezikovnih modelih, tudi za obdelavo slik. Ta pristop je pokazal obetavne rezultate, saj je Vision Transformer dosegel ali presegel učinkovitost konvolucijskih nevronskih mrež na številnih nalogah računalniškega vida. -\subsubsection{ViT arhitektura} +\subsection{ViT arhitektura} \begin{itemize} \item Razdelitev slike na obliže: Slika velikosti $H \times W \times C$ se razdeli na kvadrate (obliže) velikosti $P \times P$, kjer je $H$ višina, $W$ širina, $C$ število barvnih kanalov in $P$ velikost obliža. @@ -1350,7 +1350,7 @@ Namesto enakega pomena vseh pozitivnih vzorcev, funkcija izgube Hanning dodeli r \begin{figure}[h] \centering -\includegraphics[width=0.5\textwidth]{./img/gt_heatmap_with_label.jpg} +\includegraphics[width=0.4\textwidth]{./img/gt_heatmap_with_label.jpg} \caption{Primer vzorca, sredisce je tocka lokacije vzorca.} \label{fig:gt_heatmap_with_label} \end{figure} @@ -1386,7 +1386,7 @@ Kjer je: \begin{figure}[h] \centering -\includegraphics[width=0.5\textwidth]{./img/2d_hanning_kernel.jpg} +\includegraphics[width=0.4\textwidth]{./img/2d_hanning_kernel.jpg} \caption{Hanningovo jedro} \label{fig:hann_kernel} \end{figure} @@ -1409,7 +1409,7 @@ Gaussova funkcija: \begin{figure}[h] \centering -\includegraphics[width=0.5\textwidth]{./img/2d_gaussian_kernel.jpg} +\includegraphics[width=0.4\textwidth]{./img/2d_gaussian_kernel.jpg} \caption{Gaussovo jedro} \label{fig:gauss_kernel} \end{figure}