Popravi naslove
parent
bf36ae2d52
commit
958cc0c81d
BIN
diploma.pdf
BIN
diploma.pdf
Binary file not shown.
10
diploma.tex
10
diploma.tex
|
@ -821,7 +821,7 @@ Kar drži - začeli smo z $m$ poizvedbami v $Q$ in končali z $m$ odgovori v izh
|
|||
Vsak izračun glave ima drugačno linearno preslikavo za matrike ključev, poizvedb in vrednosti.
|
||||
Vsaka od teh preslikav se nauči med učenjem.
|
||||
|
||||
\subsubsection{Maskiranje vhodov}
|
||||
\subsection{Maskiranje vhodov}
|
||||
En način za maskiranje vhodov je preprosto dodajanje matrike M k argumentu ki vsebuje 0 v spodnjem trikotniku in $-\infty$ povsod drugje:
|
||||
|
||||
\begin{equation}
|
||||
|
@ -880,7 +880,7 @@ Namesto da bi slike obdelovali kot dvodimenzionalne mreže pikslov (kot to počn
|
|||
To omogoča uporabo istih tehnik samo-pozornosti, ki so bile učinkovite v jezikovnih modelih, tudi za obdelavo slik.
|
||||
Ta pristop je pokazal obetavne rezultate, saj je Vision Transformer dosegel ali presegel učinkovitost konvolucijskih nevronskih mrež na številnih nalogah računalniškega vida.
|
||||
|
||||
\subsubsection{ViT arhitektura}
|
||||
\subsection{ViT arhitektura}
|
||||
|
||||
\begin{itemize}
|
||||
\item Razdelitev slike na obliže: Slika velikosti $H \times W \times C$ se razdeli na kvadrate (obliže) velikosti $P \times P$, kjer je $H$ višina, $W$ širina, $C$ število barvnih kanalov in $P$ velikost obliža.
|
||||
|
@ -1350,7 +1350,7 @@ Namesto enakega pomena vseh pozitivnih vzorcev, funkcija izgube Hanning dodeli r
|
|||
|
||||
\begin{figure}[h]
|
||||
\centering
|
||||
\includegraphics[width=0.5\textwidth]{./img/gt_heatmap_with_label.jpg}
|
||||
\includegraphics[width=0.4\textwidth]{./img/gt_heatmap_with_label.jpg}
|
||||
\caption{Primer vzorca, sredisce je tocka lokacije vzorca.}
|
||||
\label{fig:gt_heatmap_with_label}
|
||||
\end{figure}
|
||||
|
@ -1386,7 +1386,7 @@ Kjer je:
|
|||
|
||||
\begin{figure}[h]
|
||||
\centering
|
||||
\includegraphics[width=0.5\textwidth]{./img/2d_hanning_kernel.jpg}
|
||||
\includegraphics[width=0.4\textwidth]{./img/2d_hanning_kernel.jpg}
|
||||
\caption{Hanningovo jedro}
|
||||
\label{fig:hann_kernel}
|
||||
\end{figure}
|
||||
|
@ -1409,7 +1409,7 @@ Gaussova funkcija:
|
|||
|
||||
\begin{figure}[h]
|
||||
\centering
|
||||
\includegraphics[width=0.5\textwidth]{./img/2d_gaussian_kernel.jpg}
|
||||
\includegraphics[width=0.4\textwidth]{./img/2d_gaussian_kernel.jpg}
|
||||
\caption{Gaussovo jedro}
|
||||
\label{fig:gauss_kernel}
|
||||
\end{figure}
|
||||
|
|
Loading…
Reference in New Issue