spanskiduh
/
diplomska-text
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Popravi naslove

main
Gašper Spagnolo 2023-08-27 15:29:00 +02:00
parent bf36ae2d52
commit 958cc0c81d
No known key found for this signature in database
GPG Key ID: 2EA0738CC1EFEEB7
2 changed files with 5 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

BIN
diploma.pdf
View File

Binary file not shown.

10
diploma.tex
View File

@ -821,7 +821,7 @@ Kar drži - začeli smo z $m$ poizvedbami v $Q$ in končali z $m$ odgovori v izh
Vsak izračun glave ima drugačno linearno preslikavo za matrike ključev, poizvedb in vrednosti.
Vsaka od teh preslikav se nauči med učenjem.
\subsubsection{Maskiranje vhodov}
\subsection{Maskiranje vhodov}
En način za maskiranje vhodov je preprosto dodajanje matrike M k argumentu ki vsebuje 0 v spodnjem trikotniku in $-\infty$ povsod drugje:
\begin{equation}
@ -880,7 +880,7 @@ Namesto da bi slike obdelovali kot dvodimenzionalne mreže pikslov (kot to počn
To omogoča uporabo istih tehnik samo-pozornosti, ki so bile učinkovite v jezikovnih modelih, tudi za obdelavo slik.
Ta pristop je pokazal obetavne rezultate, saj je Vision Transformer dosegel ali presegel učinkovitost konvolucijskih nevronskih mrež na številnih nalogah računalniškega vida.
\subsubsection{ViT arhitektura}
\subsection{ViT arhitektura}
\begin{itemize}
\item Razdelitev slike na obliže: Slika velikosti $H \times W \times C$ se razdeli na kvadrate (obliže) velikosti $P \times P$, kjer je $H$ višina, $W$ širina, $C$ število barvnih kanalov in $P$ velikost obliža.
@ -1350,7 +1350,7 @@ Namesto enakega pomena vseh pozitivnih vzorcev, funkcija izgube Hanning dodeli r
\begin{figure}[h]
\centering
\includegraphics[width=0.5\textwidth]{./img/gt_heatmap_with_label.jpg}
\includegraphics[width=0.4\textwidth]{./img/gt_heatmap_with_label.jpg}
\caption{Primer vzorca, sredisce je tocka lokacije vzorca.}
\label{fig:gt_heatmap_with_label}
\end{figure}
@ -1386,7 +1386,7 @@ Kjer je:
\begin{figure}[h]
\centering
\includegraphics[width=0.5\textwidth]{./img/2d_hanning_kernel.jpg}
\includegraphics[width=0.4\textwidth]{./img/2d_hanning_kernel.jpg}
\caption{Hanningovo jedro}
\label{fig:hann_kernel}
\end{figure}
@ -1409,7 +1409,7 @@ Gaussova funkcija:
\begin{figure}[h]
\centering
\includegraphics[width=0.5\textwidth]{./img/2d_gaussian_kernel.jpg}
\includegraphics[width=0.4\textwidth]{./img/2d_gaussian_kernel.jpg}
\caption{Gaussovo jedro}
\label{fig:gauss_kernel}
\end{figure}