Skip to content

Commit

Permalink
Merge branch 'main' of github.com:Yagnap/BeLL-Question-Answering-auf-…
Browse files Browse the repository at this point in the history
…Linked-Data-SNIK

Merge unbearbeitete last-minute TODOs und Druckversion
  • Loading branch information
Yagnap committed Jan 22, 2023
2 parents 82b9eae + 1e19ed0 commit 1b371a6
Showing 1 changed file with 6 additions and 4 deletions.
10 changes: 6 additions & 4 deletions LaTeX/Chapters/5Solution.tex
Original file line number Diff line number Diff line change
Expand Up @@ -280,6 +280,7 @@ \subsubsection{Anfängliche Konfiguration und Probleme}
Dies muss geschehen, da die Antworten für manche Textbuchfragen alle transitiven Subklassen sind.

Das kann mittels der folgenden Abfrage bewerkstelligt werden:
\todo{das ist noch die alte Abfrage, die neue ist die mit ?s rdfs:subClassOf ?oo und ?s rdfs:subClassOf ?o.}
\begin{lstlisting}[language=SPARQL]
CONSTRUCT {?s ?p ?oo}
FROM sniko:meta
Expand Down Expand Up @@ -362,11 +363,11 @@ \subsubsection{Training}
Die Antworten der richtigen Lösung wurden schon vorher gespeichert und werden nun mit denen der Abfrage von QAnswer verglichen.

Dann wird das trainierte Modell zurückgesetzt, die gegebenen Frage-Antwort-Paare bleiben jedoch erhalten.

\todo{Ab hier gehört es zum Ergebniskapitel inklusive der ganzen Abbildungen}
In \cref{plot:genfscore} sieht man, wie groß das F-Maß abhängig von der Fragenanzahl ist.
Es sind zwei Datensätze dargestellt.
Der eine wurde andere ausschließlich über die \ac{sparql}-generierten Frage-Antwort-Paare trainiert, beim anderen wurden die Lehrbuchfragen beim Training inkludiert.

\todo{im diskussionskapitel bitte noch auf die Kurven verweisen und überlegen, warum die so aussehen könnten und ob das normal ist und was das bedeutet.}
Am Anfang, als noch gar keine oder nur sehr wenige Fragen zum Training verwendet wurden, ist das F-Maß eher gering.
Besonders beim Training mit den Lehrbuchfragen liegt es bei dem Modell ohne Training deutlich unter 30\%.
Ab 30 Fragen nähert es sich den Werten des Trainings ohne die Lehrbuchfragen an und übersteigt diese bei 40 Fragen erstmals.
Expand All @@ -382,7 +383,8 @@ \subsubsection{Training}
Anfangs ist der Wert durchschnittlich etwas geringer als später, aber immer noch fast überall über 50\%.
Ab etwa 100 Fragen erreicht es ein Niveau zwischen 80\% und 90\%, auf dem es bleibt.
Ab 510 bzw. 560 Fragen kommt es jedoch zu zu größeren Ausreißern, die teilweise bis auf 11\% heruntergehen.

\todo{die Ergebniskurven auf den Trainingsdaten wären auch interessant, die Plots zeigen ja alle die auf den Trainingsdaten oder? Die sind natürlich die
wichtigsten aber als Zusatz wäre es gut wenn du es noch schaffst.}
% F-Score
\begin{figure}%[h!]
\begin{center}
Expand Down Expand Up @@ -574,4 +576,4 @@ \subsubsection{Training}
\end{tikzpicture}
\caption{Durchschnittlicher Confidence-Wert QAnswers bei den Lehrbuchfragen im Testset in Abhängigkeit zur Anzahl der generierten Trainingsfragen.}\label{plot:textconfidence}
\end{center}
\end{figure}
\end{figure}

0 comments on commit 1b371a6

Please sign in to comment.