Im Kontext von ML werden Validierungsdaten zur Überprüfung von trainierten ML-Modellen herangezogen. Validierungsdaten dürfen nicht Teil der Trainigsdaten sein.
Siehe auch:ISO/IEC DIS 22989 data samples used to assess the performance of one or more candidate machine learning models (3.2.11)
Note 1 to entry: Validation data is disjoint from training data (3.2.22) and test data (3.2.19).
ISO/IEC TR 29119-11:2020 dataset used to evaluate a candidate ML model (3.1.46) while tuning it
Validierung, auch bezeichnet als ML-Modellevaluation, bezeichnet im Kontext von ML die Prüfung trainierter ML-Modelle durch Validierungsdaten. Dadurch lässt die die Güte der trainierten ML-Modelle erkennen, vergleichen und optimieren. Der Optimierungsschritt wird auch als Model Tuning bezeichnet. Insbesondere lässt sich meist erkennen, ob das ML-Modell auf unbekannte Daten generalisieren kann, oder auf die Trainingsdaten übertrainiert wurde (Überanpassung), vergleichbar mit einem ''Auswendiglernen'' aller Trainingsfragen samt korrekter Antworten. Dieser Schritt grenzt sich von der Definition der Validierung im Kontext der System- und Produktentwicklung ab, da es bei der Validierung im ML-Kontext lediglich um einen Zwischenschritt im Trainingsprozess und nicht um eine unmittelbare Überprüfung des finalen Modells bzw. der System- bzw. Produktanforderungen handelt.
Siehe auch:ISTQB - CTAI Syllabus ML model evaluation: The process of comparing achieved ML functional performance metrics with required criteria and those of other ML models
Validierung im Kontext von System- und Produktentwicklung ist die Bestätigung durch die Erbringung eines objektiven Nachweises, dass die Anforderungen an einen bestimmten Verwendungszweck oder eine bestimmte Anwendung erfüllt worden sind. Sie grenzt sich damit ab von der Verifikation, sowie von der Validierung im Kontext von ML, die im Rahmen des Trainingsprozesses auf eine Optimierung von Hyperparametern bzw. Auswahl eines geeigneten Modells abzielt.
Siehe auch:ISO/IEC DIS 22989 confirmation, through the provision of objective evidence, that the requirements for a specific intended use or application have been fulfilled
[SOURCE: ISO/IEC 27043:2015, 3.16]