Hyperparameter bezeichnen im maschinellen Lernen meist alle Parameter, die nicht unmittelbar durch den Trainingsprozess definiert oder beeinflusst werden. Dazu zählen Modellparameter wie die Anzahl an Schichten eines neuronalen Netzes oder die Schrittweite des Trainingsprozesses, nicht jedoch etwa die gelernten Gewichte. Grundsätzlich können Hyperparameter nach algorithmisch und modellspezifisch differenziert werden. Algorithmische Hyperparameter beeinflussen die Performance des Lernalgorithmus, hingegen beeinflussen modellspezifische Hyperparameter das im Lernprozess verwendete mathematische oder statistische Modell.
ETSI GR ENI 004 learning parameter that is set before the learning process is started
ISO/IEC DIS 22989 characteristic of a machine learning algorithm (3.2.10) that affects its learning process
Note 1 to entry: Hyperparameters are selected prior to training and can be used in processes to help estimate model parameters.
Note 2 to entry: Examples of hyperparameters include number of network layers, width of each layer, type of activation function, optimization method, learning rate for neural networks; the choice of kernel function in a support vector machine; number of leaves or depth of a tree; the K for K-means clustering; the maximum number of iterations of the expectation maximization algorithm; the number of Gaussians in a Gaussian mixture.
ISO/IEC TR 29119-11:2020 variable used to define the structure of a neural network and how it is trained
Note 1 to entry: Typically, hyperparameters are set by the developer of the model (3.1.46) and may also be referred to as a tuning parameter (3.1.53).
ISTQB - CTAI Syllabus A parameter used to either control the training of an ML model or to set the configuration of an ML model