
_START_ARTICLE_
统计学习理论
_START_SECTION_
形式定义
_START_PARAGRAPH_
令为所有可能的输入组成的向量空间， 为所有可能的输出组成的向量空间。统计学习理论认为，积空间上存在某个未知的概率分布。训练集由这个概率分布中的个样例构成，并用表示。每个都是训练数据的一个输入向量， 而则是对应的输出向量。
_START_SECTION_
损失函数
_START_PARAGRAPH_
损失函数的选择是机器学习算法所选的函数中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。_NEWLINE_根据问题是回归问题还是分类问题，我们可以使用不同的损失函数。