现代社会我们已经越来越离不开对未知信息的预测：比如天气预报，地震、海啸预警，山体滑坡、泥石流等自然灾害的预报等等，那么我们是依据什么对未知世界进行预测的呢？这就不得不提到人工智能的一个分支――机器学习。

　　机器学习

　　机器学习是研究计算机如何模拟或实现人类的学习行为，获取新的知识或技能，并对已有的知识结构进行重新组织使之不断改善自身的一种新技术。机器学习的研究方法是从大量的观测数据寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法有以下几种：

　　第一种是传统统计学理论，亦即经典的统计估计方法。实际上，传统参数估计方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。但这种方法有很大的局限性：首先，它需要已知样本分布形式，这需要花费很大代价；其次，传统统计学研究的都是假设样本数目趋于无穷大时的渐近理论。而实际问题中，样本的数目往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。

　　第二种方法是经验非线性方法。经验非线性方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。以神经网络为例，神经网络是目前运用较多也是最早应用的非线性分类，由于神经网络是基于经验最小化原理，它具有对非线性数据快速建模的能力，通过对训练集的反复学习来调节自身的网络结构和连接权值，并对未知的数据进行分类和预测。但是，神经网络从某种意义上说是一种启发式的学习机，本身有很大经验的成分，它有诸如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题、训练出来的模型推广能力不强等固有问题得不到很好的解决。

　　为了克服神经网络算法这个无法避免的难题，万普尼克（Vapnik）领导的AT&T Bell实验室研究小组提出了统计学习理论。统计学习理论是一种专门研究小样本情况下机器学习规律的理论，该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。Vapnik还在统计学习理论基础上提出了支持向量机（Support VectorMachine，SVM），是一种全新的模式识别方法。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较难以解释，因此对支持向量机的研究一直没有得到充分重视。直到20世纪90年代，由于神经网络等机器学习方法的研究遇到一些难以解决的瓶颈，使得支持向量机的研究得到重视并迅速发展和完善。支持向量机是基于结构风险最小化原理的一种新方法，利用结构风险最小化原理使得VC维即泛化误差的上确界最小化，从而使支持向量机具有很好的泛化能力。支持向量机在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM最初是针对分类问题提出的，目前也被推广到回归问题上。鉴于SVM扎实的理论基础，SVM目前已经成为机器学习的研究热点之一，并已经取得了很好的研究成果。

　　支持向量机

　　支持向量机方法是根据有限的样本信息建立的模型获得最好的推广学习能力。它的实现的思想是：通过某种事先选择的非线性映射，也就是满足Mercer定理的核函数将输入向量映射到一个高维特征空间，在这个空间中构造最优分类超平面，使得这个最优分类超平面能够尽可能多地将两类数据点正确地分开，同时使分开的两类数据点距离分类面最远。我们以二维线性不可分，而三维线性可分为例，如图所示：

　　图a）表示二维空间中的样本非线性可分，只能用椭圆曲线作其分类标准；但通过某种映射，将样本点映射到图b）的三维空间，样本就变得线性可分。从本质上讲，支持向量机是通过构造一个带线性不等式约束条件的二次规划问题，并求解该问题来构造分类超平面，从而得到决策函数。

　　支持向量机的优点

　　传统的统计方法只有在样本数目趋向无穷大时其性能才有理论上的保证，对于应用中的优先样本难以取得理想的分类回归效果，而支持向量机是一种小样本学习方法，在小样本学习上有特殊的优越性，能在训练样本数目很小的情况下取得很好的推广能力，特别是对非线性分类和回归问题的处理上更加有效。同时，作为一个凸优化问题，支持向量机还具有泛化能力强，容易训练，没有局部极小值等优点。支持向量机相对传统的机器学习方法优势还是很明显的：

　　1、支持向量机是一种有坚实理论基础的新颖的小样理本学习方法，并且运算过程中基本上不涉及概率测度及大数定律等。

　　2、支持向量机的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。

　　3、少数支持向量决定了最终结果，这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本，而且注定了该方法不但算法简单，而且具有较好的“鲁棒”性。

　　此外， 支持向量机具有调节参数少，运算速度快，时间代价小的优点，加之支持向量机理论研究的逐步深入，支持向量机在模式识别、回归估计、概率密度函数估计等问题上的研究也逐步深入，成为各国研究者的研究热点。

　　支持向量机的应用

　　由于支持向量机具有良好的逼近任意复杂非线性系统的能力，近年来被广泛地用于自动控制领域，以解决非线性、大滞后系统这一困扰现代控制理论界的难题。

　　模式识别方面，支持向量机可以广泛应用到人脸和人脸姿势识别、指纹识别、基因数据分析和编码、语音激活检测、语音分类以及图像的检索和识别等问题，无论从查全率和查准率两方面较传统方法都有较大的提高。

　　回归预测方面，支持向量机也得到较为广泛的应用。有人将支持向量机应用到短期电力使用负荷预测中，得到了很快的计算速度和较好的预测效果。支持向量机还可以广泛应用到天气、水文、自然灾害甚至股票走势的预测上。另外，支持向量机在故障诊断领域也得到了较为广泛的应用，如水轮发电机组卫星故障诊断、内燃机故障诊断、工业过程故障诊断等等。

　　二十一世纪， 是一个“ 信息大爆炸”的时代，信息数据大量增长，机器学习的难度急剧加大，给机器学习带来了巨大挑战。但我们相信这些挑战将极大地推动机器学习技术的不断发展，给人工智能乃至整个计算机的发展带来重大而深远的影响。同时，人类也将因此而受益。