和函数常用公式核函数( 四 )

4. 二次有理函数核（rational quadratic kernel, RQ kernel）
式中为超参数。可以证明， RQ核是无穷个RBF核的线性叠加，当趋于无穷时， RQ核等价于以为特征尺度的RBF核[3]。
其它
1. 周期核函数（periodickernel）
平稳核函数可以用于构建周期核函数：式中，表示该核函数具有的周期，例如由RBF核得到的周期核的形式为：。
2. 内积核函数（dot product kernel）
内积核函数也被称为多项式核函数，其形式为：，式中表示多项式的阶数[3]。
3. 各向异性核函数
对各向同性核函数，定义可将各向同性核函数转化为各向异性核函数，式中是表征各向异性的函数，其格拉姆矩阵的对角元素表示对不同维度所取的不同尺度[3]。
理论
根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难” 。采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间，非线性函数Φ实现输入空间X到特征空间F的映射，其中F属于R（m）， nm 。根据核函数技术有：
K(x,z) =Φ(x) ， Φ(z)(1)
其中：, 为内积， K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
性质
核函数具有以下性质[4] ：
（1）核函数的引入避免了“维数灾难” ，大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
（2）无需知道非线性变换函数Φ的形式和参数.
（3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
（4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法[5]。
Kernal Function | 核函数某些数据在原始空间无法线性可分，可以将其映射到高维空间处理。
提问：如何映射？何种高维空间？
假设：映射为Φ ，映射后的空间为Φ(x)
问题：要跟不知道我们要什么样的Φ
在高维空间中划分超平面主要涉及样本xi和样本xj之间的内积运算Φ(xi),Φ(xj)（这里具体参见西瓜书P126）
核函数的作用就是：k(xi,xj) = Φ(xi),Φ(xj), 使得在低维空间操作xi,xj上完成高维Φ(xi),Φ(xj)想要完成的运算。
结合上图《hands on machine learning with scikit-learn and tensorflow》中的描述，做出个人理解：
核函数首先在samples上找 1个landmark ，然后计算其他所有数据同这个landmark的核函数距离，之后将这个距离作为一个特征使用。
如要生成更多的特征，那么就找更多的landmark ，最多可以找到m个(m = the num of samples)
核函数是一种距离公式，它可以用来生成特征。
这里只例举高斯核函数，我看过两种表达方式，分别为高斯核、高斯径向基函数如下：
y = wx+b无法完成分类，对x进行变化， x' = k(x,l)==y = wx'+b可以对x'划分
已知x',y可以求出w,b
对new_x ，进行变化new_x' ，带入y = wx'+b ，即可进行预测
为了提高预测准确性，往往会设置多个landmark求多个x'得到多个模型y = wx'+b
机器学习有很多关于核函数的说法，什么是核函数核函数就是内积。
故事应该从一个简单的二维世界讲起。从前有一个世界X ， X里面有很多很多的数据点，这些数据点属于两个帮派，正类和负类。正类点居住在y轴右边，负类点居住在y轴左边，他们以y轴为分界线，泾渭分明，互不侵犯。

和函数常用公式 核函数( 四 )

秒懂生活扩展阅读

和函数常用公式核函数( 四 )