发表于 | 分类于 ，
1 特征中心化。即每一维的数据都减去该维的均值。
2 计算协方差矩阵.协方差就是衡量两个变量相关性的变量
3 计算协方差矩阵的特征值和特征向量
4 选取从大到小依次选取若干个的特征值对应的特征向量，映射得到新的样本集：样本乘以特征向量
阅读全文 »

发表于 | 分类于 ，
存储类 描述
auto 声明变量时根据初始化表达式自动推断该变量的类型、声明函数时函数返回值的占位符
register register 存储类用于定义存储在寄存器中而不是 RAM 中的局部变量。这意味着变量的最大尺寸等于寄存器的大小（通常是一个词），且不能对它应用一元的 ‘&’ 运算符（因为它没有内存位置）。
static static 存储类指示编译器在程序的生命周期内保持局部变量的存在，而不需要在每次它进入和离开作用域时进行创建和销毁。因此，使用 static 修饰局部变量可以在函数调用之间保持局部变量的值。
static 修饰符也可以应用于全局变量。当 static 修饰全局变量时，会使变量的作用域限制在声明它的文件内。
extern 当您有多个文件且定义了一个可以在其他文件中使用的全局变量或函数时，可以在其他文件中使用 extern 来得到已定义的变量或函数的引用。可以这么理解，extern 是用来在另一个文件中声明一个全局变量或函数。
mutable mutable 说明符仅适用于类的对象，这将在本教程的最后进行讲解。它允许对象的成员替代常量。也就是说，mutable 成员可以通过 const 成员函数修改。
thread_local 使用 thread_local 说明符声明的变量仅可在它在其上创建的线程上访问。 变量在创建线程时创建，并在销毁线程时销毁。 每个线程都有其自己的变量副本。可以将 thread_local 仅应用于数据声明和定义，thread_local 不能用于函数声明或定义。
thread_local 说明符可以与 static 或 extern 合并。
阅读全文 »

发表于 | 分类于 ，

简介

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树。CART算法有两步：决策树生成和剪枝。

阅读全文 »

发表于 | 分类于 ，

简介

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。决策树案例图如下图所示。
决策树案例图

算法 特征选择 目标
ID3 信息增益
$g(D,A)=H(D)-H(D\mid A)$		 信息增益最大的
C4.5 信息增益比
$g_{R}(D,A)=\frac{g(D,A)}{H_A(D)}$		 信息增益比大的
CART 分类：基尼指数
$Gini( p )=\sum_{k=1}^{K}p_k(1-p_k)=1-\sum_{k=1}^{K}p_k^2$
回归：平方差
阅读全文 »