决策树入门教程

---

1 数学基础

    1.1 概率论入门

---

    1.2 Bootstrap抽样方法

---

    1.3 对数的深刻认识

---

    1.4 信息与信息熵

---

    1.5 偏差与方差

---

    1.6 信息增益

---

    1.7 基尼不纯度

---

2 决策树基础知识

    2.1 决策树概述

---

    2.2 ID3算法简介

---

    2.3 C4.5算法简介

---

    2.4 CART算法简介

---

---

在机器学习中，决策树是一个预测模型，是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。

决策树是一种十分常用的分类方法。它是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。

常见的决策树算法有ID3，C4.5和CART（classification and regression tree），如下表所示：

生成算法	划分标准
ID3	信息增益
C4.5	信息增益率
CART	基尼指数