机器学习—学习笔记#day02

机器学习

Posted by DiCaprio on July 17, 2019

目录

总结

1、sklearn数据集与估计器

sklearn数据集

1、数据集划分

2、sklearn数据集接口介绍

sklearn数据集划分API

scikit-learn数据集API介绍

获取数据集返回的类型

3、 sklearn分类数据集

数据集进行分割

用于分类的大数据集

4、 sklearn回归数据集

转换器类(Transformer)

算法的实现-估计器

数据类型

2、分类算法-k近邻算法(KNN)

计算距离公式

sklearn k-近邻算法API

3、k-近邻算法实例

k近邻算法实例-预测入住位置

数据的处理

k-近邻算法优缺点

4、分类模型的评估

混淆矩阵

精确率(Precision)与召回率(Recall)

分类模型评估API

classification_report

5、分类算法-朴素贝叶斯算法

1、概率基础

联合概率和条件概率

2、朴素贝叶斯介绍

朴素贝叶斯-贝叶斯公式

拉普拉斯平滑

sklearn朴素贝叶斯实现API

MultinomialNB

6、朴素贝叶斯算法实例

朴素贝叶斯案例流程

朴素贝叶斯分类优缺点

7、模型的选择与调优

交叉验证过程

超参数搜索-网格搜索

超参数搜索-网格搜索API

GridSearchCV

8、决策树与随机森林

决策树

认识决策树

信息的度量和作用

信息熵

决策树的划分依据之一-信息增益

信息增益的计算

常见决策树使用的算法

sklearn决策树API

泰坦尼克号乘客生存分类模型

决策树的结构、本地保存

决策树的优缺点以及改进

随机森林

集成学习方法-随机森林

什么是随机森林

随机森林API

随机森林的优点


总结

1、sklearn数据集与估计器

sklearn数据集

1、数据集划分

机器学习一般的数据集会划分为两个部分:

训练数据:用于训练,构建模型

测试数据:在模型检验时使用,用于评估模型是否有效

把样本划分一部分给测试集

2sklearn数据集接口介绍

sklearn数据集划分API

sklearn.model_selection.train_test_split

scikit-learn数据集API介绍

sklearn.datasets

加载获取流行数据集

datasets.load_*()

获取小规模数据集,数据包含在datasets

datasets.fetch_*(data_home=None)

获取大规模数据集,需要从网络上下载,函

  数的第一个参数是data_home,表示数据集

  下载的目录,默认是 ~/scikit_learn_data/

获取数据集返回的类型

load*fetch*返回的数据类型datasets.base.Bunch(字典格式)

data:特征数据数组,是 [n_samples * n_features] 的二维 numpy.ndarray 数组

target:标签数组,是 n_samples 的一维 numpy.ndarray 数组

DESCR:数据描述

feature_names:特征名,新闻数据,手写数字、回归数据集没有

target_names:标签名,回归数据集没有

3 sklearn分类数据集

  1. from sklearn.datasets import load_iris
  2. li = load_iris()
  3. print("获取特征值")
  4. print(li.data)
  5. print("目标值")
  6. print(li.target)
  7. print(li.DESCR)

 

数据集进行分割

sklearn.model_selection.train_test_split(*arrays**options)

       数据集的特征值

y        数据集的标签值

test_size      测试集的大小,一般为float

random_state        随机数种子,不同的种子会造成不同的随机

采样结果。相同的种子采样结果相同。

return  训练集特征值,测试集特征值,训练标签,测试标签

(默认随机取

  1. # 注意返回值, 训练集 train x_train, y_train 测试集 test x_test, y_test
  2. x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)
  3. print("训练集特征值和目标值:", x_train, y_train)
  4. print("测试集特征值和目标值:", x_test, y_test)

 

用于分类的大数据集

sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)

subset: 'train'或者'test','all',可选,选择要加载的数据集.

训练集的“训练”,测试集的“测试”,两者的“全部”

datasets.clear_data_home(data_home=None)

清除目录下的数据

4 sklearn回归数据集

  1. lb = load_boston()
  2. print("获取特征值")
  3. print(lb.data)
  4. print("目标值")
  5. print(lb.target)
  6. print(lb.DESCR)

转换器类(Transformer)

算法的实现-估计器

 

数据类型

2、分类算法-k近邻算法(KNN)

定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由CoverHart提出的一种分类算法

计算距离公式

两个样本的距离可以通过如下公式计算,又叫欧式距离

比如说,a(a1,a2,a3),b(b1,b2,b3)

sklearn k-近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

n_neighborsint,可选(默认= 5),k_neighbors查询默认使用的邻居数

algorithm{‘auto’ball_treekd_tree‘brute’},可选用于计算最近邻居的算法:ball_tree将会使用 BallTreekd_tree将使用 KDTree‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

3k-近邻算法实例

k近邻算法实例-预测入住位置

数据的处理

1、缩小数据集范围

DataFrame.query()

2、处理日期数据

pd.to_datetime

pd.DatetimeIndex

3、增加分割的日期数据

4、删除没用的日期数据

pd.drop

5、将签到位置少于n个用户的删除

place_count =data.groupby('place_id').aggregate(np.count_nonzero)
tf = place_count[place_count.row_id > 3].reset_index()

data = data[data['place_id'].isin(tf.place_id)]

  1. def knncls():
  2. """
  3. K-近邻预测用户签到位置
  4. :return:None
  5. """
  6. # 读取数据
  7. data = pd.read_csv("./data/FBlocation/train.csv")
  8. # print(data.head(10))
  9. # 处理数据
  10. # 1、缩小数据,查询数据筛选
  11. data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")
  12. # 处理时间的数据
  13. time_value = pd.to_datetime(data['time'], unit='s')
  14. print(time_value)
  15. # 把日期格式转换成 字典格式
  16. time_value = pd.DatetimeIndex(time_value)
  17. # 构造一些特征
  18. data['day'] = time_value.day
  19. data['hour'] = time_value.hour
  20. data['weekday'] = time_value.weekday
  21. # 把时间戳特征删除
  22. data = data.drop(['time'], axis=1)
  23. print(data)
  24. # 把签到数量少于n个目标位置删除
  25. place_count = data.groupby('place_id').count() # 分组统计个数
  26. tf = place_count[place_count.row_id > 3].reset_index() # 保留了大于3次的数据,reset_index 重置索引,把列属性换成索引
  27. data = data[data['place_id'].isin(tf.place_id)] # 把tf.place_id在data['place_id']里的数据取出来,即取出大于3次的全部数据
  28. # 取出数据当中的特征值和目标值
  29. y = data['place_id'] # 目标值
  30. x = data.drop(['place_id'], axis=1) # 删除place_id剩下就是特征值
  31. # 进行数据的分割训练集合测试集
  32. x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
  33. # 特征工程(标准化:让每一列的数据在同一个标准下进行计算) 不进行标准化时,准确率为2.7%
  34. std = StandardScaler() # 训练特征值做标准化,测试特征值也要做标准化,目标值不用做标准化
  35. # 对测试集和训练集的特征值进行标准化
  36. x_train = std.fit_transform(x_train)
  37. x_test = std.transform(x_test) # 不用fit(不用重新计算一次方差,平均值...)
  38. # 进行算法流程 # 超参数
  39. knn = KNeighborsClassifier()
  40. # fit, predict,score
  41. knn.fit(x_train, y_train) # 输入数据
  42. # 得出预测结果
  43. y_predict = knn.predict(x_test) # 以测试集预测
  44. print("预测的目标签到位置为:", y_predict)
  45. # 得出预测准确率
  46. print("预测的准确率:", knn.score(x_test, y_test)) # 用x_test得出预测值与y_test比较
  47. return None

k-近邻算法优缺点

优点:

简单,易于理解,易于实现,无需估计参数,无需训练

缺点:

懒惰算法,对测试样本分类时的计算量大,内存开销大

必须指定K值,K值选择不当则分类精度不能保证

使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试,在实际案例基本不用。

k值取多大?有什么影响?

k值取很小:容易受异常点影响

k值取很大:容易受最近数据太多导致比例变化

4、分类模型的评估

estimator.score()

一般最常见使用的是准确率,即预测结果正确的百分比

混淆矩阵

在分类任务下,预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合,构成混淆矩阵(适用于多分类)

精确率(Precision)与召回率(Recall)

检查产品合格性主要考虑召回率的较多

分类模型评估API

sklearn.metrics.classification_report

classification_report

 

sklearn.metrics.classification_report(y_truey_predtarget_names=None)

y_true:真实目标值

y_pred:估计器预测目标值

target_names:目标类别名称

return:每个类别精确率与召回率

5、分类算法-朴素贝叶斯算法

1、概率基础

联合概率和条件概率

联合概率:包含多个条件,且所有条件同时成立的概率

记作:P(A,B)   P(A,B)=P(A)P(B)

条件概率:就是事件A在另外一个事件B已经发生条件下的发生概率

记作:P(A|B)

特性:P(A1,A2|B) = P(A1|B)P(A2|B)

注意:此条件概率的成立,是由于A1,A2相互独立的结果

2、朴素贝叶斯介绍

使用前提:特征独立(不独立时也可以使用,但是效果不好)

“朴素”就是特征独立(条件独立)的意思

朴素贝叶斯-贝叶斯公式

例:

思考:属于某个类别为0,合适吗?

拉普拉斯平滑

问题:从上面的例子我们得到娱乐概率为0,这是不合理的,如果词频列表里面

有很多出现次数都为0,很可能计算结果都为零

解决方法:拉普拉斯平滑系数

                

𝛼指定系数α指定系数一般为1m为训练文档中统计出的特征词个数

sklearn朴素贝叶斯实现API

sklearn.naive_bayes.MultinomialNB

MultinomialNB

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

朴素贝叶斯分类

alpha:拉普拉斯平滑系数

6、朴素贝叶斯算法实例

sklearn20类新闻分类

20个新闻组数据集包含20个主题的18000个新闻组帖子

朴素贝叶斯案例流程

1、加载20类新闻数据,并进行分割

2、生成文章特征词

3、朴素贝叶斯estimator流程进行预估

  1. def naviebayes():
  2. """
  3. 朴素贝叶斯进行文本分类
  4. :return: None
  5. """
  6. news = fetch_20newsgroups(subset='all') # 获取所有数据
  7. # 进行数据分割 news.data:文章,news.target:类别,x:特征值,y:目标值
  8. x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)
  9. # 对数据集进行特征抽取
  10. tf = TfidfVectorizer()
  11. # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
  12. x_train = tf.fit_transform(x_train)
  13. print(tf.get_feature_names())
  14. x_test = tf.transform(x_test) # 以['a','b','c','d']进行统计测试集的重要性
  15. # 进行朴素贝叶斯算法的预测
  16. mlt = MultinomialNB(alpha=1.0)
  17. print(x_train.toarray())
  18. mlt.fit(x_train, y_train)
  19. y_predict = mlt.predict(x_test)
  20. print("预测的文章类别为:", y_predict)
  21. # 得出准确率
  22. print("准确率为:", mlt.score(x_test, y_test))
  23. print("每个类别的精确率和召回率:", classification_report(y_test, y_predict, target_names=news.target_names))
  24. return None

朴素贝叶斯分类优缺点

优点:

朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。

对缺失数据不太敏感,算法也比较简单,常用于文本分类。

分类准确度高,速度快

缺点:

需要知道先验概率P(F1,F2,|C),因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

不需要调参

7、模型的选择与调优

交叉验证过程

交叉验证:为了让被评估的模型更加准确可信

超参数搜索-网格搜索

超参数搜索-网格搜索API

sklearn.model_selection.GridSearchCV

GridSearchCV

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)

对估计器的指定参数值进行详尽搜索

estimator:估计器对象

param_grid:估计器参数(dict){“n_neighbors”:[1,3,5]}

cv:指定几折交叉验证

fit:输入训练数据

score:准确率

结果分析:

best_score_:在交叉验证中测试的最好结果

best_estimator_:最好的参数模型

cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

将前面的k-近邻算法案例改成网格搜索 

  1. def knncls():
  2. """
  3. K-近邻预测用户签到位置
  4. :return:None
  5. """
  6. # 读取数据
  7. data = pd.read_csv("./data/FBlocation/train.csv")
  8. # print(data.head(10))
  9. # 处理数据
  10. # 1、缩小数据,查询数据筛选
  11. data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")
  12. # 处理时间的数据
  13. time_value = pd.to_datetime(data['time'], unit='s')
  14. print(time_value)
  15. # 把日期格式转换成 字典格式
  16. time_value = pd.DatetimeIndex(time_value)
  17. # 构造一些特征
  18. data['day'] = time_value.day
  19. data['hour'] = time_value.hour
  20. data['weekday'] = time_value.weekday
  21. # 把时间戳特征删除
  22. data = data.drop(['time'], axis=1)
  23. print(data)
  24. # 把签到数量少于n个目标位置删除
  25. place_count = data.groupby('place_id').count() # 分组统计个数
  26. tf = place_count[place_count.row_id > 3].reset_index() # 保留了大于3次的数据,reset_index 重置索引,把列属性换成索引
  27. data = data[data['place_id'].isin(tf.place_id)] # 把tf.place_id在data['place_id']里的数据取出来,即取出大于3次的全部数据
  28. # 取出数据当中的特征值和目标值
  29. y = data['place_id'] # 目标值
  30. x = data.drop(['place_id'], axis=1) # 删除place_id剩下就是特征值
  31. # 进行数据的分割训练集合测试集
  32. x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
  33. # 特征工程(标准化:让每一列的数据在同一个标准下进行计算) 不进行标准化时,准确率为2.7%
  34. std = StandardScaler() # 训练特征值做标准化,测试特征值也要做标准化,目标值不用做标准化
  35. # 对测试集和训练集的特征值进行标准化
  36. x_train = std.fit_transform(x_train)
  37. x_test = std.transform(x_test) # 不用fit(不用重新计算一次方差,平均值...)
  38. # 进行算法流程 # 超参数
  39. knn = KNeighborsClassifier()
  40. # # fit, predict,score
  41. # knn.fit(x_train, y_train) # 输入数据
  42. #
  43. # # 得出预测结果
  44. # y_predict = knn.predict(x_test) # 以测试集预测
  45. #
  46. # print("预测的目标签到位置为:", y_predict)
  47. #
  48. # # 得出预测准确率
  49. # print("预测的准确率:", knn.score(x_test, y_test)) # 用x_test得出预测值与y_test比较
  50. # 构造一些参数的值进行搜索
  51. param = {"n_neighbors": [3, 5, 10]}
  52. # 进行网格搜索
  53. gc = GridSearchCV(knn, param_grid=param, cv=2)
  54. gc.fit(x_train, y_train)
  55. # 预测准确率
  56. print("在测试集上准确率:", gc.score(x_test, y_test))
  57. print("在交叉验证当中最好的结果:", gc.best_score_)
  58. print("选择最好的模型是:", gc.best_estimator_)
  59. print("每个超参数每次交叉验证的结果:", gc.cv_results_)
  60. return None

8、决策树与随机森林

决策树

认识决策树

决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法

信息的度量和作用

信息熵

信息和消除不确定性是相联系的

决策树的划分依据之一-信息增益

注:信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

信息增益的计算

所以A3作为判定的第一个标准

常见决策树使用的算法

ID3

信息增益 最大的准则

C4.5

信息增益比 最大的准则

CART

回归树: 平方误差 最小

分类树: 基尼系数(划分更加仔细)   最小的准则 在sklearn中可以选择划分的原则

sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’ginimax_depth=None,random_state=None)

决策树分类器

criterion:默认是gini系数,也可以选择信息增益的熵’entropy’

max_depth:树的深度大小

random_state:随机数种子

method:

decision_path:返回决策树的路径

泰坦尼克号数据

在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息,但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单,由Michael A. Findlay编辑。

我们提取的数据集中的特征是票的类别,存活,乘坐班,年龄,登陆,home.dest,房间,票,船和性别。乘坐班是指乘客班(123),是社会经济阶层的代表。

其中age数据存在缺失。

泰坦尼克号乘客生存分类模型

1pd读取数据

2、选择有影响的特征,处理缺失值

3、进行特征工程,pd转换字典,特征抽取

x_train.to_dict(orient="records")

4、决策树估计器流程

 

决策树的结构、本地保存

1sklearn.tree.export_graphviz() 该函数能够导出DOT格式

tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具:(能够将dot文件转换为pdfpng)

安装graphviz

ubuntu:sudo apt-get install graphviz                    Mac:brew install graphviz

3、运行命令

然后我们运行这个命令

$ dot -Tpng tree.dot -o tree.png

 效果图:

  1. def decision():
  2. """
  3. 决策树对泰坦尼克号进行预测生死
  4. :return: None
  5. """
  6. # 获取数据
  7. titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
  8. # 处理数据,找出特征值和目标值
  9. x = titan[['pclass', 'age', 'sex']]
  10. y = titan['survived']
  11. print(x)
  12. # 缺失值处理
  13. x['age'].fillna(x['age'].mean(), inplace=True)
  14. # 分割数据集到训练集合测试集
  15. x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
  16. # 进行处理(特征工程)特征-》类别-》one_hot编码
  17. dict = DictVectorizer(sparse=False)
  18. x_train = dict.fit_transform(x_train.to_dict(orient="records"))
  19. print(dict.get_feature_names())
  20. x_test = dict.transform(x_test.to_dict(orient="records"))
  21. # print(x_train)
  22. # 用决策树进行预测
  23. dec = DecisionTreeClassifier()
  24. dec.fit(x_train, y_train)
  25. # 预测准确率
  26. print("预测的准确率:", dec.score(x_test, y_test))
  27. # 导出决策树的结构
  28. export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
  29. return None

决策树的优缺点以及改进

优点:

简单的理解和解释,树木可视化。

需要很少的数据准备,其他技术通常需要数据归一化,

缺点:

决策树学习者可以创建不能很好地推广数据的过于复杂的树,这被称为过拟合。

决策树可能不稳定,因为数据的小变化可能会导致完全不同的树被生成

改进:

减枝cart算法

随机森林

随机森林

集成学习方法-随机森林

集成学习方法

  集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。

什么是随机森林

定义:在机器学习中随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。

例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终结果会是True.

学习算法

根据下列算法而建造每棵树:

N来表示训练用例(样本)的个数,M表示特征数目。

输入特征数目m,用于确定决策树上一个节点的决策结果;其中m应远小于M

N个训练用例(样本)中以有放回抽样的方式,取样N次,形成一个训练集(即bootstrap取样),并用未抽到的用例(样本)作预测,评估其误差。

为什么要随机抽样训练集?  

如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样

为什么要有放回地抽样?

  如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是有偏的,都是绝对片面的(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决。

随机森林API

  1. def decision():
  2. """
  3. 决策树对泰坦尼克号进行预测生死
  4. :return: None
  5. """
  6. # 获取数据
  7. titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
  8. # 处理数据,找出特征值和目标值
  9. x = titan[['pclass', 'age', 'sex']]
  10. y = titan['survived']
  11. print(x)
  12. # 缺失值处理
  13. x['age'].fillna(x['age'].mean(), inplace=True)
  14. # 分割数据集到训练集合测试集
  15. x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
  16. # 进行处理(特征工程)特征-》类别-》one_hot编码
  17. dict = DictVectorizer(sparse=False)
  18. x_train = dict.fit_transform(x_train.to_dict(orient="records"))
  19. print(dict.get_feature_names())
  20. x_test = dict.transform(x_test.to_dict(orient="records"))
  21. # print(x_train)
  22. # 用决策树进行预测
  23. # dec = DecisionTreeClassifier()
  24. #
  25. # dec.fit(x_train, y_train)
  26. #
  27. # # 预测准确率
  28. # print("预测的准确率:", dec.score(x_test, y_test))
  29. #
  30. # # 导出决策树的结构
  31. # export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
  32. # 随机森林进行预测 (超参数调优)
  33. rf = RandomForestClassifier(n_jobs=-1)
  34. param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
  35. # 网格搜索与交叉验证
  36. gc = GridSearchCV(rf, param_grid=param, cv=2)
  37. gc.fit(x_train, y_train)
  38. print("准确率:", gc.score(x_test, y_test))
  39. print("查看选择的参数模型:", gc.best_params_)
  40. return None

随机森林的优点

在当前所有算法中,具有极好的准确率

能够有效地运行在大数据集上

能够处理具有高维特征的输入样本,而且不需要降维

能够评估各个特征在分类问题上的重要性

对于缺省值问题也能够获得很好得结果


Related Issues not found

Please contact @dicaprio17 to initialize the comment