目录
总结
1、sklearn数据集与估计器
sklearn数据集
1、数据集划分
机器学习一般的数据集会划分为两个部分:
训练数据:用于训练,构建模型
测试数据:在模型检验时使用,用于评估模型是否有效
把样本划分一部分给测试集
2、sklearn数据集接口介绍
sklearn数据集划分API
sklearn.model_selection.train_test_split
scikit-learn数据集API介绍
•sklearn.datasets
•加载获取流行数据集
•datasets.load_*()
•获取小规模数据集,数据包含在datasets里
•datasets.fetch_*(data_home=None)
•获取大规模数据集,需要从网络上下载,函
数的第一个参数是data_home,表示数据集
下载的目录,默认是 ~/scikit_learn_data/
获取数据集返回的类型
•load*和fetch*返回的数据类型datasets.base.Bunch(字典格式)
•data:特征数据数组,是 [n_samples * n_features] 的二维 numpy.ndarray 数组
•target:标签数组,是 n_samples 的一维 numpy.ndarray 数组
•DESCR:数据描述
•feature_names:特征名,新闻数据,手写数字、回归数据集没有
•target_names:标签名,回归数据集没有
3、 sklearn分类数据集
- from sklearn.datasets import load_iris
-
- li = load_iris()
-
- print("获取特征值")
- print(li.data)
- print("目标值")
- print(li.target)
- print(li.DESCR)
数据集进行分割
•sklearn.model_selection.train_test_split(*arrays, **options)
•x 数据集的特征值
•y 数据集的标签值
•test_size 测试集的大小,一般为float
•random_state 随机数种子,不同的种子会造成不同的随机
采样结果。相同的种子采样结果相同。
•return 训练集特征值,测试集特征值,训练标签,测试标签
(默认随机取)
- # 注意返回值, 训练集 train x_train, y_train 测试集 test x_test, y_test
- x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)
-
- print("训练集特征值和目标值:", x_train, y_train)
- print("测试集特征值和目标值:", x_test, y_test)
用于分类的大数据集
•sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
•subset: 'train'或者'test','all',可选,选择要加载的数据集.
训练集的“训练”,测试集的“测试”,两者的“全部”
•datasets.clear_data_home(data_home=None)
•清除目录下的数据
4、 sklearn回归数据集
- lb = load_boston()
-
- print("获取特征值")
- print(lb.data)
- print("目标值")
- print(lb.target)
- print(lb.DESCR)
转换器类(Transformer)
算法的实现-估计器
数据类型
2、分类算法-k近邻算法(KNN)
定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
来源:KNN算法最早是由Cover和Hart提出的一种分类算法
计算距离公式
两个样本的距离可以通过如下公式计算,又叫欧式距离
比如说,a(a1,a2,a3),b(b1,b2,b3)
sklearn k-近邻算法API
•sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
• n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
•algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法:‘ball_tree’将会使用 BallTree,‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)
3、k-近邻算法实例
k近邻算法实例-预测入住位置
数据的处理
1、缩小数据集范围
DataFrame.query()
2、处理日期数据
pd.to_datetime
pd.DatetimeIndex
3、增加分割的日期数据
4、删除没用的日期数据
pd.drop
5、将签到位置少于n个用户的删除
place_count =data.groupby('place_id').aggregate(np.count_nonzero)
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]
- def knncls():
- """
- K-近邻预测用户签到位置
- :return:None
- """
- # 读取数据
- data = pd.read_csv("./data/FBlocation/train.csv")
-
- # print(data.head(10))
-
- # 处理数据
- # 1、缩小数据,查询数据筛选
- data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")
-
- # 处理时间的数据
- time_value = pd.to_datetime(data['time'], unit='s')
-
- print(time_value)
-
- # 把日期格式转换成 字典格式
- time_value = pd.DatetimeIndex(time_value)
-
- # 构造一些特征
- data['day'] = time_value.day
- data['hour'] = time_value.hour
- data['weekday'] = time_value.weekday
-
- # 把时间戳特征删除
- data = data.drop(['time'], axis=1)
-
- print(data)
-
- # 把签到数量少于n个目标位置删除
- place_count = data.groupby('place_id').count() # 分组统计个数
-
- tf = place_count[place_count.row_id > 3].reset_index() # 保留了大于3次的数据,reset_index 重置索引,把列属性换成索引
-
- data = data[data['place_id'].isin(tf.place_id)] # 把tf.place_id在data['place_id']里的数据取出来,即取出大于3次的全部数据
-
- # 取出数据当中的特征值和目标值
- y = data['place_id'] # 目标值
-
- x = data.drop(['place_id'], axis=1) # 删除place_id剩下就是特征值
-
- # 进行数据的分割训练集合测试集
- x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
-
- # 特征工程(标准化:让每一列的数据在同一个标准下进行计算) 不进行标准化时,准确率为2.7%
- std = StandardScaler() # 训练特征值做标准化,测试特征值也要做标准化,目标值不用做标准化
-
- # 对测试集和训练集的特征值进行标准化
- x_train = std.fit_transform(x_train)
-
- x_test = std.transform(x_test) # 不用fit(不用重新计算一次方差,平均值...)
-
- # 进行算法流程 # 超参数
- knn = KNeighborsClassifier()
-
- # fit, predict,score
- knn.fit(x_train, y_train) # 输入数据
-
- # 得出预测结果
- y_predict = knn.predict(x_test) # 以测试集预测
-
- print("预测的目标签到位置为:", y_predict)
-
- # 得出预测准确率
- print("预测的准确率:", knn.score(x_test, y_test)) # 用x_test得出预测值与y_test比较
-
- return None
k-近邻算法优缺点
•优点:
•简单,易于理解,易于实现,无需估计参数,无需训练
•缺点:
•懒惰算法,对测试样本分类时的计算量大,内存开销大
•必须指定K值,K值选择不当则分类精度不能保证
•使用场景:小数据场景,几千~几万样本,具体场景具体业务去测试,在实际案例基本不用。
k值取多大?有什么影响?
k值取很小:容易受异常点影响
k值取很大:容易受最近数据太多导致比例变化
4、分类模型的评估
•estimator.score()
•一般最常见使用的是准确率,即预测结果正确的百分比
混淆矩阵
•在分类任务下,预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合,构成混淆矩阵(适用于多分类)
精确率(Precision)与召回率(Recall)
检查产品合格性主要考虑召回率的较多
分类模型评估API
•sklearn.metrics.classification_report
classification_report
•sklearn.metrics.classification_report(y_true, y_pred, target_names=None)
•y_true:真实目标值
•y_pred:估计器预测目标值
•target_names:目标类别名称
•return:每个类别精确率与召回率
5、分类算法-朴素贝叶斯算法
1、概率基础
联合概率和条件概率
联合概率:包含多个条件,且所有条件同时成立的概率
记作:P(A,B) P(A,B)=P(A)P(B)
条件概率:就是事件A在另外一个事件B已经发生条件下的发生概率
记作:P(A|B)
特性:P(A1,A2|B) = P(A1|B)P(A2|B)
注意:此条件概率的成立,是由于A1,A2相互独立的结果
2、朴素贝叶斯介绍
使用前提:特征独立(不独立时也可以使用,但是效果不好)
“朴素”就是特征独立(条件独立)的意思
朴素贝叶斯-贝叶斯公式
例:
思考:属于某个类别为0,合适吗?
拉普拉斯平滑
问题:从上面的例子我们得到娱乐概率为0,这是不合理的,如果词频列表里面
有很多出现次数都为0,很可能计算结果都为零
解决方法:拉普拉斯平滑系数
![]()
𝛼为指定的系数α为指定的系数一般为1,m为训练文档中统计出的特征词个数
sklearn朴素贝叶斯实现API
•sklearn.naive_bayes.MultinomialNB
MultinomialNB
•sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
•朴素贝叶斯分类
•alpha:拉普拉斯平滑系数
6、朴素贝叶斯算法实例
•sklearn20类新闻分类
•20个新闻组数据集包含20个主题的18000个新闻组帖子
朴素贝叶斯案例流程
1、加载20类新闻数据,并进行分割
2、生成文章特征词
3、朴素贝叶斯estimator流程进行预估
- def naviebayes():
- """
- 朴素贝叶斯进行文本分类
- :return: None
- """
- news = fetch_20newsgroups(subset='all') # 获取所有数据
-
- # 进行数据分割 news.data:文章,news.target:类别,x:特征值,y:目标值
- x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)
-
- # 对数据集进行特征抽取
- tf = TfidfVectorizer()
-
- # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
- x_train = tf.fit_transform(x_train)
-
- print(tf.get_feature_names())
-
- x_test = tf.transform(x_test) # 以['a','b','c','d']进行统计测试集的重要性
-
- # 进行朴素贝叶斯算法的预测
- mlt = MultinomialNB(alpha=1.0)
-
- print(x_train.toarray())
-
- mlt.fit(x_train, y_train)
-
- y_predict = mlt.predict(x_test)
-
- print("预测的文章类别为:", y_predict)
-
- # 得出准确率
- print("准确率为:", mlt.score(x_test, y_test))
-
- print("每个类别的精确率和召回率:", classification_report(y_test, y_predict, target_names=news.target_names))
-
- return None
朴素贝叶斯分类优缺点
•优点:
•朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
•对缺失数据不太敏感,算法也比较简单,常用于文本分类。
•分类准确度高,速度快
•缺点:
•需要知道先验概率P(F1,F2,…|C),因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
不需要调参
7、模型的选择与调优
交叉验证过程
交叉验证:为了让被评估的模型更加准确可信
超参数搜索-网格搜索
超参数搜索-网格搜索API
•sklearn.model_selection.GridSearchCV
GridSearchCV
•sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
•对估计器的指定参数值进行详尽搜索
•estimator:估计器对象
•param_grid:估计器参数(dict){“n_neighbors”:[1,3,5]}
•cv:指定几折交叉验证
•fit:输入训练数据
•score:准确率
•结果分析:
•best_score_:在交叉验证中测试的最好结果
•best_estimator_:最好的参数模型
•cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果
将前面的k-近邻算法案例改成网格搜索
- def knncls():
- """
- K-近邻预测用户签到位置
- :return:None
- """
- # 读取数据
- data = pd.read_csv("./data/FBlocation/train.csv")
-
- # print(data.head(10))
-
- # 处理数据
- # 1、缩小数据,查询数据筛选
- data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")
-
- # 处理时间的数据
- time_value = pd.to_datetime(data['time'], unit='s')
-
- print(time_value)
-
- # 把日期格式转换成 字典格式
- time_value = pd.DatetimeIndex(time_value)
-
- # 构造一些特征
- data['day'] = time_value.day
- data['hour'] = time_value.hour
- data['weekday'] = time_value.weekday
-
- # 把时间戳特征删除
- data = data.drop(['time'], axis=1)
-
- print(data)
-
- # 把签到数量少于n个目标位置删除
- place_count = data.groupby('place_id').count() # 分组统计个数
-
- tf = place_count[place_count.row_id > 3].reset_index() # 保留了大于3次的数据,reset_index 重置索引,把列属性换成索引
-
- data = data[data['place_id'].isin(tf.place_id)] # 把tf.place_id在data['place_id']里的数据取出来,即取出大于3次的全部数据
-
- # 取出数据当中的特征值和目标值
- y = data['place_id'] # 目标值
-
- x = data.drop(['place_id'], axis=1) # 删除place_id剩下就是特征值
-
- # 进行数据的分割训练集合测试集
- x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
-
- # 特征工程(标准化:让每一列的数据在同一个标准下进行计算) 不进行标准化时,准确率为2.7%
- std = StandardScaler() # 训练特征值做标准化,测试特征值也要做标准化,目标值不用做标准化
-
- # 对测试集和训练集的特征值进行标准化
- x_train = std.fit_transform(x_train)
-
- x_test = std.transform(x_test) # 不用fit(不用重新计算一次方差,平均值...)
-
- # 进行算法流程 # 超参数
- knn = KNeighborsClassifier()
-
- # # fit, predict,score
- # knn.fit(x_train, y_train) # 输入数据
- #
- # # 得出预测结果
- # y_predict = knn.predict(x_test) # 以测试集预测
- #
- # print("预测的目标签到位置为:", y_predict)
- #
- # # 得出预测准确率
- # print("预测的准确率:", knn.score(x_test, y_test)) # 用x_test得出预测值与y_test比较
-
- # 构造一些参数的值进行搜索
- param = {"n_neighbors": [3, 5, 10]}
-
- # 进行网格搜索
- gc = GridSearchCV(knn, param_grid=param, cv=2)
-
- gc.fit(x_train, y_train)
-
- # 预测准确率
- print("在测试集上准确率:", gc.score(x_test, y_test))
-
- print("在交叉验证当中最好的结果:", gc.best_score_)
-
- print("选择最好的模型是:", gc.best_estimator_)
-
- print("每个超参数每次交叉验证的结果:", gc.cv_results_)
-
- return None
8、决策树与随机森林
决策树
认识决策树
决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法
信息的度量和作用
信息熵
信息和消除不确定性是相联系的
决策树的划分依据之一-信息增益
注:信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
信息增益的计算
所以A3作为判定的第一个标准
常见决策树使用的算法
•ID3
信息增益 最大的准则
•C4.5
信息增益比 最大的准则
•CART
回归树: 平方误差 最小
分类树: 基尼系数(划分更加仔细) 最小的准则 在sklearn中可以选择划分的原则
sklearn决策树API
•class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
•决策树分类器
•criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
•max_depth:树的深度大小
•random_state:随机数种子
•method:
•decision_path:返回决策树的路径
泰坦尼克号数据
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息,但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单,由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别,存活,乘坐班,年龄,登陆,home.dest,房间,票,船和性别。乘坐班是指乘客班(1,2,3),是社会经济阶层的代表。
其中age数据存在缺失。
泰坦尼克号乘客生存分类模型
1、pd读取数据
2、选择有影响的特征,处理缺失值
3、进行特征工程,pd转换字典,特征抽取
x_train.to_dict(orient="records")
4、决策树估计器流程
决策树的结构、本地保存
1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
2、工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz Mac:brew install graphviz
3、运行命令
然后我们运行这个命令
$ dot -Tpng tree.dot -o tree.png
效果图:
- def decision():
- """
- 决策树对泰坦尼克号进行预测生死
- :return: None
- """
- # 获取数据
- titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
-
- # 处理数据,找出特征值和目标值
- x = titan[['pclass', 'age', 'sex']]
-
- y = titan['survived']
-
- print(x)
- # 缺失值处理
- x['age'].fillna(x['age'].mean(), inplace=True)
-
- # 分割数据集到训练集合测试集
- x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
-
- # 进行处理(特征工程)特征-》类别-》one_hot编码
- dict = DictVectorizer(sparse=False)
-
- x_train = dict.fit_transform(x_train.to_dict(orient="records"))
-
- print(dict.get_feature_names())
-
- x_test = dict.transform(x_test.to_dict(orient="records"))
-
- # print(x_train)
- # 用决策树进行预测
- dec = DecisionTreeClassifier()
-
- dec.fit(x_train, y_train)
-
- # 预测准确率
- print("预测的准确率:", dec.score(x_test, y_test))
-
- # 导出决策树的结构
- export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
-
-
- return None
决策树的优缺点以及改进
•优点:
•简单的理解和解释,树木可视化。
•需要很少的数据准备,其他技术通常需要数据归一化,
•缺点:
•决策树学习者可以创建不能很好地推广数据的过于复杂的树,这被称为过拟合。
•决策树可能不稳定,因为数据的小变化可能会导致完全不同的树被生成
•改进:
•减枝cart算法
•随机森林
随机森林
集成学习方法-随机森林
集成学习方法
集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。
什么是随机森林
定义:在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。
例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终结果会是True.
学习算法
根据下列算法而建造每棵树:
•用N来表示训练用例(样本)的个数,M表示特征数目。
•输入特征数目m,用于确定决策树上一个节点的决策结果;其中m应远小于M。
•从N个训练用例(样本)中以有放回抽样的方式,取样N次,形成一个训练集(即bootstrap取样),并用未抽到的用例(样本)作预测,评估其误差。
•为什么要随机抽样训练集?
如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样的
•为什么要有放回地抽样?
如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是“有偏的”,都是绝对“片面的”(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决。
随机森林API
- def decision():
- """
- 决策树对泰坦尼克号进行预测生死
- :return: None
- """
- # 获取数据
- titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
-
- # 处理数据,找出特征值和目标值
- x = titan[['pclass', 'age', 'sex']]
-
- y = titan['survived']
-
- print(x)
- # 缺失值处理
- x['age'].fillna(x['age'].mean(), inplace=True)
-
- # 分割数据集到训练集合测试集
- x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
-
- # 进行处理(特征工程)特征-》类别-》one_hot编码
- dict = DictVectorizer(sparse=False)
-
- x_train = dict.fit_transform(x_train.to_dict(orient="records"))
-
- print(dict.get_feature_names())
-
- x_test = dict.transform(x_test.to_dict(orient="records"))
-
- # print(x_train)
- # 用决策树进行预测
- # dec = DecisionTreeClassifier()
- #
- # dec.fit(x_train, y_train)
- #
- # # 预测准确率
- # print("预测的准确率:", dec.score(x_test, y_test))
- #
- # # 导出决策树的结构
- # export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
-
- # 随机森林进行预测 (超参数调优)
- rf = RandomForestClassifier(n_jobs=-1)
-
- param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
-
- # 网格搜索与交叉验证
- gc = GridSearchCV(rf, param_grid=param, cv=2)
-
- gc.fit(x_train, y_train)
-
- print("准确率:", gc.score(x_test, y_test))
-
- print("查看选择的参数模型:", gc.best_params_)
-
- return None
随机森林的优点
•在当前所有算法中,具有极好的准确率
•能够有效地运行在大数据集上
•能够处理具有高维特征的输入样本,而且不需要降维
•能够评估各个特征在分类问题上的重要性
•对于缺省值问题也能够获得很好得结果
Related Issues not found
Please contact @dicaprio17 to initialize the comment