西瓜书

集成学习-弱分类器与AdaBoost简介西瓜书

1.集成学习现实情景中，一个学习器的泛化性能可能有局限，而集成学习则可以通过构造多个学习器来完成学习任务，有时也被称为多分类器系统，集成学习的大致步骤是先生成一组‘个体学习器’，然后基于某种策略将学习器结合…

集成学习-AdaBoost更新准则推导西瓜书

1.损失函数上一篇文章简单介绍了集成学习和弱学习器的理论概率，最后给出了AdaBoost的伪代码与实现步骤，思路比较清晰，这篇文章主要针对分类器的重要性α与分布权重Dt的更新规则进行推导.推导之前先看一下常见的损失函数（损失函数…

西瓜书读书笔记整理（十二） —— 第十二章计算学习理论

第十二章计算学习理论（上） 12.1 基础知识12.1.1 什么是计算学习理论（computational learning theory）12.1.2 什么是独立同分布（independent and identically distributed, 简称 i . i . d . i.i.d. i.i.d.&#xff0…

机器学习-西瓜书-模型评估

机器学习-西瓜书-模型评估精度和错误率误差分析过拟合和欠拟合评估方法留出法交叉验证法自助法调参本人的很多知识都是从西瓜书中摘录来的，只是在这基础上加上一些自己理解精度和错误率精度和错误率一般是在分类问题中用来衡量模型的型能的评估指标，…

机器学习理论笔记（一）：初识机器学习

文章目录 1 前言：蓝色是天的机器学习笔记专栏1.1 专栏初衷与定位1.2 本文主要内容 2 机器学习的定义2.1 机器学习的本质2.2 机器学习的分类 3 机器学习的基本术语4 探索"没有免费的午餐"定理（NFL）5 结语 1 前言：蓝色是天…

集成学习-Bagging原理与实现西瓜书

Bagging简介 Bagging是并行式集成学习的最著名代表，名字是由Bootstrap AGGregatING缩写而来，看到Bootstrap我们就会联想到boostrap的随机模拟法和它对应的样本获取方式，它是基于自助采样法（Boostrap sampleing）&#…

纯国产的大佬周志华，如何扛起了智能学界的一面大旗

原创：HyperAI超神经关键词：周志华机器学习 IJCAI 身为 AI 领域里的大神级学者，周志华教授在科学研究，人才培养，著作传播上都投入了极高的热忱，而他不凡的学术贡献，更是让其获得嘉奖无数。 …

西瓜书读书笔记整理（十） —— 第十章降维与度量学习

10.1 k 近邻学习 10.1.1 什么是 kNN 学习 kNN算法（k-Nearest Neighbors）是一种常用的分类和回归算法。它的基本思想是根据最近邻的样本来预测未知样本的标签或值。 10.1.2 kNN 算法步骤 kNN算法的步骤如下： 计算未知样本与训练集中所有样…