《算法竞赛入门经典（第二版）》第五章笔记

• 结构体
• 模板
• …

给定训练集$D={(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), ..., (\boldsymbol x_i, y_i), ( \boldsymbol x_n, y_n)}$，其中$\boldsymbol {x_i} = (x_{i1};x_{i2}; ...; x_{im})$，$y_i\in \mathbb{R}$.线性回归（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

该部分专注于此高级特征工程：计算由另一个分组的一个特征的各种统计数据和从给定点的邻域分析得到的特征。

groupby and nearest neighbor methods

• Regularize mean encodings
• Extend mean encodings
• Summarize the concept of mean encodings

• Averaging (or blending)
• Weighted averaging
• Conditional averaging
• Bagging
• Boosting
• Stacking
• StackNet

Hyperparameter Optimization

• List most important hyperparameters in major models; describe their impact
• Understand the hyperparameter tuning process in general
• Arrange hyperparameters by their importance

这是一篇笔记，课程来自Coursera上的How to Win a Data Science Competition: Learn from Top Kagglers

本篇可以算是顶级Kaggler大佬们，经过上百场比赛总结的心得和技巧。对准备开始参加数据挖掘竞赛的新人们极其有用，可以为你节省不少时间。

k近邻法(k-nearest neighbors)是由Cover和Hart于1968年提出的，它是懒惰学习(lazy learning)的著名代表。
它的工作机制比较简单：

• 给定一个测试样本
• 计算它到训练样本的距离
• 取离测试样本最近的k个训练样本
• “投票法”选出在这k个样本中出现最多的类别，就是预测的结果

OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的IPP进行加速处理。

本篇文章将分为两个部分：

• 图像载入、显示和输出到文件以及滑块的使用
• 基本绘图函数

Matplotlib 是Python编程语言的一个绘图库及其数值数学扩展 NumPy。它为利用通用的图形用户界面工具包，如Tkinter, wxPython, Qt或GTK+向应用程序嵌入式绘图提供了面向对象的应用程序接口。

简单说就是画图的工具包。本文将教会你如何使用Matplotlib绘图，如果你没有Python基础也没关系，依葫芦画瓢也完全OK的。关于如何安装Python以及Matplotlib，文末有链接。