机器学习

知识管理

机器学习理论

主要记录机器学习相关数学基础，各种算法等相关的读书笔记与总结

数学基础

• 概率基础: 加法原理、乘法原理、抽样、事件、条件概率、随机变量、离散分布、连续分布、联合分布、期望、方差、协方差、相关系数、Chebyshev不等式、中心极限定理、矩
• 基础概念：均值、方差、协方差、
• 基础方法：最小二乘法、
• 基础公式：欧几里得公式、皮尔逊相关系数、Tanimoto系数、基尼不纯度、熵、

学习总结

• 机器学习算法脑图
• KNN(K-最近邻)算法总结以及Python实现
• SVM算法总结以及Python实现
• ID3决策树算法以及Python实现
• 朴素贝叶斯算法总结以及Python实现
• CART分类回归树算法以及Python实现
• K-Means聚类算法以及Python实现
• Apriori算法概要以及Python实现
• FP-growth算法概要以及Python实现

数据集实践

• 机器学习实践 -- Digits数据集
• 机器学习实践 -- Breast Cancer数据集
• 机器学习实践 -- Iris数据集
• 机器学习实践 -- Seeds数据集

读书笔记

• 《集体智慧编程》
  以Python语言为基础介绍了协同过滤、k-近邻、支持向量机、朴素贝叶斯、决策树等算法。
• 《机器学习系统设计》（Building Machine Learning Systems With Python）
  以Python以及Scikit-learn库来介绍部分机器学习应用。
• 《机器学习实战》（Peter Harrington，Machine Learning in Action）
  主要介绍重要的机器学习算法，用Python实现并进行实例运行。主要包含：k-近邻、决策树、朴素贝叶斯、逻辑回归、SVM、AdaBoost、k-均值聚类、Apriori以及FP-Growth算法。
• 《模式识别与机器学习》（Pattern Recognition And Machine Learning）
  机器学习领域内的介绍性课本，介绍了大多数算法的本质。
• （K.Murphy，Machine Learning: A Probabilistic Perspective）
  介绍了ML的前沿知识，几乎覆盖了机器学习方方面面的知识。
• 《统计学习方法》(李航)
  介绍了感知机、k-近邻、朴素贝叶斯、决策树、逻辑回归、支持向量机、AdaBoost、EM、隐马尔科夫模型以及条件随机场。
• 《大数据：互联网大规模数据挖掘与分布式处理》（Anand Rajaraman/Jeffrey David Ullman）
  主要介绍了如下内容： 分布式文件系统以及map-reduce工具；相似性搜索；数据流处理；搜索引擎技术；频繁项集挖掘；聚类算法；广告管理以及推荐系统
• 《统计思维：程序员数学之概率统计》

论文博客学习

• Netflixprize获奖论文
• 机器传送门文章读书笔记

公开课学习

• 加州理工：机器学习与数据挖掘
• Coursera: Machine Learning

Scikit-Learn学习

主要记录Scikit-Learn的教程与使用总结

博文学习

• scikit-learn-intro
• An example machine learning notebook
  以IRIS数据为例， 一步一步讲解了如何对数据进行分析、可视化、检查以及Machine Learning。
• PyCon 2015 Scikit-learn Tutorial by Jake VanderPlas

Spark

主要记录Spark相关的学习总结以及读书笔记

读书笔记

• 《Spark机器学习》（Nick Pentreath，Machine Learning with Spark）

  主要介绍如何借助Spark、Mlib以及其他常见的免费机器学习和数据分析套件来创建一个有用的机器学习系统。

• 《Spark快速大数据分析》（Holden Karau...，Learning Spark：Lightning-fast Data Analysis）

  主要介绍Spark的基础知识、Spark Shell、Spark API、Spark集群应用以及Spark提供的更高层的程序库支持（SQL、MLlib）。

• 《Spark高级数据分析》（Sandy Ryza...，Advanced Analytics with Spark）

  主要介绍Spark及其生态系统，详细介绍了将分类、协同过滤以及异常检查等常用技术应用于基因学、安全和金融领域的若干模式。

学习总结

相关资源

主要记录机器学习相关的网络资源

数据集资源

• UCI机器学习知识库：300个数据集，http://archive.ics.uci.edu/ml
• Amazon AWS公开数据集：包含人类基因组项目、Common Crawl网页语料库、维基百科、google book Ngrams。http://aws.amazon.com/publicdatasets/
• Kaggle：集合了Kaggle举行的各类机器学习竞赛所用的数据集，覆盖分类、回归、排名、推荐系统以及图像分析领域。http://www.kaggle.com/competitions
• KDnuggets:详细的公开数据集列表。http://www.kdnuggets.com/datasets/index.html
• Infochimps数据集：部分数据集需要购买。http://www.infochimps.com/
• 频繁集挖掘数据资源：http://fimi.ua.ac.be/data/

网站资源

• 机器学习问答网站 http://metaoptimize.com/qa
• 统计方面问答网站 http://stats.stackexchange.com
• Kaggle的博客 http://blog.kaggle.com
  http://www.kaggle.com

库和框架

• 各语言机器学习框架和库列表

深度学习框架

• ImageNet
• DIGITS
• Caffe
• Theano
• Torch

• cuDNN

  CNTK microsoft
  Theano
  TensorFlow google
  Torch 7
  Caffe