[关闭]
@hanxiaoyang 2017-12-14T04:36:42.000000Z 字数 8818 阅读 2289

机器学习系列(7)_机器学习路线图(附资料)

个人博客


作者:寒小阳&&龙心尘
时间:2016年2月。
出处:http://blog.csdn.net/han_xiaoyang/article/details/50759472
http://blog.csdn.net/longxinchen_ml/article/details/50749614
声明:版权所有,转载请联系作者并注明出处

1. 引言

也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而然点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩,这些功能的核心算法就是机器学习领域的内容。

套用一下大神们对机器学习的定义,机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。简单一点说,就是计算机从数据中学习出规律和模式,以应用在新数据上做预测的任务。近年来互联网数据大爆炸,数据的丰富度和覆盖面远远超出人工可以观察和总结的范畴,而机器学习的算法能指引计算机在海量数据中,挖掘出有用的价值,也使得无数学习者为之着迷。

但是越说越觉得机器学习有距离感,云里雾里高深莫测,我们不是专家,但说起算有一些从业经验,做过一些项目在实际数据上应用机器学习。这一篇就我们的经验和各位同仁的分享,总结一些对于初学者入门有帮助的方法和对进阶有用的资料。

人工智能

2. 机器学习关注问题

并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确地处理),也没有一个机器学习算法可以通用于所有问题。咱们先来了解了解,机器学习,到底关心和解决什么样的问题。

从功能的角度分类,机器学习在一定量级的数据上,可以解决下列问题:

1.分类问题

2.回归问题

3.聚类等问题

我们再把上述常见问题划到机器学习最典型的2个分类上。

如果在IT行业(尤其是互联网)里溜达一圈,你会发现机器学习在以下热点问题中有广泛应用:

1.计算机视觉

2.自然语言处理

3.社会网络分析

4.推荐

3. 入门方法与学习路径

OK,不废话,直接切重点丢干货了。看似学习难度大,曲线陡的机器学习,对大多数入门者也有一个比较通用的学习路径,也有一些优秀的入门资料可以降低大家的学习门槛,同时激发我们的学习乐趣。

简单说来,大概的一个学习路径如下:


路径图

简单说一点,之所以最左边写了『数学基础』『典型机器学习算法』『编程基础』三个并行的部分,是因为机器学习是一个将数学/算法理论和工程实践紧密结合的领域,需要扎实的理论基础帮助引导数据分析与模型调优,同时也需要精湛的工程开发能力去高效化地训练和部署模型和服务。

需要多说一句的是,在互联网领域从事机器学习的人,有2类背景的人比较多,其中一部分(很大一部分)是程序员出身,这类同学工程经验相对会多一些,另一部分是学数学统计领域的同学,这部分同学理论基础相对扎实一些。因此对比上图,2类同学入门机器学习,所欠缺和需要加强的部分是不一样的。

下面就上述图中的部分,展开来分别扯几句:

3.1 数学基础

有无数激情满满大步向前,誓要在机器学习领域有一番作为的同学,在看到公式的一刻突然就觉得自己狗带了。是啊,机器学习之所以相对于其他开发工作,更有门槛的根本原因就是数学。每一个算法,要在训练集上最大程度拟合同时又保证泛化能力,需要不断分析结果和数据,调优参数,这需要我们对数据分布和模型底层的数学原理有一定的理解。所幸的是如果只是想合理应用机器学习,而不是做相关方向高精尖的research,需要的数学知识啃一啃还是基本能理解下来的。至于更高深的部分,恩,博主非常愿意承认自己是『数学渣』。

基本所有常见机器学习算法需要的数学基础,都集中在微积分、线性代数和概率与统计当中。下面我们先过一过知识重点,文章的后部分会介绍一些帮助学习和巩固这些知识的资料。

3.1.1 微积分

3.1.2 线性代数

3.1.3 概率与统计

从广义来说,机器学习在做的很多事情,和统计层面数据分析和发掘隐藏的模式,是非常类似的。

3.2 典型算法

绝大多数问题用典型机器学习的算法都能解决,粗略地列举一下这些方法如下:

  1. 处理分类问题的常用算法包括:逻辑回归(工业界最常用),支持向量机,随机森林,朴素贝叶斯(NLP中常用),深度神经网络(视频、图片、语音等多媒体数据中使用)
  2. 处理回归问题的常用算法包括:线性回归,普通最小二乘回归(Ordinary Least Squares Regression),逐步回归(Stepwise Regression),多元自适应回归样条(Multivariate Adaptive Regression Splines)
  3. 处理聚类问题的常用算法包括:K均值(K-means),基于密度聚类,LDA等等。
  4. 降维的常用算法包括:主成分分析(PCA),奇异值分解(SVD) 等。
  5. 推荐系统的常用算法:协同过滤算法
  6. 模型融合(model ensemble)和提升(boosting)的算法包括:bagging,adaboost,GBDT,GBRT
  7. 其他很重要的算法包括:EM算法等等。

我们多插一句,机器学习里所说的“算法”与程序员所说的“数据结构与算法分析”里的“算法”略有区别前者更关注结果数据的召回率、精确度、准确性等方面,后者更关注执行过程的时间复杂度、空间复杂度等方面。 。当然,实际机器学习问题中,对效率和资源占用的考量是不可或缺的。

3.3 编程语言、工具和环境

看了无数的理论与知识,总归要落到实际动手实现和解决问题上。而没有工具所有的材料和框架、逻辑、思路都给你,也寸步难行。因此我们还是得需要合适的编程语言、工具和环境帮助自己在数据集上应用机器学习算法,或者实现自己的想法。对初学者而言,Python和R语言是很好的入门语言,很容易上手,同时又活跃的社区支持,丰富的工具包帮助我们完成想法。相对而言,似乎计算机相关的同学用Python多一些,而数学统计出身的同学更喜欢R一些。我们对编程语言、工具和环境稍加介绍:

3.3.1 python

python有着全品类的数据科学工具,从数据获取、数据清洗到整合各种算法都做得非常全面。

3.3.2 R

R最大的优势是开源社区,聚集了非常多功能强大可直接使用的包,绝大多数的机器学习算法在R中都有完善的包可直接使用,同时文档也非常齐全。常见的package包括:RGtk2, pmml, colorspace, ada, amap, arules, biclust, cba, descr, doBy, e1071, ellipse等等。另外,值得一提的是R的可视化效果做得非常不错,而这对于机器学习是非常有帮助的。

3.3.3 其他语言

相应资深程序员GG的要求,再补充一下java和C++相关机器学习package。

3.3.4 大数据相关

3.3.5 操作系统

3.4 基本工作流程

以上我们基本具备了机器学习的必要条件,剩下的就是怎么运用它们去做一个完整的机器学习项目。其工作流程如下:

3.4.1 抽象成数学问题

3.4.2 获取数据

3.4.3 特征预处理与特征选择

3.4.4 训练模型与调优

3.4.5 模型诊断

如何确定模型调优的方向与思路呢?这就需要对模型进行诊断的技术。

3.4.6 模型融合

3.4.7 上线运行

这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。

3.5 关于积累项目经验

初学机器学习可能有一个误区,就是一上来就陷入到对各种高大上算法的追逐当中。动不动就我能不能用深度学习去解决这个问题啊?我是不是要用boosting算法做一些模型融合啊?我一直持有一个观点,『脱离业务和数据的算法讨论是毫无意义的』。

实际上按我们的学习经验,从一个数据源开始,即使是用最传统,已经应用多年的机器学习算法,先完整地走完机器学习的整个工作流程,不断尝试各种算法深挖这些数据的价值,在运用过程中把数据、特征和算法搞透,真正积累出项目经验 才是最快、最靠谱的学习路径。

那如何获取数据和项目呢?一个捷径就是积极参加国内外各种数据挖掘竞赛,数据直接下载下来,按照竞赛的要求去不断优化,积累经验。国外的Kaggle和国内的DataCastle 以及阿里天池比赛都是很好的平台,你可以在上面获取真实的数据和数据科学家们一起学习和进行竞赛,尝试使用已经学过的所有知识来完成这个比赛本身也是一件很有乐趣的事情。和其他数据科学家的讨论能开阔视野,对机器学习算法有更深层次的认识。

有意思的是,有些平台,比如阿里天池比赛,甚至给出了从数据处理模型训练模型评估可视化模型融合增强的全部组件,你要做的事情只是参与比赛,获取数据,然后使用这些组件去实现自己的idea即可。具体内容可以参见阿里云机器学习文档

3.6 自主学习能力

多几句嘴,这部分内容和机器学习本身没有关系,但是我们觉得这方面的能力对于任何一种新知识和技能的学习来说都是至关重要的。 自主学习能力提升后,意味着你能够跟据自己的情况,找到最合适的学习资料和最快学习成长路径。

3.6.1 信息检索过滤与整合能力

对于初学者,绝大部分需要的知识通过网络就可以找到了。

google搜索引擎技巧——组合替换搜索关键词、站内搜索、学术文献搜索、PDF搜索等——都是必备的。

一个比较好的习惯是找到信息的原始出处,如个人站、公众号、博客、专业网站、书籍等等。这样就能够找到系统化、不失真的高质量信息。

百度搜到的技术类信息不够好,建议只作为补充搜索来用。各种搜索引擎都可以交叉着使用效果更好。

学会去常见的高质量信息源中搜索东西:stackoverflow(程序相关)、quora(高质量回答)、wikipedia(系统化知识,比某某百科不知道好太多)、知乎(中文、有料)、网盘搜索(免费资源一大把)等。

将搜集到的网页放到分类齐全的云端收藏夹里,并经常整理。这样无论在公司还是在家里,在电脑前还是在手机上,都能够找到自己喜欢的东西。

搜集到的文件、代码、电子书等等也放到云端网盘里,并经常整理。

3.6.2 提炼与总结能力

经常作笔记,并总结自己学到的知识是成长的不二法门。其实主要的困难是懒,但是坚持之后总能发现知识的共性,就能少记一些东西,掌握得更多。

笔记建议放到云端笔记里,印象笔记、为知笔记都还不错。这样在坐地铁、排队等零碎的时间都能看到笔记并继续思考。

3.6.3 提问与求助能力

机器学习的相关QQ群、论坛、社区一大堆。总有人知道你问题的答案。

但是大多数同学都很忙,没法像家庭教师那样手把手告诉你怎么做。

为了让回答者最快明白你的问题,最好该学会正确的问问题的方式:陈述清楚你的业务场景和业务需求是什么,有什么已知条件,在哪个具体的节点上遇到困难了,并做过哪些努力。

有一篇经典的文章告诉你怎样通过提问获得帮助:《提问的智慧》,强力推荐。 话锋犀利了些,但里面的干货还是很好的。

别人帮助你的可能性与你提问题的具体程度和重要性呈指数相关。

3.6.4 分享的习惯

我们深信:“证明自己真的透彻理解一个知识,最好的方法,是给一个想了解这个内容的人,讲清楚这个内容。” 分享能够最充分地提升自己的学习水平。这也是我们坚持长期分享最重要的原因。

分享还有一个副产品,就是自己在求助的时候能够获得更多的帮助机会,这也非常重要。

4. 相关资源推荐

文章的最后部分,我们继续放送干货。其实机器学习的优质资源非常多。博主也是翻遍浏览器收藏夹,也问同事取了取经,整合了一部分资源罗列如下:

4.1 入门资源

首先coursera 是一个非常好的学习网站,集中了全球的精品课程。上述知识学习的过程都可以在上面找到合适的课程。也有很多其他的课程网站,这里我们就需要学习的数学和机器学习算法推荐一些课程(有一些课程有中文字幕,有一些只有英文字幕,有一些甚至没有字幕,大家根据自己的情况调整,如果不习惯英文,基础部分有很多国内的课程也非常优质):

Calculus: Single Variable
Multivariable Calculus

Linear Algebra

Introduction to Statistics: Descriptive Statistics
Probabilistic Systems Analysis and Applied Probability

Programming for Everybody:Python
DataCamp: Learn R with R tutorials and coding challenges:R

Statistical Learning(R)
machine learning:强烈推荐,Andrew Ng老师的课程
机器学习基石
机器学习技术:林轩田老师的课相对更有深度一些,把作业做完会对提升对机器学习的认识。
自然语言处理:斯坦福大学课程

@爱可可-爱生活的微博
机器学习日报的邮件订阅 等。

4.2 进阶资源

scikit-learn中各个算法的例子
《机器学习实战》 有中文版,并附有python源代码。
《The Elements of Statistical Learning (豆瓣)》 这本书有对应的中文版:《统计学习基础 (豆瓣)》。书中配有R包。可以参照着代码学习算法。网盘中有中文版。
《Natural Language Processing with Python (豆瓣)》 NLP 经典,其实主要是讲 python的NLTK 这个包。网盘中有中文版。
《Neural Networks and Deep Learning》 Michael Nielsen的神经网络教材,浅显易懂。国内有部分翻译,不全,建议直接看原版。

《数学之美》:入门读起来很不错。
《统计学习方法 (豆瓣) 》:李航经典教材。
《Pattern Recognition And Machine Learning (豆瓣) 》:经典中教材。
《统计自然语言处理》自然语言处理经典教材
《Applied predictive modeling》:英文版,注重工程实践的机器学习教材
《UFLDL教程》:神经网络经典教材
《deeplearningbook》:深度学习经典教材。

《SciPy and NumPy (豆瓣) 》
《Python for Data Analysis (豆瓣) 》作者是Pandas这个包的作者

机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总: 作者太给力,量大干货多,有兴趣的同学可以看看,博主至今只看了一小部分。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注