本文目录
- 人工智能这么火，数据挖掘和机器学习有什么区别
- 大数据的哪个方向好发论文
- 准研一研究内容可能涉及机器学习和大数据，希望电脑是纯学术导向，不打游戏，mac还是matebook
- 数据挖掘的就业前景怎么样
- 如果仅用python挖掘一些数据，有哪些相关的适合小白看的书呀
- 后台开发与数据挖掘哪个更适合研究生发展
- 将来想从事数据挖掘工作，考研学什么专业好呢
- 学习了数据挖掘的一些基础性的东西，想写出有质量的论文，该如何着手
- 从零开始，如何学习数据挖掘
- 推荐算法工程师与数据挖掘工程师有什么区别它们日常工作内容有什么不同
人工智能这么火，数据挖掘和机器学习有什么区别
工作后，我首先知道的概念是数据挖掘，而不是机器学习。因此我想数据挖掘这个概念更加广泛，属于工程应用范畴。5年前，我单位谈的都是数据挖掘，也举办这类竞赛，我们也掌握了数据挖掘的应用软件和数据挖掘标准流程，比如sas，clementine等数据挖掘平台。这些平台多数基于图形化操作，应用门槛较低。最近两年才开始谈机器学习，深度学习和人工智能等概念。从我工作经历来讲，数据挖掘是比较大众化的说法，单位业务部门都知道这个概念，而机器学习属于专业化的说法，现在业务部门还不清楚机器学习究竟是什么。其实很难严格去区分两者的关系，看看最权威的数据挖掘和机器学习的教材，你会发现它们大部分都是重复的。既然是两个名称，那么它们的侧重点应该是不一样的。我的理解是数据挖掘的后端与机器学习的前端重复，机器学习的后端与深度学习的前端重复。数据挖掘的前端是数据收集，清洗和处理等，和大数据有关，都涉及数据仓库等内容，但机器学习并不关心这些，也就是说数据这种原材料对机器学习来说应该要事先准备好了，机器学习更加注重学习问题，努力像人类一样学习知识，理解世界。它们最大的区别是：
数据挖掘注重挖掘数据中的规律和知识，但不关心数据为什么会产生这些规律和知识，也就说你只看到表象，并不知道本质原因。而机器学习恰恰相反，机器学习更加注重学习数据的生成机制，即数据究竟由什么概率模型生成的。有时机器学习也叫统计学习就是这个原因。数据的生成机制出来了，那么数据中的规律自然而然就知道了。正是因为机器学习注重数据的生成机制学习，产生大量的研究内容，发展出核机器，极大似然估计，最大熵模型，最大后验估计，期望最大化算法，高斯过程，概率图模型，变分推理等工具。后面这些高级内容，数据挖掘教材一般是没有的。
传统机器学习一般对数据生成机制做一些先验假设，如假设数据由高斯分布生成的，然后学习高斯分布的参数。进一步，如果没有这些假设，应该怎么做？一般使用非参数密度估计技术，如核估计，最近流行和深度学习结合，如生成式对抗网络(GANs)，变分自编码器等。
大数据的哪个方向好发论文
这个看个人了，如果你是数学系毕业，或者本科数学，研究生其他的都可以，碰巧会撸点代码但是又不想做苦逼的码农，那么做做数据挖掘工程师很适合你，算法需要数学功底，实现算法模型需要会撸代码，但用的来说对算法要求高一些，正好你的数学知识可以用上。如果你是计算机毕业的，那你做大数据平台毕竟适合比如hadoop，spark等，这些偏向于计算机技术，而且前景也不错。
如果你既没有数学功底又没有计算机学习的经历，那还是洗洗睡吧大数据不适合你，什么？网上都是零基础入门大数据很容易？呵呵，那都是忽悠人的，当然也不排除有人自学入行，但是这得很强的自学能力和自我约束能力
准研一研究内容可能涉及机器学习和大数据，希望电脑是纯学术导向，不打游戏，mac还是matebook
我研究生的专业就是数据挖掘相关，毕业之后从事的是大数据方向。在研究生期间，个人也写过论文，同时做过机器学习算法相关的实验。结合我个人的经验，我推荐你选择苹果的Mac Book。我个人目前工作就是使用Mac Book，相信使用过Mac的程序员，也都不会再选择Windows了，matebook就是Windows系统。
首先，你读研期间是学术方向，在学校老师实验室你肯定要不了一点，就是读研期间你肯定要发表论文，以及要看大量的学术论文。看论文肯定要盯着电脑看很久，Mac电脑的画质我不用多说了，一般都会比Windows笔记本看的清晰且舒服，对于长时间看电脑的你，选择Mac肯定要比matebook更好。
我目前就是在使用Mac在写文档，我使用的Typora来写文档，在结合Mac自身的触控板和相关的快捷键，写文档方面感觉非常的便捷和畅快。在加上苹果iTerm命令行终端的使用，各种使用Linux命令，整体而言，要比Windows系统爽太多，这里推荐你选择Mac电脑。
还有一点就是，由于你读研期间要涉及到机器学习和大数据，你在写论文的同时，肯定要进行机器学习算法的实验或者安装大数据组件。由于Mac Book本身就是Linux系统，天然对开源大数据组件或者机器学习算法包的安装支持要比Window系统要好。你到时候安装大数据组件时，使用MacBook可以很快的安装，而不像Window系统，要安装这安装那的。
同时，你在使用苹果电脑时，少不了要掌握部分的Linux命令，而现在很多大公司的服务器都是部署在Linux上面，你平时使用MacBook来锻炼自己Linux命令的使用，这为你以后再操作公司服务器方面，也打下了一定的基础经验。
最后一点，程序员嘛，肯定还是希望自己的设备更加精致，你看国外的程序员，几乎每个人都是使用MacBook来开发软件，使用Windows系统的同学比较少。使用MacBook，你都不需要鼠标，个人认为MacBook的触控板要比Windows 笔记本的触控板好用。
你刚开始使用MacBook的时候，估计会有一段时间不适应，因为之前我们都是使用的Windows系统，不管没关系，你只要坚持一段时间适应就好，然后多去网上查查MacBook的快捷键，相信你在使用一段时间之后，估计就会和我一样，爱上MacBook。
我是Lake，专注大数据技术原理、互联网科技见解、程序员经验分享，如果我的问答对你有帮助的话，希望你能点赞关注我，感谢。
我会持续大数据和互联网方面的内容，如果你有任何问题，也欢迎关注私信我，我会认真解答每一个问题。
数据挖掘的就业前景怎么样
数据清洗-数据分析-数据挖掘-数据展示-数据优化-个性化抽取/商业行为探索。
这是高科技时代利用大数据加工进而推送、管控的流程和技术。
说几个容易感受的案例：
从14亿中国人中分析出中国人的面相总体特征；
从你几十年的行为轨迹中，挖掘分析出你的行为特征和偏好；
从你阅读头条的数据中，分析出你喜欢的产品等等。
商业化模式代表之一是广告，但谁也不希望看那些无需求的广告，所以千人千面似的广告推送就更为重要，对于广告商来说性价比也更高。
比如，我今天搜索了咖啡，蓝山咖啡，摩卡咖啡。之后系统会根据我的搜索不断的推送咖啡广告给我。
这类商业行为需要数据分析，更需要前期的数据挖掘。
所以数据挖掘和数据分析几乎是每一个超大型公司/平台的必配职位。
但一定是超大型，因为数据挖掘的本职是大数据挖掘，而大数据大多数都来自超大平台。
所以这样的结果就变成了：需要数据挖掘工程师，但数据挖掘工程师需要更加强调背景、强调公司品牌、强调大规模产品数据的从业经历。如此，工资一定会高很多。
如果仅用python挖掘一些数据，有哪些相关的适合小白看的书呀
由于其丰富的第三方框架，python非常适用于进行数据挖掘，利用python进行数据挖掘包括数据处理及算法实现，其中数据处理需要用到numpy、pandas等框架，算法部分可借助scikit-learning或tensorflow实现相关的机器学习或深度学习算法，相关书籍可参考《利用python进行数据分析》、西瓜书、《tensorflow技术解析与实战》
后台开发与数据挖掘哪个更适合研究生发展
如果是三年硕士的话，做数据挖掘比较合适，学习一下基础算法，比较有理论深度，写论文容易。
如果是做后台开发的话，偏实践，不容易写论文。不好从理论上做文章。
当然也要结合你自己的就业期望，看想从事哪方面的工作。
将来想从事数据挖掘工作，考研学什么专业好呢
我自己本科和研究生学的是统计，毕业后一直做的数据挖掘相关的的工作。我简单谈一下对这个问题的看法：
简单来说，要看你自身的数学功底和计算机功底。
如果计算机功底不怎么好，那建议学统计学：该专业所学的理论和模型方法和数据挖掘里面用到的很多方法和理论一致。但是数据挖掘里面用到的理论方法会更多样一些，也更深入一些。另外就是统计模型和数据挖掘里面的算法模型在建模思路上面会有一些差异；
如果计算机功底比较好，可以选目前比较流程的大数据相关的专业或者数据科学专业。这些专业所学的课程跟数据挖掘里面用到的方法和理论更加一致；
当然在真正报考研究生的，无论是选择统计学（概率论与数理统计）专业还是选择大数据（或者数据科学）专业，都要认证去参考教育部所列的专业排名。千万注意，千万注意，千万注意，重要的事情说三遍：是参考，不是完全信任。主要是因为教育部的排名有些明显还是有漏洞的。比如统计专业的排名里面在20名之后的很多学校是概率相关的专业不错，但统计真的比较乱。所以不要全信排名。大数据专业我也简单看过一些，也存在类似的问题。如果是在看不明白，最简单的方法就是找个专业一点人仔细去咨询一下。或者看论文。
学习了数据挖掘的一些基础性的东西，想写出有质量的论文，该如何着手
只学习了基础算法就想写出高质量的论文，这个心情可以理解，但是事情的发展需要一个过程。首先，你要带着你的算法基本功进入某个研究领域，研究该领域里需要用数据挖掘处理的问题。其次，你要知道该领域里做数据挖掘的学术前沿状况，并且经常参加学术会议。第三，深入研究该领域里的某个具体问题，争取在该问题上做出顶尖的成绩，进而发出高质量论文。
从零开始，如何学习数据挖掘
这个问题思考了很久，作为过来人谈一谈，建议在看我这篇回答之前先去了解一下数据挖掘的概念和定义。
在学习数据挖掘之前你应该明白几点：
- 数据挖掘目前在中国的尚未流行开，犹如屠龙之技。
- 数据初期的准备通常占整个数据挖掘项目工作量的70%左右。
- 数据挖掘本身融合了统计学、数据库和机器学习等学科，并不是新的技术。
- 数据挖掘技术更适合业务人员学习（相比技术人员学习业务来的更高效）
- 数据挖掘适用于传统的BI（报表、OLAP等）无法支持的领域。
- 数据挖掘项目通常需要重复一些毫无技术含量的工作。
如果你阅读了以上内容觉得可以接受，那么继续往下看。
学习一门技术要和行业靠拢，没有行业背景的技术如空中楼阁。技术尤其是计算机领域的技术发展是宽泛且快速更替的（十年前做网页设计都能成立公司），一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合行业之后就能够独当一面了，一方面有利于抓住用户痛点和刚性需求，另一方面能够累计行业经验，使用互联网思维跨界让你更容易取得成功。不要在学习技术时想要面面俱到，这样会失去你的核心竞争力。
一、目前国内的数据挖掘人员工作领域大致可分为三类。
- 1）数据分析师：在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询，商务智能，出分析报告。
- 2）数据挖掘工程师：在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
- 3）科学研究方向：在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。
二、说说各工作领域需要掌握的技能。
(1).数据分析师
- 需要有深厚的数理统计基础，但是对程序开发能力不做要求。
- 需要熟练使用主流的数据挖掘（或统计分析）工具如SAS）、SPSS、EXCEL、BI工具等。
- 需要对与所在行业有关的一切核心数据有深入的理解，以及一定的数据敏感性培养。
- 经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Procedures Companion》等
(2).数据挖掘工程师
- 需要理解主流机器学习算法的原理和应用。
- 需要熟悉至少一门编程语言如（Python、C、C++、Java、Delphi等）。
- 需要理解数据库原理，能够熟练操作至少一种数据库（Mysql、SQL、DB2、Oracle等），能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。
- 经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。
(3).科学研究方向
- 需要深入学习数据挖掘的理论基础，包括关联规则挖掘 （Apriori和FPTree）、分类算法（C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 （Kmeans、Spectral Clustering）。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。
- 相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing，因为R软件是完全免费的，而且开放的社区环境提供多种附加工具包支持，更适合进行统计计算分析研究。虽然目前在国内流行度不高，但是强烈推荐。
- 可以尝试改进一些主流算法使其更加快速高效，例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。
- 需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD，ICML，IJCAI，Association for the Advancement of Artificial Intelligence，ICDM 等等；还有数据挖掘相关领域期刊：ACM Transactions on Knowledge Discovery from Data，IEEE Transactions on Knowledge and Data Engineering，Journal of Machine Learning Research Homepage，IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。
- 可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ，Kaggle: Go from Big Data to Big Analytics等。
- 可以尝试为一些开源项目贡献自己的代码，比如Apache Mahout: Scalable machine learning and data mining ,myrrix等（具体可以在SourceForge或GitHub.上发现更多好玩的项目）。
- 经典图书推荐：《机器学习》 《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》，英文素质是科研人才必备的《Machine Learning: A Probabilistic Perspective》《Scaling up Machine Learning : Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise Miner : A Case Study Approach》《Python for Data Analysis》等。
三、以下是个人对数据挖掘岗位的感受
真正从数据挖掘项目实践的角度讲，沟通能力对挖掘的兴趣爱好是最重要的，有了爱好才可以愿意钻研，有了不错的沟通能力，才可以正确理解业务问题，才能正确把业务问题转化成挖掘问题，才可以在相关不同专业人才之间清楚表达你的意图和想法，取得他们的理解和支持。所以我认为沟通能力和兴趣爱好是个人的数据挖掘的核心竞争力，是很难学到的；而其他的相关专业知识谁都可以学，算不上个人发展的核心竞争力。
说到这里可能很多数据仓库专家、程序员、统计师等等都要扔砖头了，对不起，我没有别的意思，你们的专业对于数据挖掘都很重要，大家本来就是一个整体的，但是作为单独一个个体的人来说，精力有限，时间有限，不可能这些领域都能掌握，在这种情况下，选择最重要的核心，我想应该是数据挖掘技能和相关业务能力吧（从另外的一个极端的例子，我们可以看， 比如一个迷你型的挖掘项目，一个懂得市场营销和数据挖掘技能的人应该可以胜任。这其中他虽然不懂数据仓库，但是简单的Excel就足以胜任高达6万个样本的数据处理；他虽然不懂专业的展示展现技能，但是只要他自己看的懂就行了，这就无需什么展示展现；前面说过，统计技能是应该掌握的，这对个人的迷你项目很重要；他虽然不懂编程，但是专业挖掘工具和挖掘技能足够让他操练的；这样在迷你项目中，一个懂得挖掘技能和市场营销业务能力的人就可以圆满完成了，甚至在一个数据源中根据业务需求可以无穷无尽的挖掘不同的项目思路，试问就是这个迷你项目，单纯的一个数据仓库专家、单纯的一个程序员、单纯的一个展示展现技师、甚至单纯的一个挖掘技术专家，都是无法胜任的）。这从另一个方面也说明了为什么沟通能力的重要，这些个完全不同的专业领域，想要有效有机地整合在一起进行数据挖掘项目实践，你说没有好的沟通能力行吗？
数据挖掘能力只能在项目实践的熔炉中提升、升华，所以跟着项目学挖掘是最有效的捷径。国外学习挖掘的人都是一开始跟着老板做项目，刚开始不懂不要紧，越不懂越知道应该学什么，才能学得越快越有效果。我不知道国内的数据挖掘学生是怎样学的，但是从网上的一些论坛看，很多都是纸上谈兵，这样很浪费时间，很没有效率。
另外现在国内关于数据挖掘的概念都很混乱，很多BI只是局限在报表的展示和简单的统计分析，却也号称是数据挖掘；另一方面，国内真正规模化实施数据挖掘的行业是屈指可数（银行、保险公司、移动通讯），其他行业的应用就只能算是小规模的，比如很多大学都有些相关的挖掘课题、挖掘项目，但都比较分散，而且都是处于摸索阶段，但是我相信数据挖掘在中国一定是好的前景，因为这是历史发展的必然。
四、成为一名数据科学家需要掌握的技能图
人一能之，己十之；人十能之，己千之。果能此道矣，虽愚，必明；虽柔，必强。与君共勉。
推荐算法工程师与数据挖掘工程师有什么区别它们日常工作内容有什么不同
作为一名推荐算法工程师讲讲我的主要工作…
1. 搞数据，但算法工程师的搞数据主要指做样本，即为了让算法学到更有价值的东西我们来根据数据库中的数据来选择不同的字段作为特征喂给算法，说白了就是怎么用数据。
2. 目前推荐业务主要使用深度学习算法，我们会跟踪业界最新的论文等研究是否这些模型适合我们的业务场景来落地实现。
3. 为了最低延迟的线上即时服务，设计好的工程架构也是很重要的。
4. 对着学习曲线发呆，琢磨到底他喵的怎么就没效果了。
