大数据程序员自学考试

一、掌握基础、更新知识。基本技术怎么强调都不过分。这里的术更多是（计算机、统计知识）， 多年做数据分析、数据挖掘的经历来看、以及业界朋友的交流来看，这点大家深有感触的。数据库查询—SQL数据分析师在计算机的层面的技能要求较低，主要是会SQL，因为这里解决一个数据提取的问题。有机会可以去逛逛一些专业的数据论坛，学习一些SQL技巧、新的函数，对你工作效率的提高是很有帮助的。统计知识与数据挖掘你要掌握基础的、成熟的数据建模方法、数据挖掘方法。例如：多元统计：回归分析、因子分析、离散等，数据挖掘中的：决策树、聚类、关联规则、神经网络等。但是还是应该关注一些博客、论坛中大家对于最新方法的介绍，或者是对老方法的新运用，不断更新自己知识，才能跟上时代，也许你工作中根本不会用到，但是未来呢？行业知识如果数据不结合具体的行业、业务知识，数据就是一堆数字，不代表任何东西。是冷冰冰，是不会产生任何价值的，数据驱动营销、提高科学决策一切都是空的。一名数据分析师，一定要对所在行业知识、业务知识有深入的了解。例如：看到某个数据，你首先必须要知道，这个数据的统计口径是什么？是如何取出来的？这个数据在这个行业， 在相应的业务是在哪个环节是产生的？数值的代表业务发生了什么（背景是什么）？对于A部门来说，本月新会员有10万，10万好还是不好呢？先问问上面的这个问题：对于A部门，1、新会员的统计口径是什么。第一次在使用A部门的产品的会员？还是在站在公司角度上说，第一次在公司发展业务接触的会员？2、是如何统计出来的。A：时间；是通过创建时间，还是业务完成时间。B：业务场景。是只要与业务发接触，例如下了单，还是要业务完成后，到成功支付。3、这个数据是在哪个环节统计出来。在注册环节，在下单环节，在成功支付环节。4、这个数据代表着什么。10万高吗？与历史相同比较？是否做了营销活动？这个行业处理行业生命同期哪个阶段？在前面二点，更多要求你能按业务逻辑，来进行数据的提取（更多是写SQL代码从数据库取出数据）。后面二点，更重要是对业务了解，更行业知识了解，你才能进行相应的数据解读，才能让数据产生真正的价值，不是吗？对于新进入数据行业或者刚进入数据行业的朋友来说：行业知识都重要，也许你看到很多的数据行业的同仁，在微博或者写文章说，数据分析思想、行业知识、业务知识很重要。我非常同意。因为作为数据分析师，在发表任何观点的时候，都不要忘记你居于的背景是什么？但大家一定不要忘记了一些基本的技术，不要把基础去忘记了，如果一名数据分析师不会写SQL，那麻烦就大了。哈哈。。你只有把数据先取对了，才能正确的分析，否则一切都是错误了，甚至会导致致命的结论。新同学，还是好好花时间把基础技能学好。因为基础技能你可以在短期内快速提高，但是在行业、业务知识的是一点一滴的积累起来的，有时候是急不来的，这更需要花时间慢慢去沉淀下来。不要过于追求很高级、高深的统计方法，我提倡有空还是要多去学习基本的统计学知识，从而提高工作效率，达到事半功倍。以我经验来说，我负责任告诉新进的同学，永远不要忘记基本知识、基本技能的学习。二、要有三心。1、细心。2、耐心。3、静心。数据分析师其实是一个细活，特别是在前文提到的例子中的前面二点。而且在数据分析过程中，是一个不断循环迭代的过程，所以一定在耐心，不怕麻烦，能静下心来不断去修改自己的分析思路。三、形成自己结构化的思维。数据分析师一定要严谨。而严谨一定要很强的结构化思维，如何提高结构化思维，也许只需要工作队中不断的实践。但是我推荐你用mindmanagement，首先把你的整个思路整理出来，然后根据分析不断深入、得到的信息不断增加的情况下去完善你的结构，慢慢你会形成一套自己的思想。当然有空的时候去看看《麦肯锡思维》、结构化逻辑思维训练的书也不错。在我以为多看看你身边更资深同事的报告，多问问他们是怎么去考虑这个问题的，别人的思想是怎么样的？他是怎么构建整个分析体系的。四、业务、行业、商业知识。当你掌握好前面的基本知识和一些技巧性东西的时候，你应该在业务、行业、商业知识的学习与积累上了。这个放在最后，不是不重要，而且非常重要，如果前面三点是决定你能否进入这个行业，那么这则是你进入这个行业后，能否成功的最根本的因素。 数据与具体行业知识的关系，比作池塘中鱼与水的关系一点都不过分，数据（鱼）离开了行业、业务背景（水）是死的，是不可能是“活”。而没有“鱼”的水，更像是“死”水，你去根本不知道看什么（方向在哪）。如何提高业务知识，特别是没有相关背景的同学。很简单，我总结了几点：1、多向业务部门的同事请教，多沟通。多向他们请教，数据分析师与业务部门没有利益冲突，而更向是共生体，所以如果你态度好，相信业务部门的同事也很愿意把他们知道的告诉你。2、永远不要忘记了google大神，定制一些行业的关键字，每天都先看看定制的邮件。3、每天有空去浏览行业相关的网站。看看行业都发生了什么，主要竞争对手或者相关行业都发展什么大事，把这些大事与你公司的业务，数据结合起来。4、有机会走向一线，多向一线的客户沟通，这才是最根本的。标题写着告诫，其实谈不上，更多我自己的一些心得的总结。希望对新进的朋友有帮助，数据分析行业绝对是一个朝阳行业，特别是互联网的不断发展，一个不谈数据的公司根本不叫互联网公司，数据分析师已经成为一个互联网公司必备的职位了。数据分析师中国统计网——一位资深数据分析师的分享

每一次回答完都觉得自己讲得太片面了，总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。

1、认识大数据大数据本质其实也是数据，不过也包括了些新的特征，数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。2、大数据所需技能要求Python语言：编写一些脚本时会用到。Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。Ozzie，azkaban：定时任务调度的工具。Hue，Zepplin：图形化任务执行管理，结果查看工具。Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。3、必须掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)。

学习大数据要有一定的编程基础，这是大数据大部分岗位都需要的。目前从事大数据方向的程序员比较普遍使用的语言有四种，分别是Python、Java、Scala和R，这四种语言都有一定的应用场景，不同岗位的程序员使用的语言也稍有不同。

Python目前主要是应用在数据分析、数据挖掘和算法实现上，可以说大数据领域Python的应用是比较普遍的。

Java目前在大数据领域的应用还是跟平台有直接关系，通常在需要高性能的数据处理部分采用Java开发。

Scala和R主要是基于场景的应用多一些，Scala构建在Java基础之上，代码结构要比Java简洁一些，同时Scala是Spark的实现语言，在与Spark相关的开发中使用Scala是比较方面的选择。R语言本身的特点就是统计分析，语法简单且功能强大，是做大数据统计分析的一把利器。

中文专业的前期要多花点功夫了啊，我是数学专业的，大学做过建模，所有统计学的东西还有一些软件多少接触过一点。建议你自学的话，excel软件和spss先熟悉一下，找两本书看看，《谁说菜鸟不会数据分析》是入门的，可以看一看，先了解一下吧，数据分析的东西还是要多实践的。如果你现在工作跟数据分析没有什么关系的话，转业工作可能有点困难，这种情况建议去考个证书吧，虽然现在国内数据分析刚起步，还没有太有含金量的证书，不过你这种情况有肯定比没有好，我就去考了一个，考CPDA吧，还有一个CDA，我选考的CPDA，说是CDA国外有机构什么的，但是我找不到任何网站可以查到这个证书，问他们他们也不说，我怕找工作人家要查查不到，但是CPDA工信部网站能查询证书信息的，所以对就业帮助可能会大一些，工作还是有参考作用的，不过指望靠班学到很多还是不可能，只是让你了解入门，手上多个敲门砖。数据分析属于技术类工种，要多实践，数据采集和挖掘是基础，这些工作门槛比数据分析岗相对低一些，好找，希望对你有帮助。

1）java SE，EE(SSM)因为90%的大数据框架都是java写的2）SQL特别是sql语句中的查询语句，因为对数据库的操作最多的是查询使用Hadoop作为大数据的分布式存储、计算和分析 sql的操作会重要3）Linux大数据的框架安装在Linux操作系统上总的来说，大数据处理技术怎么学习呢?在做大数据开发之前，因为Hadoop是高层次的语言开发，需要懂得Java或者Python，很快的就能上手。所有的大数据生态架构都是基于linux系统的基础上的，所以你要有Linux系统的基本知识。如果你不懂Java或者Python还有Linux系统，那么这都是你必学的知识（Java或者Python可二选其一）。

数据分析最重要的可能并不是你熟悉的编程工具、分析软件，或者统计学知识，而是清楚你所使用的统计知识（统计学、计量、时间序列、非参数等等）背后的原理、假设及其局限性，知道各种数据分析工具（例如数据挖掘）能带来什么，不能带来什么，看到一组统计检验的结果你能言说什么，不能言说什么。这一切的背后，需要一套完整的「科学」逻辑框架，让你了解自己手中的工具的本质，你才能从数据中正确地发现有效的信息，而不是胡乱地使用一大堆自己都搞不清楚的工具来堆砌分析结果，这样得到分析结果不仅无用，而且有害。知道了这些后，希望成长为数据分析师，就需要着手训练自己的能力和洞察力。既然是数据分析师，那就分别从数据和分析两方面入手。数据当然包含了数据收集、处理、可视化等内容，每个环节对于最后的结果都有关键性的影响。其中涉及的技术性内容只是一部分而已，更重要的是你要理解数据收集（是否存在采样偏差？如何纠正或者改进？）、处理（是否有漏洞或异常情况没有考虑？）背后的逻辑。你要充分了解这些概念背后的逻辑、动机是什么，才能正确地根据自己的目的作出选择。数据可视化更多的是一门艺术：如何把信息以最恰当的方式呈现给希望获得这些信息的人。首先，你要充分理解这些信息究竟是什么，有什么特点，你才能较为恰当的选择采用的可视化工具。另外一部分就是分析。当然就是各种分析模型，还是需要了解这些模型背后的逻辑，要放到整个项目的上下文中去看，而不是单纯地在模型中看。总而言之，理解数据以及其中的信息是非常重要的，这决定了你的分析和呈现的方法是否合适，决定了最后的结论是否可靠。现在可以回答题主的问题了：成长为一个数据分析师，要注意理解你的知识，形成一个系统，而不是像机器人一样机械地胡乱套用模型。在这个理念下训练你的编程能力，了解你所分析对象的原理和尽可能多的细节。在这个基础上，才能谈数据分析。