面对海量数据，快速高效处理的方法有：学会数据清洗、引入分布式处理框架、使用合适的数据库、针对性的算法实现、采用并发控制、做好数据分类和标签等。学会数据清洗 从源头开始，学会数据清洗非常重要。
数据抽取工具：熟悉相关的数据抽取工具，如Sqoop和Flume。Sqoop用于将关系型数据库中的数据导入到Hadoop中，而Flume用于实时数据流的采集和传输。
大数据处理之四：发掘 主要是在现有数据上面进行根据各种算法的核算，然后起到预测（Predict）的作用，然后实现一些高等级数据剖析的需求。主要运用的工具有Hadoop的Mahout等。该进程的特色和应战主要是用于发掘的算法很复杂，并 且核算触及的数据量和核算量都很大，常用数据发掘算法都以单线程为主。
人工神经网络概念梳理与实例演示神经网络是一种模仿生物神经元的机器学习模型，数据从输入层进入并流经激活阈值的多个节点。递归性神经网络... 人工神经网络概念梳理与实例演示神经网络是一种模仿生物神经元的机器学习模型，数据从输入层进入并流经激活阈值的多个节点。
大数据开发其实分两种：第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。感觉更适用于data analyst这种职位吧，而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。
Storm Storm是Twitter主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流。不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
YARN是Hadoop的一个子项目（与MapReduce并列），它实际上是一个资源统一管理系统，可以在上面运行各种计算框架（包括MapReduce、Spark、Storm、MPI等）。当前Hadoop版本比较混乱，让很多用户不知所措。
传统离线数据分析工作，一般把数据结构化存储在RDBMS，可通过SQL代码、报表工具、挖掘工具快速对数据进行分析。因为数据进行了结构化，进行数据分析时，可专注于业务过程。此模式最大的问题在于机器和软件成本高，性能提升不能横向扩展。
Spark。Hadoop非常适合第一类基础分析，对于其他问题，较简单或者小型的任务都是Hadoop可解的，于是有了Spark，spark可以看做是大数据领域下一个数据处理的Hadoop的替代品。
稳定性方面，由于代码质量问题，Spark长时间运行会经常出错，在架构方面，由于大量数据被缓存在RAM中，Java回收垃圾缓慢的情况严重，导致Spark性能不稳定，在复杂场景中SQL的性能甚至不如现有的Map/Reduce。
