hash函数选择，针对字符串，整数，排列，具体相应的hash方法。碰撞处理，一种是open hashing，也称为拉链法；另一种就是closed hashing，也称开地址法，opened addressing。扩展：d-left hashing中的d是多个的意思，我们先简化这个问题，看一看2-left hashing。
快速、高效处理海量数据的方法有分布式计算、数据分区和分片、内存计算和缓存技术等。分布式计算 分布式计算是处理大规模数据的关键技术之一。它通过将数据和计算任务分布到多个计算节点上，从而实现数据的并行处理。分布式计算系统通常由多台计算机组成，每台计算机都可以处理一部分数据和计算任务。
流式处理 流式处理是一种连续不断地接收和处理数据流的方式。与传统的批处理不同，流式处理可以实时地处理数据，并及时产生结果。这对于需要实时响应和即时决策的应用非常重要，例如金融交易、实时监控和智能推荐等。并行算法 并行算法对于高效地处理海量数据至关重要。
hadoop基于底层大量物理服务器组成的集群对海量数据进行“分布式”处理。Hadoop是用于处理大规模数据的强大工具，它利用了分布式计算的概念，通过将数据分割成小块并在多个物理服务器上进行处理，从而大大提高了数据处理的速度和效率。
1、每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后在对磁盘中这个map task产生的所有临时文件做一个合并，生成最终的正式输出文件，然后等待reduce task来拉数据。
2、mapreduce工作流程如下：输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身。
3、上面描述的过程是从数据流角度看。而从系统角度看，MapReduce运行用户编写的应用程序过程如下：用户启动MapReduce后，程序会被部署到不同的机器上去。
4、图3-3 MapReduce任务执行流程示意图 图3-4 Shuffle过程基本流程图 输入的数据执行map任务后，会先写入到本地缓存中（缓存默认大小是100M），缓存数据达到溢写比（默认是0.8）后，会溢写到本地磁盘中。写入到磁盘之前，会进行数据的分区、排序和可能的合并。
5、详细过程如下： （1）map task任务执行，输入数据的来源是：HDFS的block。当然在mapreduce概念中，map task读取的是split分片。split与block的对应关系：一对一（默认）。
当数据输入进来以后，我们进行的是 map 阶段的处理。例如对一行的单词进行分割，然后每个单词进行计数为 1 进行输出。Shuffle 阶段 Shuffle 阶段是整个 MapReduce 的核心，介于 Map 阶段跟 Reduce 阶段之间。
Map过程对输入的每一行进行切割，输出四种格式的key，value：人物名，关系链表，人物名，PageRank值，人物名，标签，链出人物名，标签#起点人物名。第四种格式个键值对是为了将该节点的标签传给其所有邻居。
朋友，建议在矢量化前对图片进行空间校正，使用GeoReferencing工具栏。具休如下：（1）打几个可以定位的点，比如多边形突出位置或公共边中变化点等特征点，精度要求不高的话，可以在谷歌地图上获取经纬度坐标。
可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
数据预处理：通过mapreduce程序对采集到的原始日志数据进行预处理，比如清洗，格式整理，滤除脏数据等，并且梳理成点击流模型数据。数据入库：将预处理之后的数据导入到HIVE仓库中相应的库和表中。数据分析：项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果。
set hive.map.aggr=true，即开启map端的combiner，减少传到reducer的数据量，同时需设置参数hive.groupby.mapaggr.checkinterval 规定在 map 端进行聚合操作的条目数目。（2）设置mapred.reduce.tasks为较大数量，降低每个reducer处理的数据量。
1、第1点结论是数量很大，把看来不可能的东西，变为可能。
2、并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程。为执行并行计算，计算资源应包括一台配有多处理机（并行处理）的计算机、一个与网络相连的计算机专有编号，或者两者结合使用。主要都是用在大数据分析中。
3、大数据分析工具详尽介绍&数据分析算法HadoopHadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高... 大数据分析工具详尽介绍&数据分析算法 HadoopHadoop 是一个能够对大量数据进行分布式处理的软件框架。
4、如今大数据发展得可谓是如日中天，各行各业对于大数据分析和大数据处理的需求也是与日俱增，越来越多的决策、建议、规划和报告，都要依靠大数据的支撑，学习大数据成了不少人提升或转行的机会。
