Oak_Sun
sunasheng · 共 97 篇文章
博客转移至 http://sunhs.me
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问!
2014-01-20 14:52 · 评论(0)
Hive网络接口的使用
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! 1.hive-site.xml中增加配置 <property> <name>hive.hwi.listen.host</name> <value>0.0.0.0</value> <description>this is the host address the hive web interface will listen on</description> </property> <property> <name>hive.hwi.listen.port</name> <value…
2013-09-24 09:33 · 评论(0)
Hive的三种启动方式及用途
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! 1, hive 命令行模式,直接输入hive目录/bin/hive的执行程序,或者输入 hive –service cli 用于linux平台命令行查询,查询语句基本跟mysql查询语句类似 2, hive web界面的启动方式,hive --service hwi 用于通过浏览器来访问hive,感觉没多大用途 3, hive 远程服务 (端口号10000) 启动方式 hive --service hiveserver 用java等程序实现通过jdbc等驱动的访问hive就用这种…
2013-09-24 09:32 · 评论(0)
Hive的优化
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! 1.列裁剪 查询时我只关心用到的那几个列。 需要设置:hive.optimize.cp = true 2.分区裁剪 查询过程中减少不必要的分区。 需要设置:hive.optimize.pruner = true 3.join join操作在recude阶段join左边表中的内容会被加载到内存中,将数据少的表放在左边可以减少内存溢出的发生。 4.map join map join无需reduce操作就可以在map阶段全部完成,前提是在map阶段能够访问到全部需要的数据。 5.gro…
2013-09-24 09:31 · 评论(0)
Hive的运行时配置
hive配置: hive> set mapred.job.tarcker = 127.0.0.0:50030; hive> set mapred.reduce.tasks=100; hive> set -v; 查看当前设定的所有信息 设定本地模式: hive> set mapred.job.tracker=local; hive> set hive.exec.mode.local.auto = flase; hive.exec.mode.local.auto默认值是false,当设置成开启时(enable)时,hive就会自动分析每个mapreduce任务,当输入的数据规模低于hive.ex…
2013-09-23 09:41 · 评论(0)
Reducer数目最佳值的设定
Reducer数目最佳值的设定 reducer slots的总数 = 集群中的总的节点数*每个节点有多少个slots Reducer数目的最佳值和reducer slots的数目有关,通常情况下让Reducers的数目略小于reducer slots的数目 在设置Reducer的数目的时候也要考虑Mapper的数量,如果Reducer的数量大于Mapper的数量的话,那么就会造成在执行的过程中多出的Reducer不会工作,造成资源的浪费
2013-09-23 09:35 · 评论(0)
用户定制Partitioner
用户定制Partitioner Partition:完成Map节点数据的中间结果向Reduce节点的分区处理 在MapReduce程序中,Partitioner决定Map节点的输出将被分区到那个Reduce节点上去,MapReduce提供的默认的Partitioner是HashPartitioner 他根据每条数据记录的主键值进行Hash操作,获取一个非负整数的Hash码,然后用当前作业的Reduce数进行取模运算,此时决定记录将被分到哪个Reduce节点上去 定制Partitioner可以继承HashPartitioner,然后重载getPartition()方法,在该方法中用新的主键值进…
2013-09-22 09:32 · 评论(0)
mapreduce中用户自定义数据类型
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! mapreduce中用户自定义数据类型 hadoop内置的数据类型: BooleanWritable ByteWritable DoubleWritable FloatWritable IntWritable LongWritable Text NullWritable 自定义数据类型时第一个基本的要求是实现Writable接口,如果该数据要被作为主键key使用的话还必须实现WritableComparable接口 public class Point3D implemants …
2013-09-22 09:30 · 评论(0)
没有Map和Reduce的Mapreduce(LazyMapReduce)
package mapredue.wordcount; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat…
2013-09-22 09:28 · 评论(0)
HBase的安装
HBase的安装 1.单击模式的安装 <1>解压 tar -zxvf hbase-*.tar.gz <2>编辑HBASE_HOME/conf/hbase-env.sh 其中设置JAVA_HOME export JAVA_HOME = <3>编辑HBASE_HOME /conf/hbase-site.xml 设置属性hbase.rootdir <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/${user.name}/hbase-tmp</value> 一般会设置为<value>hdfs://12…
2013-09-22 09:27 · 评论(0)
Hbase的基本shell操作
HBase基本的shell操作 0.进入hbase的shell hbase下bin/hbase shell 出现一下消息表示进入成功 HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version 0.95.1-hadoop1, rUnknown, Thu Jun 6 08:30:30 CEST 2013 hbase(main):001:0> 通过命令status可以查看hbase的状态 1.建表 创建一个只包含一个列族…
2013-09-18 09:51 · 评论(0)
mapreduce对于关系数据库的连接和访问
关系数据库的连接和访问 1.从数据库中输入数据 DBInputFormat提供从数据库读取数据的格式 DBRecordReader提供读取数据记录的接口 Hadoop允许直接从数据库读取数据,但是这样的话频繁读取会大大加重数据库的负载,所以一般不建议这样做 一个比较好的解决方法是:用数据库中的dump工具将待分析的大量数据输出为文本数据文件,并上载到HDFS中进行处理。 2.向数据库中输出计算结果 DBOutputFormat提供向数据库中输出数据的格式 DBRecordWriter提供向数据库中写入数据记录的接口 DBConfiguration提供数据库配置和创建连接的接口 DBConfi…
2013-09-18 09:49 · 评论(0)
Mapreduce构建Hbase索引
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! package test; import java.io.IOException; import java.util.HashMap; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.clie…
2013-09-18 09:34 · 评论(0)
Hbase基本API的使用
package test; import java.util.Map; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.…
2013-09-18 09:33 · 评论(0)
HBase的逻辑模型和物理模型
HBase的逻辑模型和物理模型 逻辑模型 行键是数据行在表中的唯一标识,并作为检索记录的主键。在HBase中访问表的方式有三种: 1.通过单个行键访问 2.给定行键额范围访问 3.全表扫描 表中的列定义为:<family>:<qualifier>(<列族>:<限定符>) HBase提供了两种数据版本的回收方式: 1.对每个数据单元只存储指定个数的最新单元 2.保存最近一段时间内的版本 元素由行键 列 时间戳唯一确定,元素中的数据以字节码的形式存储,没有类型之分 物理模型 从表中能够得出,空值在表中是不被存储的。也可以看出,在HBash的表中,元素是由行键 列 时间戳唯一决定的。
2013-09-18 09:30 · 评论(0)