Oak_Sun
sunasheng · 共 97 篇文章
Hive的服务
Hive的服务 1.Hive shell <1>执行HiveQL语句hive>select * from userinfo; <2>设置和查看临时变量hive>set fs.default.name=hdfs://192.168.1.10:9000 <3>导入jar包hive>add jar hivejar.jar <4>创建函数hive>create temporary function udfTest as 'com.cstore.udfExample' 也可以使用本地系统的命令去执行Hive的shell hive -e 'select * from userinfo'执行HiveQL语…
2013-09-17 11:36 · 评论(0)
HBase Error:hbase.PleaseHoldException: Master is initializing
HBase的shell下表操作语句执行错误的解决 HBase Error:hbase.PleaseHoldException: Master is initializing 今天做了一下HBase的相关安装和配置,启动HBase没有问题,但是使用bin/hbase shell 命令转换到shell下时,使用比如命令,list.、create 'table','col' 等等都会出错 错误信息为:Error:hbase.PleaseHoldException: Master is initializing 解决方法是: 查看/etc/hosts文件中的127.0.0.1是不是127.0.1.1…
2013-09-17 11:34 · 评论(0)
HiveQL的使用
1.HiveQL的数据类型 HiveQL不支持更新/索引/事物等操作,子查询和join操作也很局限。 HiveQL的数据类型 基本类型:数值 布尔 字符串 复杂类型:arraymap struct 基本类型可以隐式向上转换 struct可以转换成double 2.HiveQL常用操作-----创建表 create table userinfo(id int,name string)row format delimited fields terminated by '\t'; 注解:row format delimited fields terminated by是HiveQL特有的,用来指定…
2013-09-17 11:14 · 评论(0)
基于hive的hadoop日志分析
1.日志格式 日期 时间 级别 相关类 信息 2011-08-01 08:39:08,020 INFO org.apache.hadoop.ipc.Server:IPC server Responder...... 2.存储结构 日期 时间 级别 相关类各占一列 信息占3列 create table if not exists loginfo11(rdate string,time array<string>,type string,relateclass string,infomation1 string,infomation2 string,infomation3 string) row…
2013-09-17 11:11 · 评论(0)
Hive的UDF和UDAF编程实例
1.UDF UDF类必须继承org.apache.hadoop.hive.ql.exec.UDF类,并且实现evaluate方法 1.建立工程 2.导入hive和hadoop的jar包 3.编写代码 public class lower_Or_UpperCase extends UDF { //实现至少一个evaluate方法 public Text evaluate(Text t,String up_or_lower) { if(t==null) { return null; } //依据标识的参数转换大小写 else if(up_or_lower.equals("lowercase"))…
2013-09-17 10:57 · 评论(0)
Linux下mysql的安装
Linux下安装mysql数据库 1,安装前首先确认系统中是否已经安装过mysql 命令:netstat -tap |grep mysql 如果显示上图,表示系统内没有安装mysql。 2,联网下安装mysql 命令:sudo apt-get install mysql-server mysql-client 选择y后那么就进入安装过程了,安装过程可能会很慢(取决与你的网络),中间会弹出一个界面让你设置mysql的root的密码,这里一定要设定。 3,安装完成后再次确认系统是否正确安装mysql 命令:netstat -tap |grep mysql 当显示以上界面的时候就表示mysql已经…
2013-09-16 09:51 · 评论(0)
java.lang.RuntimeException: org.apache.hadoop.hbase.client.NoServerForRegionExce
通过MapReduce向HBase中写数据时java.lang.RuntimeException: org.apache.hadoop.hbase.client.NoServerForRegionException: Unable to find region for schedule,,99999999999999 after 10 tries. 解决方法: 异常信息说明你的HBase的安装不正确,没有和hadoop结合,你可以去hadoop的dfs目录下查看是否有hbase目录,建议重新安装hbase!
2013-09-16 09:49 · 评论(0)
java.lang.NoClassDefFoundError: com/google/protobuf/Message
通过MapReduce向HBase中写数据时java.lang.NoClassDefFoundError: com/google/protobuf/Message 解决方法:将$HBASE_HOME/lib/protobuf-java-2.4.0a.jar 拷贝到 $HADOOP_HOME/lib/下
2013-09-16 09:48 · 评论(0)
Linux常用命令大全
1.cd cd - 返回上一次目录 cd ~ 返回主目录 cd /data/ 进入data文件夹 2.chown 改变所属人 chown root:root install.log 3.chmod 改变属性 chmod 777 install.log read=4 write=2 execute=1 4.cp 复制 cp filename 5.rm 删除文件 rm -rf filename 强制删除文件 谨慎使用此命令 6.rmdir 删除文件夹(只能删除空文件夹,删除非空文件夹要使用命令:rm -r 文件夹名) 7.mv 移动 mv 123.txt 222.txt 重命名 8.mkdir …
2013-09-16 09:47 · 评论(0)
mysql开发技巧--数据库的导入导出
1、导出整个数据库:(以下所有例子中data是数据库名,table是库表名) mysqldump -u用户名 -p密码 --default-character-set=utf8 数据库名>导出的文件名 例:mysqldump -uroot -p123456 --default-character-set=utf8 data>data.sql 2、导入整个数据库: mysql -u用户名 -p密码 --default-character-set=utf8 数据库名<导出的文件名 例:mysql -uroot -p123456 --default-character-set=utf8 data<…
2013-09-16 09:46 · 评论(0)
mapreduce向hbase中写数据
package com.sun.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.io…
2013-09-14 14:56 · 评论(0)
mapreduce读取hbase
该博客已经完全转移到 http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! package com.sun.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.h…
2013-09-14 14:55 · 评论(0)
mapreduce写数据至mysql
package com.sun.mysql; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Pat…
2013-09-14 14:53 · 评论(0)
mapreduce读取mysql
package com.sun.mysql; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Pat…
2013-09-14 14:52 · 评论(0)
Hive的安装(常用的是独立模式安装)
Hive的安装(常用的是独立模式) 1.内嵌模式安装 这样安装的话元数据保存在Derby数据库中,只能允许一个会话连接,只适合用于简单的测试。 <1>.解压 tar -xzvf hive-0.10.0 <2>.配置环境 /etc/profileexport HIVE_HOME={$hive_install}PATH中加入$HIVE_HOME 并保证有HADOOP_HOME的配置 也可以在hive-site.xml中配置 <3>.新建Hive所需要的目录 在HDFS上建立tmp和/user/hive/warehouse 命令:hadoop目录下 bin/hadoop fs -mkdir /tm…
2013-09-14 14:40 · 评论(0)