sunasheng
- 浏览: 119246 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
Hive的服务
1.Hive shell<1>执行HiveQL语句hive>select * from userinfo;<2>设置和查看临时变量hive>set fs.default.name=hdfs://192.168.1.10:9000<3>导入jar包hive>add jar hivejar.jar<4>创建函数hive>create temporary function udfTest as 'com.cstore.udfExample'
HBase的shell下表操作语句执行错误的解决
HBase Error:hbase.PleaseHoldException: Master is initializing
今天做了一下HBase的相关安装和配置，启动HBase没有问题，但是使用bin/hbase shell 命令转换到shell下时，使用比如命令，list.、create 'table','col' 等等都会出错错误信息为:Error:hbase.PleaseHoldException: Master is initializing 解决方法是：查看/etc/hosts文件中的127.0.0.1是不是127.0.1.1， ...
1.HiveQL的数据类型
HiveQL不支持更新/索引/事物等操作，子查询和join操作也很局限。
HiveQL的数据类型
基本类型：数值 布尔 字符串
复杂类型：arraymap struct
基本类型可以隐式向上转换 struct可以转换成double
2.HiveQL常用操作-----创建表
create table userinfo(id int,name string)row format delimited fields terminated by '\t';
注解：row format delimited fields terminated by是Hive ...
1.日志格式日期 时间 级别 相关类 信息2011-08-01 08:39:08,020 INFO org.apache.hadoop.ipc.Server:IPC server Responder......2.存储结构日期 时间 级别 相关类各占一列 信息占3列create table if not exists loginfo11(rdate string,time array<string>,type string,relateclass string,infomation1 string,infomation2 string,infomation3 string)r ...
1.UDF
UDF类必须继承org.apache.hadoop.hive.ql.exec.UDF类，并且实现evaluate方法
1.建立工程
2.导入hive和hadoop的jar包
3.编写代码
public class lower_Or_UpperCase extends UDF
{
//实现至少一个evaluate方法
public Text evaluate(Text t,String up_or_lower)
{
if(t==null)
{
return null;
}
//依据标识的参数 ...
Linux下安装mysql数据库
1，安装前首先确认系统中是否已经安装过mysql
命令：netstat -tap |grep mysql
如果显示上图，表示系统内没有安装mysql。
通过MapReduce向HBase中写数据时java.lang.RuntimeException: org.apache.hadoop.hbase.client.NoServerForRegionException: Unable to find region for schedule,,99999999999999 after 10 tries.
解决方法：
异常信息说明你的HBase的安装不正确，没有和hadoop结合，你可以去hadoop的dfs目录下查看是否有hbase目录，建议重新安装hbase！
通过MapReduce向HBase中写数据时java.lang.NoClassDefFoundError: com/google/protobuf/Message
解决方法:将$HBASE_HOME/lib/protobuf-java-2.4.0a.jar 拷贝到 $HADOOP_HOME/lib/下
1.cd cd - 返回上一次目录 cd ~ 返回主目录 cd /data/ 进入data文件夹
2.chown 改变所属人 chown root:root install.log
3.chmod 改变属性 chmod 777 install.log read=4 write=2 execute=1
4.cp 复制 cp filename
5.rm 删除文件 rm -rf filename 强制删除文件 谨慎使用此命令
6.rmdir 删除文件夹(只能删除空文件夹，删除非空文件夹要使用命令：rm -r 文件夹名)
7.mv 移动 mv 123.txt 222.txt 重命名 ...
1、导出整个数据库：（以下所有例子中data是数据库名，table是库表名）
mysqldump -u用户名 -p密码 --default-character-set=utf8 数据库名>导出的文件名
例：mysqldump -uroot -p123456 --default-character-set=utf8 data>data.sql
2、导入整个数据库：
mysql -u用户名 -p密码 --default-character-set=utf8 数据库名<导出的文件名
例：mysql -uroot -p123456 --default-characte ...
package com.sun.hbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.h ...
该博客已经完全转移到http://sunhs.me
中并增加更多新的技术内容（hadoop为
主），欢迎访问！
package com.sun.hbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfigura ...
package com.sun.mysql;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Iterator;
import org.apache.hadoop.conf.Configuration;
import org.apac ...
package com.sun.mysql;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Iterator;
import org.apache.hadoop.conf.Configuration;
imp ...
Hive的安装（常用的是独立模式）
1.内嵌模式安装
这样安装的话元数据保存在Derby数据库中，只能允许一个会话连接，只适合用于简单的测试。
<1>.解压
tar -xzvf hive-0.10.0
<2>.配置环境
/etc/profileexport HIVE_HOME={$hive_install}PATH中加入$HIVE_HOME 并保证有HADOOP_HOME的配置
也可以在hive-site.xml中配置
<3>.新建Hive所需要的目录
在HDFS上建立tmp和/user/hive/warehouse
命令：had ...