hive如何切割map数据
A. hive的map字段可以修改某个key的value值吗
select orderid,fenjian,timeefrom ( 内select orderid,fenjian,timee,row_number(orderid,fenjian) rn from ( 容select orderid,fenjian,timee from tableName distribute by orderid,fenjian sort by orderid,fenjian,timee asc ) t1) t2where t2.rn=1
B. 如何使用hive数据作为map的input
自定义Hive Table的分隔符。
Hive shell代码 收藏代码
CREATE TABLE supply (id INT, part STRING, quantity INT) PARTITIONED BY (day INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '.'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY '='
STORED AS SEQUENCEFILE;
这样就可以避开控版制权字符。
C. 如何让hive支持多字符分割列
可以在复hive建表语句中，使制用built-in的 org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe类， 来使你的表支持多字符分割列。
Hive测试版本为：hive-1.1.0-cdh5.7.1，其他版本需自行测试
drop table test;
create external table test (c1 string, c2 string,c3 string)
row format SERDE'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
with serdeproperties(
"field.delim"="^|~"
)
location '/user/hive/warehouse/test;
load data local inpath '/home/david/test/test_hive_data/multichar_separator_raw.txt' into table test;
select * from test;
D. hive map 里面可以放数组吗
Map使用
建表：
[plain] view plain
hive> create table employee(id string, perf map<string, int>)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '\t'
> COLLECTION ITEMS TERMINATED BY ','
> MAP KEYS TERMINATED BY ':';
OK
Time taken: 0.144 seconds
‘MAP KEYS TERMINATED BY’ ：key value分隔符
导入数据：
[plain] view plain
$ cat test7.txt
1 job:80,team:60,person:70
2 job:60,team:80
3 job:90,team:70,person:100
hive> LOAD DATA LOCAL INPATH '/home/work/data/test7.txt' INTO TABLE employee;
E. 如何高效的从hive里取出数据形成一个dataframe
var dic = dt1.Rows.OfType() .ToDictionary( x => x["姓名"].ToString(), x => (int)x["年龄回答"]); foreach (DataRow row in dt2.Rows) { string name = row["姓名"].ToString(); row["年龄"] = dic[name]; }
F. 在Hive中如何实现数据分区
一、Hive only：加载分区数据的快捷方法
如果指定的分区不存在Hive将创建新的分区
但是在hive分区中我们应该注意一些问题,比如：
（1）注意：Beeline设置的Hive变量只在当前会话有效，系统管理员可以设置永久生效
（2）注意：如果分区列有很多唯一值，将会创建很多分区
另外，我们可以给Hive配置参数来限制分区数 ：
（1） hive.exec.max.dynamic.partitions.pernode
查询在某个节点上可以创建的最大动态分区数，默认100
（2） hive.exec.max.dynamic.partitions
一个HiveQL语句可以创建的最大动态分区数 ，默认1000
（3）hive.exec.max.created.files
一个查询总共可以创建的最大动态分区数，默认1000000
G. 有一hive sql，怎么计算这个sql会产生多少个map数
Hive SQL产生的map数和SQL中查询的表的数据量有关。
您可以网络搜索 lxw的大数据田地，里面有一起学Hive系列文章，从浅入深的介绍Hive.
H. 如何提升hive脚本的map数
一、 控制hive任务中的map数:
1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。回
主要的决定因素有： input的文件总答个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；
2. 举例：
a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数
b) 假设input目录下有3个文件a,b,c,大小分别为10m，20m，130m，那么hadoop会分隔成4个块（10m,20m,128m,2m）,从而产生4个map数
即，如果文件大于块大小(128m),那么会拆分，如果小于块大小，则把该文件当成一个块。
I. hadoop hive中map与rece的一些疑问
找到来离存数据最近的一台机自器运行和这个数据相关的map任务，rece是按照你整理出的key有多少个来决定的。一个机器很难说，处理的快的处理多一点，保持所有机器使用平衡。
上面你都自己写了20个map，和文件大小个数有关，和数据条数无关。
要看你选择的输入格式是什么，默认是行偏移量，然后由你编写map函数，指定key和value是什么。相同的key整合起来传给rece，由rece进行下一步处理，最后输出到指定的地方。
J. 怎么查看hive sql map rece情况
map的数量
map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop的每一个任务在初始化时需要一定的时间，因此比较合理的情况是每个map执行的时间至少超过1分钟。具体的数据分片是这样的，InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat
决定了map任务的个数比mapred.map.tasks值小时才起作用。同样，Map任务的个数也能通过使用JobConf
的conf.setNumMapTasks(int
num)方法来手动地设置。这个方法能够用来增加map任务的个数，但是不能设定任务的个数小于Hadoop系统通过分割输入数据得到的值。当然为了提高集群的并发效率，可以设置一个默认的map数量，当用户的map数量较小或者比本身自动分割的值还小时可以使用一个相对交大的默认值，从而提高整体hadoop集群的效率。