hive如何切割map數據
A. hive的map欄位可以修改某個key的value值嗎
select orderid,fenjian,timeefrom ( 內select orderid,fenjian,timee,row_number(orderid,fenjian) rn from ( 容select orderid,fenjian,timee from tableName distribute by orderid,fenjian sort by orderid,fenjian,timee asc ) t1) t2where t2.rn=1
B. 如何使用hive數據作為map的input
自定義Hive Table的分隔符。
Hive shell代碼 收藏代碼
CREATE TABLE supply (id INT, part STRING, quantity INT) PARTITIONED BY (day INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '.'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY '='
STORED AS SEQUENCEFILE;
這樣就可以避開控版制權字元。
C. 如何讓hive支持多字元分割列
可以在復hive建表語句中，使制用built-in的 org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe類， 來使你的表支持多字元分割列。
Hive測試版本為：hive-1.1.0-cdh5.7.1，其他版本需自行測試
drop table test;
create external table test (c1 string, c2 string,c3 string)
row format SERDE'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
with serdeproperties(
"field.delim"="^|~"
)
location '/user/hive/warehouse/test;
load data local inpath '/home/david/test/test_hive_data/multichar_separator_raw.txt' into table test;
select * from test;
D. hive map 裡面可以放數組嗎
Map使用
建表：
[plain] view plain
hive> create table employee(id string, perf map<string, int>)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '\t'
> COLLECTION ITEMS TERMINATED BY ','
> MAP KEYS TERMINATED BY ':';
OK
Time taken: 0.144 seconds
『MAP KEYS TERMINATED BY』 ：key value分隔符
導入數據：
[plain] view plain
$ cat test7.txt
1 job:80,team:60,person:70
2 job:60,team:80
3 job:90,team:70,person:100
hive> LOAD DATA LOCAL INPATH '/home/work/data/test7.txt' INTO TABLE employee;
E. 如何高效的從hive里取出數據形成一個dataframe
var dic = dt1.Rows.OfType() .ToDictionary( x => x["姓名"].ToString(), x => (int)x["年齡回答"]); foreach (DataRow row in dt2.Rows) { string name = row["姓名"].ToString(); row["年齡"] = dic[name]; }
F. 在Hive中如何實現數據分區
一、Hive only：載入分區數據的快捷方法
如果指定的分區不存在Hive將創建新的分區
但是在hive分區中我們應該注意一些問題,比如：
（1）注意：Beeline設置的Hive變數只在當前會話有效，系統管理員可以設置永久生效
（2）注意：如果分區列有很多唯一值，將會創建很多分區
另外，我們可以給Hive配置參數來限制分區數 ：
（1） hive.exec.max.dynamic.partitions.pernode
查詢在某個節點上可以創建的最大動態分區數，默認100
（2） hive.exec.max.dynamic.partitions
一個HiveQL語句可以創建的最大動態分區數 ，默認1000
（3）hive.exec.max.created.files
一個查詢總共可以創建的最大動態分區數，默認1000000
G. 有一hive sql，怎麼計算這個sql會產生多少個map數
Hive SQL產生的map數和SQL中查詢的表的數據量有關。
您可以網路搜索 lxw的大數據田地，裡面有一起學Hive系列文章，從淺入深的介紹Hive.
H. 如何提升hive腳本的map數
一、 控制hive任務中的map數:
1. 通常情況下，作業會通過input的目錄產生一個或者多個map任務。回
主要的決定因素有： input的文件總答個數，input的文件大小，集群設置的文件塊大小(目前為128M, 可在hive中通過set dfs.block.size;命令查看到，該參數不能自定義修改)；
2. 舉例：
a) 假設input目錄下有1個文件a,大小為780M,那麼hadoop會將該文件a分隔成7個塊（6個128m的塊和1個12m的塊），從而產生7個map數
b) 假設input目錄下有3個文件a,b,c,大小分別為10m，20m，130m，那麼hadoop會分隔成4個塊（10m,20m,128m,2m）,從而產生4個map數
即，如果文件大於塊大小(128m),那麼會拆分，如果小於塊大小，則把該文件當成一個塊。
I. hadoop hive中map與rece的一些疑問
找到來離存數據最近的一台機自器運行和這個數據相關的map任務，rece是按照你整理出的key有多少個來決定的。一個機器很難說，處理的快的處理多一點，保持所有機器使用平衡。
上面你都自己寫了20個map，和文件大小個數有關，和數據條數無關。
要看你選擇的輸入格式是什麼，默認是行偏移量，然後由你編寫map函數，指定key和value是什麼。相同的key整合起來傳給rece，由rece進行下一步處理，最後輸出到指定的地方。
J. 怎麼查看hive sql map rece情況
map的數量
map的數量通常是由hadoop集群的DFS塊大小確定的，也就是輸入文件的總塊數，正常的map數量的並行規模大致是每一個Node是10~100個，對於CPU消耗較小的作業可以設置Map數量為300個左右，但是由於hadoop的每一個任務在初始化時需要一定的時間，因此比較合理的情況是每個map執行的時間至少超過1分鍾。具體的數據分片是這樣的，InputFormat在默認情況下會根據hadoop集群的DFS塊大小進行分片，每一個分片會由一個map任務來進行處理，當然用戶還是可以通過參數mapred.min.split.size參數在作業提交客戶端進行自定義設置。還有一個重要參數就是mapred.map.tasks，這個參數設置的map數量僅僅是一個提示，只有當InputFormat
決定了map任務的個數比mapred.map.tasks值小時才起作用。同樣，Map任務的個數也能通過使用JobConf
的conf.setNumMapTasks(int
num)方法來手動地設置。這個方法能夠用來增加map任務的個數，但是不能設定任務的個數小於Hadoop系統通過分割輸入數據得到的值。當然為了提高集群的並發效率，可以設置一個默認的map數量，當用戶的map數量較小或者比本身自動分割的值還小時可以使用一個相對交大的默認值，從而提高整體hadoop集群的效率。