hive复杂数据类型如何进行数据统计

Hive支持多种复杂数据类型，如数组（ARRAY）、结构体（STRUCT）、Map等

1. 数组（ARRAY）

假设我们有一个表user_info，其中有一个数组类型的列hobbies，包含用户的兴趣爱好。

CREATE TABLE user_info (
  id INT,
  name STRING,
  hobbies ARRAY<STRING>
);

要统计每个用户的兴趣爱好数量，可以使用explode函数将数组展开，然后使用GROUP BY和COUNT函数进行统计。

SELECT
  id,
  name,
  COUNT(hobby) AS hobby_count
FROM
  (SELECT
     id,
     name,
     explode(hobbies) AS hobby
   FROM
     user_info) sub
GROUP BY
  id,
  name;

2. 结构体（STRUCT）

假设我们有一个表user_info，其中有一个结构体类型的列address，包含用户的地址信息。

CREATE TABLE user_info (
  id INT,
  name STRING,
  address STRUCT<street:STRING, city:STRING, state:STRING, zip:STRING>
);

要统计每个用户的地址信息数量，可以使用LATERAL VIEW和EXPLODE函数将结构体展开，然后使用GROUP BY和COUNT函数进行统计。

SELECT
  id,
  name,
  COUNT(address_item) AS address_count
FROM
  user_info
LATERAL VIEW
  explode(STRUCT_COLUMNS(address)) address_items AS address_item
GROUP BY
  id,
  name;

3. Map

假设我们有一个表user_info，其中有一个Map类型的列extra_info，包含用户的额外信息。

CREATE TABLE user_info (
  id INT,
  name STRING,
  extra_info MAP<STRING, STRING>
);

要统计每个用户的额外信息数量，可以使用LATERAL VIEW和EXPLODE函数将Map展开，然后使用GROUP BY和COUNT函数进行统计。

SELECT
  id,
  name,
  COUNT(extra_info_item) AS extra_info_count
FROM
  user_info
LATERAL VIEW
  explode(extra_info) extra_info_items AS extra_info_item
GROUP BY
  id,
  name;

这些示例展示了如何使用Hive处理复杂数据类型并进行数据统计。根据实际需求和数据类型，可以灵活运用这些方法。