hive子查询有哪些数据过滤技巧

Hive 是一个基于 Hadoop 的分布式数据仓库，它允许你使用类似于 SQL 的查询语言（HiveQL）来处理和分析大量数据

1. 使用 WHERE 子句：在 Hive 查询中使用 WHERE 子句可以对数据进行过滤。例如，如果你只想查询年龄大于 18 的用户，可以使用以下查询：

SELECT * FROM users WHERE age > 18;

2. 使用 AND 和 OR 运算符：你可以在 WHERE 子句中使用 AND 和 OR 运算符来组合多个条件。例如，如果你只想查询年龄在 18 到 30 之间且名字为 “John” 的用户，可以使用以下查询：

SELECT * FROM users WHERE age BETWEEN 18 AND 30 AND name = 'John';

3. 使用 NOT LIKE：NOT LIKE 运算符用于过滤不符合特定模式的记录。例如，如果你只想查询名字不以 “John” 开头的用户，可以使用以下查询：

SELECT * FROM users WHERE name NOT LIKE 'John%';

4. 使用 IN 和 NOT IN：IN 和 NOT IN 运算符允许你过滤在一组值中的记录。例如，如果你只想查询年龄在 18 到 30 岁之间的用户，可以使用以下查询：

SELECT * FROM users WHERE age BETWEEN 18 AND 30;

如果你想查询年龄不在 18 到 30 岁之间的用户，可以使用 NOT IN：

SELECT * FROM users WHERE age NOT IN (18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30);

5. 使用 LIKE：LIKE 运算符用于过滤符合特定模式的记录。例如，如果你只想查询名字以 “John” 开头的用户，可以使用以下查询：

SELECT * FROM users WHERE name LIKE 'John%';

6. 使用正则表达式：Hive 支持使用正则表达式进行模式匹配。例如，如果你只想查询名字只包含数字的用户，可以使用以下查询：

SELECT * FROM users WHERE name REGEXP '^\\d+$';

7. 使用聚合函数和 HAVING 子句：HAVING 子句用于过滤聚合函数的结果。例如，如果你只想查询年龄在 18 到 30 岁之间且平均消费金额大于 1000 的用户，可以使用以下查询：

SELECT user_id, AVG(amount) as avg_amount
FROM orders
GROUP BY user_id
HAVING AVG(amount) > 1000 AND MAX(age) BETWEEN 18 AND 30;

通过使用这些数据过滤技巧，你可以更有效地查询和分析 Hive 中的大量数据。