php多维数组如何去除重复值

# PHP多维数组如何去除重复值

## 引言

在PHP开发中，处理多维数组是常见的需求。当我们需要对多维数组进行去重操作时，会发现PHP内置的`array_unique()`函数仅适用于一维数组。本文将详细介绍5种针对多维数组的去重方法，并通过代码示例演示每种方法的适用场景和性能特点。

## 方法一：序列化后去重

### 实现原理
将多维数组元素序列化为字符串，利用`array_unique()`去重后再反序列化。

```php
function multiArrayUnique($array) {
    $serialized = array_map('serialize', $array);
    $unique = array_unique($serialized);
    return array_map('unserialize', $unique);
}

// 示例用法
$data = [
    ['id' => 1, 'name' => 'Alice'],
    ['id' => 2, 'name' => 'Bob'],
    ['id' => 1, 'name' => 'Alice']
];
print_r(multiArrayUnique($data));

优缺点分析

• ✅ 简单直接，代码量少
• ❌ 性能较差（大数据量时）
• ❌ 无法自定义比较规则

方法二：自定义遍历比较

实现原理

通过双重循环手动比较数组元素。

function manualUnique($array) {
    $result = [];
    foreach ($array as $item) {
        $found = false;
        foreach ($result as $resItem) {
            if ($item === $resItem) {
                $found = true;
                break;
            }
        }
        if (!$found) $result[] = $item;
    }
    return $result;
}

优化版本（支持自定义键比较）

function uniqueByKey($array, $key) {
    $temp = [];
    foreach ($array as $item) {
        if (!isset($temp[$item[$key]])) {
            $temp[$item[$key]] = $item;
        }
    }
    return array_values($temp);
}

方法三：使用array_reduce

函数式编程实现

function reduceUnique($array) {
    return array_reduce($array, function($carry, $item) {
        if (!in_array($item, $carry, true)) {
            $carry[] = $item;
        }
        return $carry;
    }, []);
}

方法四：利用array_column（PHP 5.5+）

针对关联数组的优化方案

function uniqueMultiArray($array, $key) {
    $keys = array_column($array, $key);
    $filtered = array_intersect_key($array, array_unique($keys));
    return array_values($filtered);
}

方法五：哈希算法去重

高性能解决方案

function hashUnique($array) {
    $hashes = [];
    return array_filter($array, function($item) use (&$hashes) {
        $hash = md5(json_encode($item));
        if (!in_array($hash, $hashes)) {
            $hashes[] = $hash;
            return true;
        }
        return false;
    });
}

性能对比测试

使用包含10,000个元素的测试数组：

特殊场景处理

保留最后出现的重复值

function uniqueKeepLast($array, $key) {
    $result = [];
    foreach (array_reverse($array) as $item) {
        if (!isset($result[$item[$key]])) {
            $result[$item[$key]] = $item;
        }
    }
    return array_reverse(array_values($result));
}

对象数组去重

function uniqueObjects($array) {
    $serialized = array_map(function($obj) {
        return serialize([$obj->getId(), $obj->getName()]);
    }, $array);
    $unique = array_unique($serialized);
    return array_intersect_key($array, $unique);
}

实际应用案例

案例1：用户数据去重

$users = [
    ['user_id' => 101, 'email' => 'a@example.com'],
    ['user_id' => 102, 'email' => 'b@example.com'],
    ['user_id' => 101, 'email' => 'a@example.com']
];

// 按user_id去重
$uniqueUsers = uniqueByKey($users, 'user_id');

案例2：商品SKU合并

$products = [
    ['sku' => 'A100', 'price' => 99],
    ['sku' => 'A200', 'price' => 199],
    ['sku' => 'A100', 'price' => 89] // 重复SKU不同价格
];

// 保留最高价商品
$result = [];
foreach ($products as $product) {
    $sku = $product['sku'];
    if (!isset($result[$sku]) || $product['price'] > $result[$sku]['price']) {
        $result[$sku] = $product;
    }
}

总结与建议

1. 小规模数组（<1000元素）：推荐序列化法，代码简洁
2. 中大型数组：使用array_column方法（PHP5.5+）
3. 需要自定义比较逻辑：采用手动遍历方式
4. 对象数组：建议实现__serialize方法后使用序列化方案

扩展思考

• 如何实现多字段联合去重？
• 分布式环境下的大数组去重策略
• 使用SplObjectStorage处理对象引用的技巧

提示：PHP 8.1+版本中，可以考虑使用新的array_unique实现结合自定义比较函数获得更好性能。 “`