php 删除文本文件重复行的解决办法

内容摘要
这篇文章主要为大家详细介绍了php 删除文本文件重复行的简单示例，具有一定的参考价值，可以用来参考一下。

这个php函数用来删除文件中的重复行，还可以指定是否忽略大小写，和指
文章正文

这篇文章主要为大家详细介绍了php 删除文本文件重复行的简单示例，具有一定的参考价值，可以用来参考一下。

这个php函数用来删除文件中的重复行，还可以指定是否忽略大小写，和指定换行符，php删除文本文件的重复行，对此感兴趣的朋友，看看idc笔记做的技术笔记。经测试代码如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
<code class="php">
/**
 * 删除文件中的重复行
 *
 * @param     string
 * @param     bool
 * @return    string
 * @arrange （www.idcnote.com）
 **/
function RemoveDuplicatedLines($Filepath, $IgnoreCase=false, $NewLine="\n"){
    if (!file_exists($Filepath)){
        $ErrorMsg  = 'RemoveDuplicatedLines error: ';
        $ErrorMsg .= 'The given file ' . $Filepath . ' does not exist!';
        die($ErrorMsg);
    }
    $Content = file_get_contents($Filepath);
    $Content = RemoveDuplicatedLinesByString($Content, $IgnoreCase, $NewLine);
 
    if (!is_writeable($Filepath)){
        $ErrorMsg  = 'RemoveDuplicatedLines error: ';
        $ErrorMsg .= 'The given file ' . $Filepath . ' is not writeable!';   
        die($ErrorMsg);
    }
  
    $FileResource = fopen($Filepath, 'w+');     
    fwrite($FileResource, $Content);       
    fclose($FileResource);  
}
  
  
/**
 * RemoveDuplicatedLinesByString
 * This function removes all duplicated lines of the given string.
 *
 * @param     string
 * @param     bool
 * @return    string
 */
function RemoveDuplicatedLinesByString($Lines, $IgnoreCase=false, $NewLine="\n"){
    if (is_array($Lines))
        $Lines = implode($NewLine, $Lines);
    $Lines = explode($NewLine, $Lines);
    $LineArray = array();
    $Duplicates = 0;
    // Go trough all lines of the given file
    for ($Line=0; $Line < count($Lines); $Line++){
        // Trim whitespace for the current line
        $CurrentLine = trim($Lines[$Line]);
        // Skip empty lines
        if ($CurrentLine == '')
            continue;
        // Use the line contents as array key
        $LineKey = $CurrentLine;
        if ($IgnoreCase)
            $LineKey = strtolower($LineKey)
        // Check if the array key already exists,
        // if not add it otherwise increase the counter
        if (!isset($LineArray[$LineKey]))
            $LineArray[$LineKey] = $CurrentLine;       
        else               
            $Duplicates++;
    }
    // Sort the array
    asort($LineArray);
    // Return how many lines got removed
    return implode($NewLine, array_values($LineArray));   
}
//使用范例：
// Example 1
// Removes all duplicated lines of the file definied in the first parameter.
$RemovedLinesCount = RemoveDuplicatedLines('test.txt');
print "Removed $RemovedLinesCount duplicate lines from the test.txt file.";
  
// Example 2 (Ignore case)
// Same as above, just ignores the line case.
RemoveDuplicatedLines('test.txt', true);
  
// Example 3 (Custom new line character)
// By using the 3rd parameter you can define which character
// should be used as new line indicator. In this case
// the example file looks like 'foo;bar;foo;foo' and will
// be replaced with 'foo;bar'
RemoveDuplicatedLines('test.txt', false, ';');
 
 
/***   代码来自php教程（www.idcnote.com）   ***/</code>

注：关于php 删除文本文件重复行的简单示例的内容就先介绍到这里，更多相关文章的可以留意

代码注释
上一篇JavaScript 操作字符串的解决办法下一篇PHP 实现Base64中英文编码、JavaScript解码的示例

作者：喵哥笔记

IDC笔记

学的不仅是技术，更是梦想！