一、php版本
使用方法，将本keyword.php与关键词列表文件放在同一个文件夹，
原来的关键词列表是11.txt，去除重复关键词之后的列表为11_new。
keyword.php代码如下：
<?php
$file = file('11.txt');
$user2 = array_unique($file);
print_r($user2);
file_put_contents("11_new.txt", $user2);
?>
亲测无误。
二、python版本
"""
original.txt为原始数据列表，result.txt为去重后的数据列表
"""
def removeduplicate(filename):
with open(filename,'r') as f2:
lines = f2.readlines()
temp = list(set(lines))
print("文件去重成功，去重后的结果是{}".format(temp))
print("\n")
return temp
def text_save(filename, data):#filename为写入CSV文件的路径，data为要写入数据列表.
file = open(filename,'a')
for i in range(len(data)):
s = str(data[i]).replace('[','').replace(']','')#去除[],这两行按数据不同，可以选择
# s = s.replace("'",'').replace(',','') +'\n' #去除单引号，逗号，每行末尾追加换行符
file.write(s)
file.close()
print("保存文件成功")
data = removeduplicate("original.txt")
text_save("result.txt",data)