Home » Uncategorized » python 敏感词过滤

python 敏感词过滤

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/isoleo/article/details/72379829

敏感词过滤的经典算法DFA ,做了评估实验

先上代码

[python]  view plain copy

  1. #!/usr/bin/python2.6  
  2. # -*- coding: utf-8 -*-
  3. import time
  4. class Node(object):
  5.     def __init__(self):
  6.         self.children = None
  7. # The encode of word is UTF-8
  8. def add_word(root,word):
  9.     node = root
  10.     for i in range(len(word)):
  11.         if node.children == None:
  12.             node.children = {}
  13.             node.children[word[i] ] = Node()
  14.         elif word[i]  not in node.children:
  15.             node.children[word[i] ] = Node()
  16.         node = node.children[word[i]
  17. def init(path):
  18.     root = Node()
  19.     fp = open(path,‘r’)
  20.     for line in fp:
  21.         line = line[0:-1]
  22.         #print len(line)
  23.         #print line
  24.         #print type(line)
  25.         add_word(root,line)
  26.     fp.close()
  27.     return root
  28. # The encode of word is UTF-8
  29. # The encode of message is UTF-8
  30. def is_contain(message, root):
  31.     for i in range(len(message)):
  32.         p = root
  33.         j = i
  34.         while (j<len(message) and p.children!=None and message[j]  in p.children):
  35.             p = p.children[message[j]
  36.             j = j + 1
  37.         if p.children==None:
  38.             #print ‘—word—‘,message[i:j]
  39.             return True
  40.     return False
  41. def dfa():
  42.     print ‘—————-dfa———–‘
  43.     root = init(‘/tmp/word.txt’)
  44.     message = ‘四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死’
  45.     #message = ‘不顾’
  46.     print ‘***message***’,len(message)
  47.     start_time = time.time()
  48.     for i in range(1000):
  49.         res = is_contain(message,root)
  50.         #print res
  51.     end_time = time.time()
  52.     print (end_time – start_time)
  53. def is_contain2(message,word_list):
  54.     for item in word_list:
  55.         if message.find(item)!=-1:
  56.             return True
  57.     return False
  58. def normal():
  59.     print ‘————normal————–‘
  60.     path = ‘/tmp/word.txt’
  61.     fp = open(path,‘r’)
  62.     word_list = []
  63.     message = ‘四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死’
  64.     print ‘***message***’,len(message)
  65.     for line in fp:
  66.         line = line[0:-1]
  67.         word_list.append(line)
  68.     fp.close()
  69.     print ‘The count of word:’,len(word_list)
  70.     start_time = time.time()
  71.     for i in range(1000):
  72.         res = is_contain2(message,word_list)
  73.         #print res
  74.     end_time = time.time()
  75.     print (end_time – start_time)
  76. if __name__ == ‘__main__’:
  77.     dfa()
  78.     normal()

测试结果:1) 敏感词 100个

—————-dfa———–
***message*** 224
0.325479984283
————normal————–
***message*** 224
The count of word: 100
0.107350111008

2) 敏感词 1000 个

—————-dfa———–
***message*** 224
0.324251890182
————normal————–
***message*** 224
The count of word: 1000
1.05939006805

从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法

下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为lenA;每个敏感词的长度相同,长度为lenB,敏感词的个数是m。

1) DFA算法的核心是构建一棵多叉树,由于我们已经假设,敏感词的长度相同,所以树的最大深度为lenB,那么我们可以说从消息文本的某个位置(字节)开始的某个子串是否在敏感词树中,最多只用经过lenB次匹配.也就是说判断一个消息文本中是否有敏感词的时间复杂度是lenA * lenB

2) 再来看看普通做法,是使用for循环,对每一个敏感词,依次在消息文本中进行查找,假定字符串是使用KMP算法,KMP算法的时间复杂度是O(lenA + lenB)

那么对m个敏感词查找的时间复杂度是 (lenA + lenB ) * m

综上所述,DFA 算法的时间复杂度基本上是与敏感词的个数无关的

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*