日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網營銷解決方案
比正則快N倍！這個庫簡直太香了！

FlashText 算法是由 Vikash Singh 于2017年發(fā)表的大規(guī)模關鍵詞替換算法，這個算法的時間復雜度僅由文本長度（N）決定，算法時間復雜度為O（N）。

而對于正則表達式的替換，算法時間復雜度還需要考慮被替換的關鍵詞數(shù)量（M），因此時間復雜度為O（MxN）。

簡而言之，基于FlashText算法的字符串替換比正則表達式替換快M倍以上，這個M是需要替換的關鍵詞數(shù)量，關鍵詞越多，F(xiàn)lashText算法的優(yōu)勢就越明顯。

下面就給大家介紹如何在 Python 中基于 flashtext 模塊使用 FlashText 算法進行字符串查找和替換，如果覺得對你的項目團隊很有幫助，請記得幫作者轉發(fā)一下哦。

1.準備

開始之前，你要確保Python和pip已經成功安裝在電腦上，如果沒有，可以訪問這篇文章：超詳細Python安裝指南 進行安裝。

(可選1) 如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內置了Python和pip.

(可選2) 此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點：Python 編程的最好搭檔—VSCode 詳細指南。

請選擇以下任一種方式輸入命令安裝依賴：

  • Windows 環(huán)境 打開 Cmd (開始-運行-CMD)。
  • MacOS 環(huán)境 打開 Terminal (command+空格輸入Terminal)。
  • 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal。
 
 
 
 
    
  
  
  
  
  1. pip install flashtext
    2.

2.基本使用

提取關鍵詞

一個最基本的提取關鍵詞的例子如下：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_processor.add_keyword('Big Apple', 'New York') 
    6. 
  
  
  
  
  6. keyword_processor.add_keyword('Bay Area') 
    7. 
  
  
  
  
  7. # 3. 處理目標句子并提取相應關鍵詞 
    8. 
  
  
  
  
  8. keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.') 
    9. 
  
  
  
  
  9. # 4. 結果 
    10. 
  
  
  
  
  10. print(keywords_found) 
    11. 
  
  
  
  
  11. # ['New York', 'Bay Area']
    12.

其中 add_keyword 的第一個參數(shù)代表需要被查找的關鍵詞，第二個參數(shù)是給這個關鍵詞一個別名，如果找到了則以別名顯示。

替換關鍵詞

如果你想要替換關鍵詞，只需要調用處理器的 replace_keywords 函數(shù)：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_processor.add_keyword('New Delhi', 'NCR region')
    6. 
  
  
  
  
  6. # 3. 替換關鍵詞 
    7. 
  
  
  
  
  7. new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.') 
    8. 
  
  
  
  
  8. # 4. 結果 
    9. 
  
  
  
  
  9. print(new_sentence) 
    10. 
  
  
  
  
  10. # 'I love New York and NCR region.'
    11.

關鍵詞大小寫敏感

如果你需要精確提取，識別大小寫字母，那么你可以在處理器初始化的時候設定 sensitive 參數(shù):

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器, 注意設置大小寫敏感(case_sensitive)為TRUE 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor(case_sensitive=True) 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_processor.add_keyword('Big Apple', 'New York') 
    6. 
  
  
  
  
  6. keyword_processor.add_keyword('Bay Area') 
    7. 
  
  
  
  
  7. # 3. 處理目標句子并提取相應關鍵詞 
    8. 
  
  
  
  
  8. keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.') 
    9. 
  
  
  
  
  9. # 4. 結果 
    10. 
  
  
  
  
  10. print(keywords_found) 
    11. 
  
  
  
  
  11. # ['Bay Area']
    12.

標記關鍵詞位置

如果你需要獲取關鍵詞在句子中的位置，在 extract_keywords 的時候添加 span_info=True 參數(shù)即可：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_processor.add_keyword('Big Apple', 'New York') 
    6. 
  
  
  
  
  6. keyword_processor.add_keyword('Bay Area') 
    7. 
  
  
  
  
  7. # 3. 處理目標句子并提取相應關鍵詞, 并標記關鍵詞的起始、終止位置 
    8. 
  
  
  
  
  8. keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True) 
    9. 
  
  
  
  
  9. # 4. 結果 
    10. 
  
  
  
  
  10. print(keywords_found) 
    11. 
  
  
  
  
  11. # [('New York', 7, 16), ('Bay Area', 21, 29)]
    12.

獲取目前所有的關鍵詞

如果你需要獲取當前已經添加的所有關鍵詞，只需要調用處理器的 get_all_keywords 函數(shù)：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_processor.add_keyword('j2ee', 'Java') 
    6. 
  
  
  
  
  6. keyword_processor.add_keyword('colour', 'color') 
    7. 
  
  
  
  
  7. # 3. 獲取所有關鍵詞 
    8. 
  
  
  
  
  8. keyword_processor.get_all_keywords() 
    9. 
  
  
  
  
  9. # output: {'colour': 'color', 'j2ee': 'Java'}
    10.

批量添加關鍵詞

批量添加關鍵詞有兩種方法，一種是通過詞典，一種是通過數(shù)組：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. （第一種）通過字典批量添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_dict = { 
    6. 
  
  
  
  
  6.     "java": ["java_2e", "java programing"], 
    7. 
  
  
  
  
  7.     "product management": ["PM", "product manager"] 
    8. 
  
  
  
  
  8. } 
    9. 
  
  
  
  
  9. keyword_processor.add_keywords_from_dict(keyword_dict) 
    10. 
  
  
  
  
  10. # 2. （第二種）通過數(shù)組批量添加關鍵詞 
    11. 
  
  
  
  
  11. keyword_processor.add_keywords_from_list(["java", "python"]) 
    12. 
  
  
  
  
  12. # 3. 第一種的提取效果如下 
    13. 
  
  
  
  
  13. keyword_processor.extract_keywords('I am a product manager for a java_2e platform') 
    14. 
  
  
  
  
  14. # output ['product management', 'java']
    15.

單一或批量刪除關鍵詞

刪除關鍵詞也非常簡單，和添加類似：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 通過字典批量添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_dict = { 
    6. 
  
  
  
  
  6.     "java": ["java_2e", "java programing"], 
    7. 
  
  
  
  
  7.     "product management": ["PM", "product manager"] 
    8. 
  
  
  
  
  8. } 
    9. 
  
  
  
  
  9. keyword_processor.add_keywords_from_dict(keyword_dict) 
    10. 
  
  
  
  
  10. # 3. 提取效果如下 
    11. 
  
  
  
  
  11. print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform')) 
    12. 
  
  
  
  
  12. # ['product management', 'java'] 
    13. 
  
  
  
  
  13. # 4. 單個刪除關鍵詞 
    14. 
  
  
  
  
  14. keyword_processor.remove_keyword('java_2e') 
    15. 
  
  
  
  
  15. # 5. 批量刪除關鍵詞，也是可以通過詞典或者數(shù)組的形式 
    16. 
  
  
  
  
  16. keyword_processor.remove_keywords_from_dict({"product management": ["PM"]}) 
    17. 
  
  
  
  
  17. keyword_processor.remove_keywords_from_list(["java programing"]) 
    18. 
  
  
  
  
  18. # 6. 刪除了java programing關鍵詞后的效果如下 
    19. 
  
  
  
  
  19. keyword_processor.extract_keywords('I am a product manager for a java_2e platform') 
    20. 
  
  
  
  
  20. # ['product management']
    21.

3.高級使用

支持額外信息

前面提到在添加關鍵詞的時候第二個參數(shù)為其別名，其實你不僅可以指示別名，還可以將額外信息放到第二個參數(shù)中：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. kp = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞并附帶額外信息 
    5. 
  
  
  
  
  5. kp.add_keyword('Taj Mahal', ('Monument', 'Taj Mahal')) 
    6. 
  
  
  
  
  6. kp.add_keyword('Delhi', ('Location', 'Delhi')) 
    7. 
  
  
  
  
  7. # 3. 效果如下 
    8. 
  
  
  
  
  8. kp.extract_keywords('Taj Mahal is in Delhi.') 
    9. 
  
  
  
  
  9. # [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]
    10.

這樣，在提取關鍵詞的時候，你還能拿到其他一些你想要在得到此關鍵詞時輸出的信息。

支持特殊單詞邊界

Flashtext 檢測的單詞邊界一般局限于 \w [A-Za-z0-9_] 外的任意字符，但是如果你想添加某些特殊字符作為單詞的一部分也是可以實現(xiàn)的：

 
 
 
 
    
  
  
  
  
  1. from flashtext import KeywordProcessor 
    2. 
  
  
  
  
  2. # 1. 初始化關鍵字處理器 
    3. 
  
  
  
  
  3. keyword_processor = KeywordProcessor() 
    4. 
  
  
  
  
  4. # 2. 添加關鍵詞 
    5. 
  
  
  
  
  5. keyword_processor.add_keyword('Big Apple') 
    6. 
  
  
  
  
  6. # 3. 正常效果 
    7. 
  
  
  
  
  7. print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.')) 
    8. 
  
  
  
  
  8. # ['Big Apple'] 
    9. 
  
  
  
  
  9. # 4. 將 '/' 作為單詞一部分 
    10. 
  
  
  
  
  10. keyword_processor.add_non_word_boundary('/') 
    11. 
  
  
  
  
  11. # 5. 優(yōu)化后的效果 
    12. 
  
  
  
  
  12. print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.')) 
    13. 
  
  
  
  
  13. # []
    14.

4.結尾

個人認為這個模塊已經滿足我們的基本使用了，如果你有一些該模塊提供的功能之外的使用需求，可以給 flashtext 貢獻代碼：

https://github.com/vi3k6i5/flashtext

附 FlashText 與正則相比 查詢關鍵詞 所花費的時間之比：

附 FlashText 與正則相比 替換關鍵詞 所花費的時間之比：


分享標題：比正則快N倍！這個庫簡直太香了！
新聞來源：http://m.5511xx.com/article/ccsogdi.html