xunsearch(迅搜)论坛
英文黑词的问题 - 可打印的版本

+- xunsearch(迅搜)论坛 (http://bbs.xunsearch.com)
+-- 版块: xunsearch 讨论区 (/forumdisplay.php?fid=2)
+--- 版块: SCWS 中文分词系统 (/forumdisplay.php?fid=8)
+--- 主题: 英文黑词的问题 (/showthread.php?tid=6213)



英文黑词的问题 - psea - 2016年06月01日 13:38

我的场景是用scws做黑词(敏感词)检查。
将涉及的黑词做成字库,词性为自定义的*。

但这边发现一个问题,如果黑词在英文单词,是无法检查出来的。
(无法与普通英文单词区别开)

如"fuck you",其中fuck是敏感词,但you不是。
但scws取出的结果中,两者都有,且词性都为en

有没办法,对词库中没有的英文/数字,不做提取吗?