V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
veike

V 站的中分分词怎么能做到如此之快的

  •  
  •   veike · Mar 26, 2019 · 23905 views
    This topic created in 2599 days ago, the information mentioned may be changed or developed.

    目前使用了 php jieba 分词,加载了自己的词库,14 万行的词库,速度太慢。 有什么好的解决方法吗?

    2 replies    2020-08-28 00:27:24 +08:00
    veike
        1
    veike  
    OP
       Mar 26, 2019
    那我就自问自答一波了。使用 swoole 搭建一个 http 服务器,加载字典的步骤在启动 swoole http 服务器的时候就执行。速度杠杠的。swoole 太牛逼了。现在别说 100000 行的字典,20 万行的字典都没有问题了。
    KalaSearch
        2
    KalaSearch  
       Aug 28, 2020
    好久的贴,顺手答一波

    词库加载速度和分词速度应该分开来算,词库一般加载后就 singleton 一直用了。单个分词速度可以试试不同分词器来算一下。

    如果分词的作用是做搜索的话,我会建议

    1. 不要把分词搞太复杂,需要高精度分词才能达到优秀结果的搜索引擎体验不会好
    2. 主要把工作在索引的时候做完

    如果感觉分词头疼,就是需要个搜索引擎用,也懒得维护个 ES 之类,可以考虑我们做的卡拉搜索
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   972 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:13 · PVG 03:13 · LAX 12:13 · JFK 15:13
    ♥ Do have faith in what you're doing.