搜索引擎常用的中文分詞的方法有哪些？中文分詞算法可以分為兩類。A.第一類是基于字符串匹配，即掃描字符串。如果發(fā)現(xiàn)字符串的子字符串與單詞相同，則視為匹配。這種分詞方法通常會加入一些啟發(fā)式規(guī)則，如“正向/

搜索引擎常用的中文分詞的方法有哪些？

中文分詞算法可以分為兩類。A.第一類是基于字符串匹配，即掃描字符串。如果發(fā)現(xiàn)字符串的子字符串與單詞相同，則視為匹配。這種分詞方法通常會加入一些啟發(fā)式規(guī)則，如“正向/反向最大匹配”、“長詞優(yōu)先”等。該算法具有分塊速度快、時間復(fù)雜度O（n）、實現(xiàn)簡單、效果可接受等優(yōu)點。也有不足之處，即歧義和生詞處理不好。b、 第二種是基于統(tǒng)計和機器學(xué)習(xí)。這種切分是基于人工標(biāo)注的詞性和統(tǒng)計特征，即根據(jù)觀測數(shù)據(jù)（標(biāo)注語料庫）估計模型參數(shù)，即訓(xùn)練。在分割階段，利用該模型計算各種分割的概率，以概率最大的分割結(jié)果作為最終結(jié)果。常見的序列注釋模型有HMM和CRF。這種分詞算法能夠很好地處理歧義和未知詞，分詞效果優(yōu)于前者，但需要大量的人工標(biāo)注數(shù)據(jù)，分詞速度慢。