c++教程 如何用Python中的NLTK對(duì)中文進(jìn)行分析和處理?
如何用Python中的NLTK對(duì)中文進(jìn)行分析和處理?我覺得nltk完全可以用來對(duì)付中文。重點(diǎn)研究了漢語(yǔ)分詞和文本表達(dá)的形式。中文和英文的主要區(qū)別是中文需要分詞。由于nltk的處理粒度一般都是單詞,所以
如何用Python中的NLTK對(duì)中文進(jìn)行分析和處理?
我覺得nltk完全可以用來對(duì)付中文。重點(diǎn)研究了漢語(yǔ)分詞和文本表達(dá)的形式。
中文和英文的主要區(qū)別是中文需要分詞。由于nltk的處理粒度一般都是單詞,所以我們必須先對(duì)文本進(jìn)行切分,然后使用nltk進(jìn)行處理(我們不需要使用nltk進(jìn)行分詞,直接使用分詞包即可)。認(rèn)真推薦口吃分詞,非常好用)。
中文分詞后,文本是一個(gè)長(zhǎng)的單詞數(shù)組:[word1,word2,Word3 wordn],然后您可以使用nltk中的各種方法來處理文本。例如,使用freqdist計(jì)算文本的詞頻,使用bigrams將文本更改為兩個(gè)短語(yǔ)的形式:[(word1,word2),(word2,Word3),(Word3,word4)(wordn-1,wordn)]