基于bert的文本相似度 如何用python計(jì)算文本的相似度？
如何用python計(jì)算文本的相似度？第1步：將每個(gè)網(wǎng)頁文本分成單詞，形成一袋單詞。第三步：統(tǒng)計(jì)網(wǎng)頁（文檔）總數(shù)M。第三步：統(tǒng)計(jì)第一個(gè)網(wǎng)頁n中的字?jǐn)?shù)，計(jì)算第一個(gè)網(wǎng)頁的第一個(gè)字在網(wǎng)頁n中出現(xiàn)的次數(shù)，然后計(jì)
如何用python計(jì)算文本的相似度？
第1步：將每個(gè)網(wǎng)頁文本分成單詞，形成一袋單詞。第三步：統(tǒng)計(jì)網(wǎng)頁（文檔）總數(shù)M。第三步：統(tǒng)計(jì)第一個(gè)網(wǎng)頁n中的字?jǐn)?shù)，計(jì)算第一個(gè)網(wǎng)頁的第一個(gè)字在網(wǎng)頁n中出現(xiàn)的次數(shù)，然后計(jì)算出該字在所有文檔M中出現(xiàn)的次數(shù)，則該字的TF IDF為：n/n*1/（M/M）（還有其他規(guī)范化公式，這里是最基本、最直觀的公式）。第四步：重復(fù)第三步計(jì)算網(wǎng)頁中所有單詞的TF-IDF。第五步：重復(fù)第四步計(jì)算所有網(wǎng)頁中每個(gè)單詞的TF-IDF值。三。用戶查詢處理的第一步：用戶查詢的分詞。第二步是根據(jù)web數(shù)據(jù)庫（文檔）的數(shù)據(jù)計(jì)算用戶查詢中每個(gè)詞的TF-IDF值。4余弦相似度用于計(jì)算用戶查詢與每個(gè)網(wǎng)頁之間的夾角。角度越小，越相似。