九九热线视频精品99-动漫高h纯肉无码视频在线观看-午夜理论无码片在线观看免费-99精品国产在热久久无码-亚洲国产成人乱码

TF-IDF算法及其對關鍵詞布局方面的權重分布

2014/6/26 14:16:39   閱讀:10503    發布者:10503
概念
TF-IDF(term frequency–inverse document frequency)是一種用于資訊檢索與資訊探勘的常用加權技術。TF-IDF是一種統計方法,用以評估一字詞對于一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加,但同時會隨著它在語料庫中出現的頻率成反比下降。TF-IDF加權的各種形式常被搜尋引擎應用,作為文件與用戶查詢之間相關程度的度量或評級。除了TF-IDF以外,因特網上的搜尋引擎還會使用基于連結分析的評級方法,以確定文件在搜尋結果中出現的順序。

原理
在一份給定的文件里,詞頻 (term frequency, TF) 指的是某一個給定的詞語在該文件中出現的次數。這個數字通常會被歸一化(分子一般小于分母 區別于IDF),以防止它偏向長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞頻,而不管該詞語重要與否。)
逆向文件頻率 (inverse document frequency, IDF) 是一個詞語普遍重要性的度量。某一特定詞語的IDF,可以由總文件數目除以包含該詞語之文件的數目,再將得到的商取對數得到。
某一特定文件內的高詞語頻率,以及該詞語在整個文件集合中的低文件頻率,可以產生出高權重的TF-IDF。因此,TF-IDF傾向于過濾掉常見的詞語,保留重要的詞語。
TFIDF的主要思想是:如果某個詞或短語在一篇文章中出現的頻率TF高,并且在其他文章中很少出現,則認為此詞或者短語具有很好的類別區分能力,適合用來分類。TFIDF實際上是:TF * IDF,TF詞頻(Term Frequency),IDF反文檔頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現的頻率(另一說:TF詞頻(Term Frequency)指的是某一個給定的詞語在該文件中出現的次數)。IDF的主要思想是:如果包含詞條t的文檔越少,也就是n越小,IDF越大,則說明詞條t具有很好的類別區分能力。如果某一類文檔C中包含詞條t的文檔數為m,而其它類包含t的文檔總數為k,顯然所有包含t的文檔數n=m+k,當m大的時候,n也大,按照IDF公式得到的IDF的值會小,就說明該詞條t類別區分能力不強。(另一說:IDF反文檔頻率(Inverse Document Frequency)是指果包含詞條的文檔越少,IDF越大,則說明詞條具有很好的類別區分能力。)但是實際上,如果一個詞條在一個類的文檔中頻繁出現,則說明該詞條能夠很好代表這個類的文本的特征,這樣的詞條應該給它們賦予較高的權重,并選來作為該類文本的特征詞以區別與其它類文檔。這就是IDF的不足之處.
在一份給定的文件里,詞頻(term frequency,TF)指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數(term count)的歸一化,以防止它偏向長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。)對于在某一特定文件里的詞語
主站蜘蛛池模板: 精品一卡二卡三卡四卡网站| 超级大爆乳奶牛被调教出奶水| 东京热大乱系列无码| 伊人色综合久久天天小片| 成人欧美一区二区三区黑人免费| 日本疯狂爆乳xxxx| 人人婷婷人人澡人人爽| 又色又爽又黄的gif动态图| 久久久一本精品99久久精品66直播| 亚洲国产av玩弄放荡人妇| 人人草人人做人人爱| 在线 国产 欧美 亚洲 天堂| 亚洲一卡2卡3卡4卡精品| 久久综合亚洲色一区二区三区| 久久精品无码一区二区小草| 国产在线精品一区二区在线观看| 99视频偷窥在线精品国自产拍| 一区二区三区高清视频一| 丰满少妇女裸体bbw| 亚洲欧洲日产国产 最新 | 五月激情婷婷丁香综合基地| 无翼乌工口肉肉无遮挡无码18| 久久久久久久精品成人热色戒汤唯| 国产精品无码久久av| 久久精品国产99国产电影网| 亚洲国产欧美日韩图片在线人成| 国产无遮挡又黄又爽网站| 97超级碰碰碰免费公开在线观看| 色猫咪av在线观看| 亚洲gv猛男gv无码男同| 国产精品亚洲精品一区二区| 欧美亚洲综合另类色妞网| 国产亚洲欧美在线观看| 免费人成视频x8x8入口| 最新亚洲人成网站在线观看| 狠狠色成人一区二区三区| 欲香欲色天天综合和网| 奇米影视7777狠狠狠狠影视| 亚洲乱码日产精品bd在线| 男女猛烈xx00免费视频试看 | 欧美日韩国产码高清|