本發(fā)明公開了以互聯(lián)網(wǎng)重復文檔反作弊需求為背景，以Simhash算法為文檔判重的核心算法為基礎對該算法獲取文檔特征的過程進行改進，將單詞意義作為衡量單詞權重的一個考量因素;針對64位文檔Simhash簽名，提供用戶維度、全文維度和黑庫維度的文檔判重服務，并可基于全文和段落兩種粒度進行文檔相似性比較；從理論上分析，文檔失效時間設置的越長，其在存儲系統(tǒng)中存儲的時間就越長，存儲空間變大，影響查詢效率，因此對請求耗時有影響;這也是系統(tǒng)設置對冷熱數(shù)據(jù)進行處理的原因。