Python爬蟲 爬蟲數(shù)據(jù)去重方案
一.課程介紹
爬蟲中的去重處理課程介紹.mp4
二.去重應(yīng)用場(chǎng)景及其基本原理
2.爬蟲中的去重應(yīng)用場(chǎng)景.mp4
3.去重原理之判斷依據(jù).mp4
4.去重原理之去重容器.mp4
5.判斷依據(jù)之原始數(shù)據(jù)與原始數(shù)據(jù)特征.mp4
6.去重容器類型介紹.mp4

三.基于信息摘要算法的去重
9.去重過濾器基類實(shí)現(xiàn).mp4
8.信息摘要算法實(shí)現(xiàn)方案介紹.mp4
7.信息摘要算法介紹.mp4
14.優(yōu)化基于mysq|實(shí)現(xiàn)的去重過濾器mp4
13.實(shí)現(xiàn)并測(cè)試基于mysql的去重過濾器mp4
12 .實(shí)現(xiàn)并測(cè)試基于redis中無序集合的去重過濾器.mp4
11.測(cè)試基于python中set的去重過濾器.mp4
10.實(shí)現(xiàn)基于python中set的去重過濾器.mp4

四.基于simhash算法的去重
15.simhash算法去重方案及其應(yīng)用場(chǎng)景介紹.mp4
16.基于simhash算法的去重原理.mp4
17.simhash模塊使用(- - ) .mp4
18.simhash模塊使用(二).mp4

五.布隆過濾器原理與實(shí)現(xiàn)
19.布隆過濾器介紹.mp4
20.布隆過濾器實(shí)現(xiàn)原理.mp4
21.布隆過濾器實(shí)現(xiàn)原理補(bǔ)充.mp4
22.pybloom模塊介紹.mp4
23.redis版布隆過濾器實(shí)現(xiàn)之計(jì)算多個(gè)hash值.mp4
24.redis版布隆過濾器實(shí)現(xiàn)之hash表的原理.mp4
25.redis版布隆過濾器實(shí)現(xiàn)之模塊封裝. mp4

六.總結(jié)