Python爬蟲 爬蟲請求管理
一.課程介紹
1.爬蟲中的請求管理課程概要.mp4
二.請求管理簡介

2.請求管理簡介.mp4
3.請求去重管理簡介.mp4
4.去重方案代碼調(diào)用.mp4
5.請求去重的判斷依據(jù)與實(shí)現(xiàn)邏輯.mp4
6.請求去重代碼初步實(shí)現(xiàn).mp4
7.請求判斷依據(jù)數(shù)據(jù)處理邏輯分析.mp4
8.請求判斷依據(jù)數(shù)據(jù)處理邏輯實(shí)現(xiàn).mp4
9.請求去重模塊測試(一) .mp4
10.請求去重模塊測試(二) .mp4
11.請求緩沖與調(diào)度管理分析.mp4
12.請求調(diào)度原理分析.mp4
三.隊(duì)列與Python
13.python中臨時(shí)隊(duì)列介紹.mp4
14.python中持久化隊(duì)列介紹.mp4
15.基于redis實(shí)現(xiàn)隊(duì)列的原理. mp4
16.基于redis實(shí)現(xiàn)FIFO、LIFO隊(duì)列.mp4
17.基于redis實(shí)現(xiàn)優(yōu)先級隊(duì)列的原理.mp4
18.基于redis的優(yōu)先級隊(duì)列實(shí)現(xiàn).mp4
19.redis共享資源競爭問題.mp4
20.redis共享資源競爭問題解決方案.mp4
21.redis分布式鎖實(shí)現(xiàn)原理.mp4
22.redis分布式鎖注意實(shí)現(xiàn)以及死鎖.mp4
23.redis分布式鎖實(shí)現(xiàn).mp4
24.redis分布式鎖使用測試與bug調(diào)試.mp4
25.redis分布式鎖實(shí)現(xiàn)(補(bǔ)充) .mp4
26.解決redis優(yōu)先級隊(duì)列中的資源競爭問題.mp4
27.redis優(yōu)先級隊(duì)列測試與總結(jié).mp4
28.請求管理整體實(shí)現(xiàn)方案分析.mp4
29.請求管理代碼實(shí)現(xiàn)分析.mp4
30.請求管理模塊使用測試.mp4

四.消息隊(duì)列與Python
32.消息隊(duì)列介紹.mp4
33.kafka工作原理介紹(一) .mp4
34.kafka工作原理介紹(二) .mp4
35.kafka工作原理介紹(三) .mp4
36.kafka工作環(huán)境搭建介紹.mp4
37.利用docker-compose啟動(dòng)kafka.mp4
38.confluent-kafka-python安裝與使用.mp4
39.Docker中利用橋接網(wǎng)絡(luò)模式啟動(dòng)kafka.mp4
40.kafka的分區(qū)特征介紹.mp4
41.向指定的分區(qū)生產(chǎn)和消費(fèi)數(shù)據(jù)mp4
42.kafka的消費(fèi)者組的特征.mp4
43.kafka中消費(fèi)者數(shù)量與topic分區(qū)數(shù)之間的關(guān)系.mp4
44.abbitmq工作原理介紹.mp4
45.rabbitmq工作環(huán)境搭建介紹.mp4
46.基于pika實(shí)現(xiàn)生產(chǎn)者與消費(fèi)者.mp4
47.rabbitmq中隊(duì)列的特征.mp4
48.rabbitmq中消費(fèi)者的ack確認(rèn)機(jī)制.mp4
49.rabbitmq中的直連交換機(jī).mp4
50.rabbitmq中的主題交換機(jī).mp4
51.rabbitmq中的扇形交換機(jī).mp4
52.rabbitmq中的首部交換機(jī).mp4
53.消息隊(duì)列與請求管理實(shí)現(xiàn)總結(jié).mp4

五.斷點(diǎn)績爬與增量抓取
54.利用請求管理實(shí)現(xiàn)斷點(diǎn)續(xù)爬、增量抓取的思路分析.mp4

六.總結(jié)