Python網絡爬蟲及數據采集技術

Python網絡爬蟲及數據采集技術課程/講師盡在Python網絡爬蟲及數據采集技術專題,Python網絡爬蟲及數據采集技術公開課北上廣深等地每月開課！Python網絡爬蟲及數據采集技術在線直播課程（免費試聽）。專家微信18749492090，講師手機13522550408，百度搜索“交廣國際管理咨詢”了解更多。

課程大綱

第一講 網絡爬蟲基礎
1.什么是網絡爬蟲
2.瀏覽網頁的過程
3.URL的含義
4. 環境的配置

第二講 Python爬蟲基礎知識
1.Python爬蟲基礎學習
2.Python urllib和urllib2 庫的用法
3.Python 正則表達式
4.BeautifulSoup簡介
5.爬蟲框架Scrapy

第三講 Urllib庫的基本使用
1.網頁爬取示例
2.網頁爬取方法
3.構造Requset
4.POST和GET數據傳送

第四講 Urllib庫的高級用法
1.設置Headers
2. Proxy（代理）的設置
3.Timeout 設置
4.HTTP的PUT和DELETE方法
5.使用DebugLog

第五講 正則表達式
1.了解正則表達式
2.正則表達式的語法規則
3.正則表達式相關注解
4.Python Re模塊

第六講 Beautiful Soup的用法
1. Beautiful Soup的簡介
2. Beautiful Soup 安裝
3. 創建 BeautifulSoup 對象
4. Beautiful Soup對象種類
5. 遍歷文檔樹

第七講 開始采集
1.遍歷單個域名
2.采集整個網站
3.通過互聯網采集
4.用Scrapy采集
5.幾個示例

第八講 存儲數據和讀取文檔
1.媒體文件
2.把數據存儲到CSV
3.MySQL與Python整合
4.讀取純文本和CSV文檔
5.讀取Word和.docx

第九講 自然語言處理基礎
1.概括數據
2.馬爾可夫模型
3.自然語言工具包
4.用NLTK做統計分析
5.用NLTK做詞性分析

第十講 用爬蟲測試網站
1.測試簡介
2.Python單元測試
3.Selenium單元測試
4.Python單元測試與Selenium單元測試的選擇

四、培訓目標
1，全面了解Python爬蟲的相關知識。
2，學習Python爬蟲的核心技術方法以及應用特征。
3，深入使用Python在網絡數據采集中的使用。