爬蟲在實際生活中還是十分常見的，比如說國內更大的爬蟲——百度。所以說爬蟲做的好就可以賺錢了。今天講的這個也很簡單，爬取網頁超鏈接，但是有前提那就是這是一張靜態的網頁，動態的網頁有點難搞，小編還不是很會，等學會了在分享給大家。

首先我們需要引入我們要用的包，這里我們使用了python里面自帶的包urllib.request是python操作url的包，re是python正則表達式的包首先我們寫一個獲取網頁源代碼的函數

然后我們就要寫一個提取出網頁源代碼的超鏈接的函數

接下來我們就可以測試一下了

我們就可以去看看url.txt里面的東西了

我們發現里面有很多不是url，那個是因為在編寫網頁的時候使用的是相對路徑，所以會出現這種情況。但是這并不影響我們分析頭條首頁的超鏈接，基本上都不是本站的連接，說明頭條的廣告業務有點繁忙，當然這只是小編的猜測，萬一頭條有很多的域名呢？