使用Python將xml格式網(wǎng)站地圖轉(zhuǎn)為txt格式地圖

網(wǎng)站地圖(SiteMap)，也叫站點(diǎn)地圖，是把網(wǎng)站中所有頁(yè)面的鏈接都放在網(wǎng)頁(yè)上的網(wǎng)頁(yè)。搜索蜘蛛很喜歡網(wǎng)站地圖，SiteMap是網(wǎng)站所有鏈接的容器。許多網(wǎng)站連通的層次比較深，蜘蛛很難抓到，網(wǎng)站地圖可以方便搜索引擎蜘蛛抓取網(wǎng)站頁(yè)面，通過(guò)抓取網(wǎng)站頁(yè)面，清楚了解網(wǎng)站的結(jié)構(gòu)，網(wǎng)站地圖一般被命名為sitemap，為搜索引擎蜘蛛指引方向，增加對(duì)網(wǎng)站重要內(nèi)容頁(yè)面的收錄。

網(wǎng)站地圖格式一般是.xml格式的居多，那么如何將.xml文件轉(zhuǎn)為.txt格式呢?下面我們通過(guò)Python來(lái)實(shí)現(xiàn)。

# 導(dǎo)入requests模塊，用于獲取網(wǎng)站地圖源碼
import requests
# 導(dǎo)入正則表達(dá)式模塊，用于在xml網(wǎng)站地圖中獲取鏈接地址
import re

# 獲取傳智教育網(wǎng)站地圖源碼
sitemap_xml = requests.get('http://xamj520.com/sitemap/sitemap.xml').text
# 使用正則表達(dá)式匹配網(wǎng)站地圖中的鏈接
url = re.findall(r'<loc>(.*)</loc>', sitemap_xml)
# 使用join()函數(shù)在每條鏈接錢前面加個(gè)換行符
url_line = '\n'.join(str(url_one) for url_one in url)
# 將獲取的鏈接保存為sitemap.xml
open(r'sitemap.txt', 'w', encoding='utf-8').write(url_line)

猜你喜歡：

爬蟲(chóng)適合使用Mysql還是Mongdb？

什么是分布式爬蟲(chóng)？分布式爬蟲(chóng)實(shí)現(xiàn)方法

常用的反反爬蟲(chóng)應(yīng)對(duì)策略

Python爬蟲(chóng)被封禁如何應(yīng)對(duì)防爬策略?

傳智教育python培訓(xùn)課程