要同时爬取多个网站,可以使用Python的多线程或多进程,这里以多线程为例,使用requests
库进行网络请求,使用BeautifulSoup
库进行网页解析。
安装所需库:
pip install requests pip install beautifulsoup4
接下来,编写爬虫代码:
import requests from bs4 import BeautifulSoup import threading 定义一个函数,用于爬取单个网站 def crawl(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 在这里添加你需要提取的数据,例如提取所有的标题 titles = soup.find_all('h1') for title in titles: print(title.text) 定义一个函数,用于启动多个线程 def start_threads(urls): threads = [] for url in urls: thread = threading.Thread(target=crawl, args=(url,)) thread.start() threads.append(thread) for thread in threads: thread.join() 定义需要爬取的网站列表 urls = [ 'https://www.example1.com', 'https://www.example2.com', 'https://www.example3.com', ] 调用函数,开始爬取 start_threads(urls)
这个示例中,我们定义了一个crawl
函数,用于爬取单个网站,我们定义了一个start_threads
函数,用于启动多个线程,我们定义了一个需要爬取的网站列表,并调用start_threads
函数开始爬取。
注意:在实际应用中,请确保遵守网站的爬虫政策,不要对网站造成过大的访问压力。
最新评论
本站CDN与莫名CDN同款、亚太CDN、速度还不错,值得推荐。
感谢推荐我们公司产品、有什么活动会第一时间公布!
我在用这类站群服务器、还可以. 用很多年了。