要爬取知乎,可以使用Python的第三方库requests
和BeautifulSoup
,以下是详细的步骤:
1、安装所需库
pip install requests pip install beautifulsoup4
2、导入所需库
import requests from bs4 import BeautifulSoup
3、获取网页内容
def get_html(url): headers = { 'UserAgent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: return None
4、解析网页内容
def parse_html(html): soup = BeautifulSoup(html, 'lxml') items = soup.find_all('div', class_='Listitem') for item in items: title = item.find('h2').get_text() link = item.find('a')['href'] content = item.find('div', class_='RichContentinner').get_text().strip() print(title, link, content)
5、主函数
def main(): url = 'https://www.zhihu.com/explore' html = get_html(url) if html: parse_html(html) else: print('获取网页失败') if __name__ == '__main__': main()
这个程序会爬取知乎首页的文章标题、链接和内容,你可以根据需要修改代码以爬取其他页面或提取更多信息。
最新评论
本站CDN与莫名CDN同款、亚太CDN、速度还不错,值得推荐。
感谢推荐我们公司产品、有什么活动会第一时间公布!
我在用这类站群服务器、还可以. 用很多年了。