说到写爬虫程序,很多语言都可以写。其中python对新手特别友好,因为门槛低,自带的函数好用。所以现在很多人都开始自学python了
众所周知,爬虫分为4大步骤
- 指定url url = "网址"
- 发起请求 requests.get()
- 获取响应数据
- 持久化存储
以前可能调用的是urllib,自从有了requests之后,便取代了前者的地位。requests的作用是模拟浏览器发出请求,发出请求是爬虫的第一步,有了requests之后,便可用简单的代码就能实现发出请求的功能,如下:
import requests #首先调用requests
url = “想要爬去的网址”
a = requests.get(url = url)
requests.get会返回一个响应对象,有了对象之后需要的是把他保存下来,所以接下来的代码就是把它保存起来
text = a.text
print(text)
with open(./'保存的名字.text‘,'w',encoding='utf-8') as fp:
fp.write(text)
with open 括号里面的./表示的是保存到当前根目录下。第一个’‘里面写入的是文件名字和后缀,第二个’‘里面的是类型,第三个’‘里面的是字符编码,最后输出出来。
完整版代码如下:

没想到爬我自己的网站一下就成功了, 从而我也知道了我的网站是有多么脆弱,要是被谁攻击的话肯定立马就崩溃了,,不过这个辣鸡网站也没人会没事做攻击着玩叭(?笑
最后附一张网站的截图

比起刚接触python的时候我个人感觉还是有进步的,循序渐进慢慢来就好,之前看的教程一下变难了就换了一个up主的教学视频从头学,个人推荐有了一点点基础后再看这个up主的。