（点击上方公众号，可快速关注一起学Python）
作者：公众号-日常学Python 来源：
https://mp.weixin.qq.com/s/Xl5AQm489MLOrI5y0mSEag
在简单学习了python爬虫后，又想继续折腾，进而找到了这个网易云音乐，因为本人平时就是用它听的歌，也喜欢看歌里的评论，所以就爬网易云音乐评论吧，那么开始吧！
首先还是去找目标网页并开始分析网页结构，如下
上面的三个箭头都是所要找的数据，分别是评论用户，评论和点赞数，都可以用正则表达式找出来，接下来继续找怎样找到下一页的数据，还是用开发者工具，但是当点击下一页的时候，网页的url没有变，说明网页是动态加载，所以就不能在当前网页找数据了，应该在他的xhr文件里找，所以点入network看看，然后也点击下一页一看，果然有想要的
看到这里，就兴奋地去敲代码了
一点击运行，结果什么东西都没有，但是他的状态码是200，明显请求成功啊，却没有东西返回，再去network仔细看看这个网页，看到他是个post请求，也看到了需要post两个参数params和ensSecKey
一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析
现在开始敲代码吧，先把上面的两个参数复制过来看看。
现在把每条评论的评论用户和点赞数和评论获取出来
可以看到，利用json.loads()方法把数据转成python格式里的字典后就可以把想要的数据取出来了，但是，下一页怎样取？总不能每次都复制粘贴那两个参数吧？那唯一的方法就是不爬了。。怎么可能？我的继续，那我就要进行破解这两个参数了，那好继续看 network， 因为要加密，肯定要用js进行加密的
看到刚才那个网站的发起者core.js,,然后把它文件下载下来慢慢研究
保存后在经过美化，然后进行查找那个encSecKey参数（ps:JSj’e’tong’yang’de美化网址为 www.css88.com/tool/js_bea…
看到window.asrsea()方法有四个参数，先不去管这个函数，先看看他的四个参数是什什，这里没必要去研究那四个参数怎样来的，只需要知道他是什么，那么我们可以加点代码上去让他显示出来，从而利用fiddler来进行调试
加入代码如下
可以分别获取上面的每一个参数，也把那个params获取看看，然后在fiddler上操作如下
完成上面的设置后刷新网页就可以在console上面找到参数信息，如果没有的话这是因为你之前浏览该网页的时候它被缓存了下来，所以要清除缓存文件（在清除浏览器记录里面有）
那个rid有本歌曲的id，明显是与评论有关的，我试着连翻几页后，发现那个offset就是评论偏移数，offset就是(页数-1)*20，total在第一页是true，在其他页是false
第三个参数为：
00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7
第四个参数为：0CoJUm6Qyw8W8jud
接下来就要看window.asrsea()方法是什么操作的了，还是通过查找js文件可以看到这个
通过研究i是随机获取十六个字符而b函数是 AES加密 ，其中偏移量为 0102030405060708 ，模式为 CBC ，看回d函数，其中 params连续两次加密，第一次加密时， 文本为第一个参数。密钥为第四个参数，第二次加密时文本为第一次加密的值，密钥为随机数a。而encS ec key是一个RSA加密，他的公钥是第二个参数，模式是第三个参数，文本为那个随机字符串a
终于分析完了，接着开始敲代码
先来个获取第一页评论的代码
这是获取两个参数的类
# 找出post的两个参数params和encSecKey
class WangYiYun():
def __init__(self):
# 在网易云获取的三个参数
self.first_param = '{rid: "R_SO_4_400162138", offset: "9360", total: "true", limit: "20", csrf_token: ""}'
self.second_param = '010001'
self.third_param = '00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7'
self.fourth_param = '0CoJUm6Qyw8W8jud'
def create_random_16(self):
'''获取随机十六个字母拼接成的字符串'''
return (''.join(map(lambda xx: (hex(ord(xx))[2:]), str(os.urandom(16)))))[0:16]
def aesEncrypt(self, text, key):
# 偏移量
iv = '0102030405060708'
# 文本
pad = 16 - len(text) % 16
text = text + pad * chr(pad)
encryptor = AES.new(key, 2, iv)
ciphertext = encryptor.encrypt(text)
ciphertext = base64.b64encode(ciphertext)
return ciphertext
def get_params(self,text,page):
'''获取网易云第一个参数'''
# 第一个参数
text = self.create_random_16()
params = self.aesEncrypt(self.first_param, self.fourth_param)
params = self.aesEncrypt(params, text)
return params
def rsaEncrypt(self, pubKey, text, modulus):
'''进行rsa加密'''
text = text[::-1]
rs = int(codecs.encode(text.encode('utf-8'), 'hex_codec'), 16) ** int(pubKey, 16) % int(modulus, 16)
return format(rs, 'x').zfill(256)
def get_encSEcKey(self,text):
'''获取第二个参数'''
text = self.create_random_16()
pubKey = self.second_param
moudulus = self.third_param
encSecKey = self.rsaEncrypt(pubKey, text, moudulus)
return encSecKey这是解析网易云音乐和获取评论的类
# 爬取网易云音乐评论并把他们存入mysql数据库
# 如果评论太多，会被封ip，这时需要加上代理ip
# 代码源自公众号日常学python
import requests,json,os
import base64
import codecs
from Crypto.Cipher import AES
import pymysql
class Spider():
def __init__(self):
self.header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
'Referer': 'http://music.163.com/'}
self.url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_531051217?csrf_token='
def __get_jsons(self,url,page):
# 获取两个参数
music = WangYiYun()
text = music.create_random_16()
params = music.get_params(text,page)
encSecKey = music.get_encSEcKey(text)
fromdata = {'params' : params,'encSecKey' : encSecKey}
jsons = requests.post(url, data=fromdata, headers=self.header)
#print(jsons.raise_for_status())
# 打印返回来的内容，是个json格式的
#print(jsons.content)
return jsons.text
def json2list(self,jsons):
'''把json转成字典，并把他重要的信息获取出来存入列表'''
# 可以用json.loads()把他转成字典
#print(json.loads(jsons.text))
users = json.loads(jsons)
comments = []
for user in users['comments']:
# print(user['user']['nickname']+' : '+user['content']+' 点赞数：'+str(user['likedCount']))
name = user['user']['nickname']
content = user['content']
# 点赞数
likedCount = user['likedCount']
user_dict = {'name': name, 'content': content, 'likedCount': likedCount}
comments.append(user_dict)
return comments
def write2sql(self,comments):
'''把评论写入数据库'''
music = Operate_SQL()
print('第%d页正在获取' % self.page)
for comment in comments:
#print(comment)
music.add_data(comment)
print(' 该页获取完成')
def run(self):
self.page = 1
while True:
jsons = self.__get_jsons(self.url,self.page)
comments = self.json2list(jsons)
print(comments[0])
# 当这一页的评论数少于20条时，证明已经获取完
self.write2sql(comments)
if len(comments) < 20:
print('评论已经获取完')
break
self.page +=1然而一点击运行，直接给我报了个错： TypeError: can’t concat str to bytes
原来是因为在第二次加密的时候，那个params是个byte类型，所以把他转成字符串类型就可以
params = self.aesEncrypt(self.first_param, self.fourth_param).decode('utf-8')再次点击运行，结果还是报错了： json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
这个报错因为我的json解析错了，回头调试一看， 网页返回的东西是空的，但他的状态码是200 ，这是什么鬼？接着我再试了把那两个参数的值直接复制和前面一样看看，结果运行成功，这就说明我的是加密过程错了，然后我就回去看了几篇，看不出什么错误，上网百度找到了这个知乎文章 https://zhuanlan.zhihu.com/p/32069543 ，我把她的代码复制过来运行下，结果是可以的，我就继续看看我和她的区别，原来我 在用那个16个随机字符的时候用错了，我在两个参数给了两个不同的，而是需要给共同一个的 ，看到这里，我就直接回去改了下，果然运行成功，代码我就不贴出来了，效果如下
接着是获取每一页的评论，而每一页与第一个参数的offset有关，其中的公式为 offse=(页数-1)*20 ，total在第一页是true，在其他页是false。
def get_params(self,text,page):
'''获取网易云第一个参数'''
# 第一个参数
if page == 1:
self.first_param = '{rid: "R_SO_4_400162138", offset: "0", total: "true", limit: "20", csrf_token: ""}'
else:
self.first_param = ('{rid: "R_SO_4_400162138", offset:%s, total: "false", limit: "20", csrf_token: ""}'%str((page-1)*20))
params = self.aesEncrypt(self.first_param, self.fourth_param).decode('utf-8')
params = self.aesEncrypt(params, text)
return params而写入数据库操作如下：
# 操作 mysql
class Operate_SQL():
# 连接数据库
def __get_conn(self):
try:
# 我用的的本地数据库，所以host是127.0.0.1
self.conn = pymysql.connect(host='127.0.0.1',user='root',passwd='19980129.jie',port=3306,db='music',charset='utf8mb4')
except Exception as e:
print(e, '数据库连接失败')
def __close_conn(self):
'''关闭数据库连接'''
try:
if self.conn:
self.conn.close()
except pymysql.Error as e:
print(e, '关闭数据库失败')
def add_data(self,comment):
'''增加一条数据到数据库'''
sql = 'INSERT INTO `comments`(`name`,`content`,`likedCount`) VALUE(%s,%s,%s)'
try:
self.__get_conn()
cursor = self.conn.cursor()
cursor.execute(sql, (comment['name'],comment['content'],comment['likedCount']))
self.conn.commit()
return 1
except AttributeError as e:
print(e,'添加数据失败')
# 添加失败就倒回数据
self.conn.rollback()
return 0
except pymysql.DataError as e:
print(e)
self.conn.rollback()
return 0
finally:
if cursor:
cursor.close()
self.__close_conn()接下来点运行就可以了，但是运行到第八页的时候出现了这个异常
raise errorclass(errno, errval)
pymysql.err.InternalError: (1366, “Incorrect string value: ‘xF0x9Fx92x94’ for column ‘content’ at row 1”)
原因是这条评论有个识别不了的表情，之后百度参考这篇文章
http://blog.csdn.net/HHTNAN/article/details/76769264?locationNum=9&fps=1
修改了数据库的编码方式，注意还要自己修改下创建数据库时的编码方式才可！
这是首页数据库效果
获取完成（家驹的歌评论这么少吗？不解）
终于完成了，虽然辛苦，但是值得，在这个过程中也学会了很多东西，在写这篇文章时参考了两篇文章，一个是知乎首个回答
https://www.zhihu.com/question/36081767/answer/140287795
另一个就是解密过程
https://github.com/cosven/cosven.github.io/issues/30。
完整代码GitHub地址：
https://github.com/SergioJune/wangyiyun_music
（完）
看完本文有收获？请转发分享给更多人
关注「Python那些事」，做全栈开发工程师