发表自话题：沉默的真相解析
image.png
代码及数据下载链接见文章末尾
一、导库
这里主要用的库有数据科学相关的numpy, pandas， 正则表达式re库，中文分词的jieba库，以及画图相关的pycharts库等。另外，为了能够在jupyter lab中直接画图，需要设置一下环境变量，声明画图的环境。
# 数据科学 import numpy as np import pandas as pd # 正则表达式 import re import jieba # 画图相关 from pyecharts.charts import Pie, Bar, Map, Line, Page from pyecharts import options as opts from pyecharts.globals import SymbolType, WarningType WarningType.ShowWarning = False pd.options.display.max_rows = 1000 # 设置画图环境，jupyter lab 中直接画图 from pyecharts.globals import CurrentConfig, NotebookType CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB import stylecloud from IPython.display import Image # 用于在jupyter lab中显示本地图片 from collections import Counter二、读取数据
2.1、读入数据：
直接读取的豆瓣的评论数据
df = pd.read_excel('../数据/沉默的真相豆瓣短评.xlsx') print(df.shape) print(df.info())
image.png
查看读入数据的前几条。
df.head()
image.png
2.2、查看重复值和空值
让我们来看看是否有重复值和空值。
# 查看重复值和空值 print(df.duplicated().sum()) print(df.isnull().sum())
image.png
结果没有重复值，空值，省去了数据的清洗这一步了。
三、数据预处理
3.1、删除列：
删除地址栏这一列，对我们分析没有起到作用。
# 删除列 df = df.drop('page_url', axis=1)3.2、星级转换：
力荐，推荐，这些字符是纯中文的，没有明确的可量化比较的地方。所以将力荐，推荐，还行，较差，很差这些中文替换成星级的打分。
# 定义字典 def transform_rating(x): if x == '立荐': return '5星' elif x == '推荐': return '4星' elif x == '还行': return '3星' elif x == '较差': return '2星' elif x == '很差': return '1星' else: return '5星' # 异常值使用众数替换 # apply函数 df['rating_num'] = df.rating_num.apply(transform_rating)查看星级的统计情况：
df.rating_num.value_counts()
image.png
我们看到打5分的占到了绝大多数，说明这部电视剧的好评率还是蛮高的。
3.3、时间类型转换：
将时间转换到年月日，小时
comment_hour = df.comment_time.str.split(':').str[0] comment_hour = comment_hour.value_counts().sort_index() comment_hour[:5]
image.png
3.4、分词处理：
我们需要从评论中提取关键有用信息，所以要先对评论进行分词处理。同时对停用词进行过滤，减少噪音的干扰。
# 定义分词函数 def get_cut_words(content_series): # 读入停用词表 stop_words = [] with open(r"../数据/stopword.txt", 'r', encoding='utf-8') as f: lines = f.readlines() for line in lines: stop_words.append(line.strip()) # 添加关键词 my_words = ['廖凡', '严良', '白宇', '江阳', '谭卓', '李静', '宁理', '张超', '黄尧', '张晓倩' ] for i in my_words: jieba.add_word(i) # 自定义停用词 my_stop_words = ['真的', '这部', '这是', '一种'] stop_words.extend(my_stop_words) # 分词 word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False) # 条件筛选 word_num_selected = [i for i in word_num if i not in stop_words and len(i) >= 2] return word_num_selected四、可视化
4.1、星级分布情况：
让我们来具体看看星级的分布情况：
# 数据对 data_pair = [list(z) for z in zip(rating_num.index.tolist(), rating_num.values.tolist())] # 绘制饼图 pie1 = Pie(init_opts=opts.InitOpts(width='1350px', height='750px')) pie1.add('', data_pair=data_pair, radius=['35%', '60%']) pie1.set_global_opts(title_opts=opts.TitleOpts(title='总体评分分布'), legend_opts=opts.LegendOpts(orient='vertical', pos_top='15%', pos_right='2%')) pie1.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%")) pie1.set_colors(['#FF7F0E', '#1F77B4', '#2CA02C', '#D62728', '#946C8B']) pie1.load_javascript(); # 分号表示去除打印load_javascript（） 和 render_notebook（） 在jupyter lab中换行执行，这样可以直接在jupyter lab中画图
pie1.render_notebook()
image.png
5星好评率达到了92.8%，口碑爆棚啊，有没有。
4.2、评论时间走势
接下来，我们看看评论的时间分布情况。
# 选取数据 x_data = [i.replace('2020-','') for i in comment_hour.index] y_data = comment_hour.values.tolist() # 折线图 line1 = Line(init_opts=opts.InitOpts(width='1350px', height='750px')) line1.add_xaxis(x_data) line1.add_yaxis('', y_data, areastyle_opts=opts.AreaStyleOpts(opacity=0.5), markpoint_opts=opts.MarkPointOpts(data=[opts.MarkPointItem(type_="max")]), label_opts=opts.LabelOpts(is_show=False) ) line1.set_global_opts(title_opts=opts.TitleOpts(title='评论时间走势图'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate='60')), visualmap_opts=opts.VisualMapOpts(max_=30)) line1.set_series_opts(linestyle_opts=opts.LineStyleOpts(width=3)) line1.load_javascript();还是老规矩，换一行执行。
line1.render_notebook()
image.png
我们可以看到评论最多的时间集中在9月16日，这大概是《沉默的真相》刚上映没多久的时间。
4.3、绘制关键词词云
最后，我们看一下评论的词云绘制情况。
text = get_cut_words(content_series=df.short_comment) # 绘制词云图 stylecloud.gen_stylecloud(text=' '.join(text), max_words=1000, collocations=False, font_path=r'C:\Windows\Fonts\msyh.ttc', icon_name='fas fa-chart-pie', size=653, output_name='../数据/沉默的真相-豆瓣短评.png') Image(filename='../数据/沉默的真相-豆瓣短评.png')
image.png
可以看到，最关键的几个词是江阳，是案情的受害者，演技说明大家对这部戏的普遍的演员演技讨论的很多，看来是非常认可演技啊。原著和还原，说的是这部戏从小说改编过来。
资料下载：
源码下载：源码下载
数据下载：数据下载
停用词下载：停用词下载
标签组：[大数据]
上一篇：沉默的真相剧评
