案例（五）电视剧《沉默的真相》数据分析

首页 > 科技 > 大数据 > 正文

2021-06-09

image.png

代码及数据下载链接见文章末尾

一、导库

这里主要用的库有数据科学相关的numpy, pandas，正则表达式re库，中文分词的jieba库，以及画图相关的pycharts库等。另外，为了能够在jupyter lab中直接画图，需要设置一下环境变量，声明画图的环境。

# 数据科学 import numpy as np import pandas as pd # 正则表达式 import re import jieba # 画图相关 from pyecharts.charts import Pie, Bar, Map, Line, Page from pyecharts import options as opts from pyecharts.globals import SymbolType, WarningType WarningType.ShowWarning = False pd.options.display.max_rows = 1000 # 设置画图环境，jupyter lab 中直接画图 from pyecharts.globals import CurrentConfig, NotebookType CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB import stylecloud from IPython.display import Image # 用于在jupyter lab中显示本地图片 from collections import Counter

二、读取数据

2.1、读入数据：

直接读取的豆瓣的评论数据

df = pd.read_excel('../数据/沉默的真相豆瓣短评.xlsx') print(df.shape) print(df.info())

image.png

查看读入数据的前几条。

df.head()

image.png

2.2、查看重复值和空值

让我们来看看是否有重复值和空值。

# 查看重复值和空值 print(df.duplicated().sum()) print(df.isnull().sum())

image.png

结果没有重复值，空值，省去了数据的清洗这一步了。

三、数据预处理

3.1、删除列：

删除地址栏这一列，对我们分析没有起到作用。

# 删除列 df = df.drop('page_url', axis=1)

3.2、星级转换：

力荐，推荐，这些字符是纯中文的，没有明确的可量化比较的地方。所以将力荐，推荐，还行，较差，很差这些中文替换成星级的打分。

# 定义字典 def transform_rating(x): if x == '立荐': return '5星' elif x == '推荐': return '4星' elif x == '还行': return '3星' elif x == '较差': return '2星' elif x == '很差': return '1星' else: return '5星' # 异常值使用众数替换 # apply函数 df['rating_num'] = df.rating_num.apply(transform_rating)

查看星级的统计情况：

df.rating_num.value_counts()

image.png

我们看到打5分的占到了绝大多数，说明这部电视剧的好评率还是蛮高的。

3.3、时间类型转换：

将时间转换到年月日，小时

comment_hour = df.comment_time.str.split(':').str[0] comment_hour = comment_hour.value_counts().sort_index() comment_hour[:5]

image.png

3.4、分词处理：

我们需要从评论中提取关键有用信息，所以要先对评论进行分词处理。同时对停用词进行过滤，减少噪音的干扰。

# 定义分词函数 def get_cut_words(content_series): # 读入停用词表 stop_words = [] with open(r"../数据/stopword.txt", 'r', encoding='utf-8') as f: lines = f.readlines() for line in lines: stop_words.append(line.strip()) # 添加关键词 my_words = ['廖凡', '严良', '白宇', '江阳', '谭卓', '李静', '宁理', '张超', '黄尧', '张晓倩' ] for i in my_words: jieba.add_word(i) # 自定义停用词 my_stop_words = ['真的', '这部', '这是', '一种'] stop_words.extend(my_stop_words) # 分词 word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False) # 条件筛选 word_num_selected = [i for i in word_num if i not in stop_words and len(i) >= 2] return word_num_selected

四、可视化

4.1、星级分布情况：

让我们来具体看看星级的分布情况：

# 数据对 data_pair = [list(z) for z in zip(rating_num.index.tolist(), rating_num.values.tolist())] # 绘制饼图 pie1 = Pie(init_opts=opts.InitOpts(width='1350px', height='750px')) pie1.add('', data_pair=data_pair, radius=['35%', '60%']) pie1.set_global_opts(title_opts=opts.TitleOpts(title='总体评分分布'), legend_opts=opts.LegendOpts(orient='vertical', pos_top='15%', pos_right='2%')) pie1.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%")) pie1.set_colors(['#FF7F0E', '#1F77B4', '#2CA02C', '#D62728', '#946C8B']) pie1.load_javascript(); # 分号表示去除打印

load_javascript（）和 render_notebook（）在jupyter lab中换行执行，这样可以直接在jupyter lab中画图

pie1.render_notebook()

image.png

5星好评率达到了92.8%，口碑爆棚啊，有没有。

4.2、评论时间走势

接下来，我们看看评论的时间分布情况。

# 选取数据 x_data = [i.replace('2020-','') for i in comment_hour.index] y_data = comment_hour.values.tolist() # 折线图 line1 = Line(init_opts=opts.InitOpts(width='1350px', height='750px')) line1.add_xaxis(x_data) line1.add_yaxis('', y_data, areastyle_opts=opts.AreaStyleOpts(opacity=0.5), markpoint_opts=opts.MarkPointOpts(data=[opts.MarkPointItem(type_="max")]), label_opts=opts.LabelOpts(is_show=False) ) line1.set_global_opts(title_opts=opts.TitleOpts(title='评论时间走势图'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate='60')), visualmap_opts=opts.VisualMapOpts(max_=30)) line1.set_series_opts(linestyle_opts=opts.LineStyleOpts(width=3)) line1.load_javascript();

还是老规矩，换一行执行。

line1.render_notebook()

image.png

我们可以看到评论最多的时间集中在9月16日，这大概是《沉默的真相》刚上映没多久的时间。

4.3、绘制关键词词云

最后，我们看一下评论的词云绘制情况。

text = get_cut_words(content_series=df.short_comment) # 绘制词云图 stylecloud.gen_stylecloud(text=' '.join(text), max_words=1000, collocations=False, font_path=r'C:\Windows\Fonts\msyh.ttc', icon_name='fas fa-chart-pie', size=653, output_name='../数据/沉默的真相-豆瓣短评.png') Image(filename='../数据/沉默的真相-豆瓣短评.png')