发表自话题：沉默的真相解析
转载自【菜J学Python】：用Python实现《沉默的真相》3万+弹幕情感分析
大家好，我是J哥。
以前我写过不少文本数据分析，比如《八佰》影评分析、《三十而已》热评分析等，但基本停留在可视化分析层面。本文将运用文本挖掘技术，对最近热播剧《沉默的真相》弹幕数据进行深入分析，希望对大家有一定的启发。
本文数据分析思路及步骤如下图所示，阅读本文需要10min，您可在「菜J学Python」公众号后台回复文本挖掘获取弹幕数据进行测试。
一、数据获取
如果您对弹幕数据采集感兴趣，可查看J哥往期原创文章「弹幕爬虫，看这一篇就够了！」，本文仅提供核心代码： from xml.dom.minidom import parse import xml.dom.minidom def xml_parse(file_name): DOMTree = xml.dom.minidom.parse(file_name) collection = DOMTree.documentElement # 在集合中获取所有entry数据 entrys = collection.getElementsByTagName("entry") print(entrys) result = [] for entry in entrys: content = entry.getElementsByTagName('content')[0] print(content.childNodes[0].data) i = content.childNodes[0].data name = entry.getElementsByTagName('name')[0] print(name.childNodes[0].data) j = name.childNodes[0].data dd = [j,i] result.append(dd) print(result) return result二、数据清洗
1.导入数据分析库
#数据处理库 import numpy as np import pandas as pd import glob import re import jieba #可视化库 import stylecloud import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline from pyecharts.charts import * from pyecharts import options as opts from pyecharts.globals import ThemeType from IPython.display import Image #文本挖掘库 from snownlp import SnowNLP from gensim import corpora,models2.合并弹幕数据
《沉默的真相》共12集，分集爬取，共生成12个csv格式的弹幕数据文件，保存在danmu文件夹中。通过glob方法遍历所有文件，读取数据并追加保存到danmu_all文件中。
csv_list = glob.glob('/菜J学Python/danmu/*.csv') print('共发现%s个CSV文件'% len(csv_list)) print('正在处理............') for i in csv_list: fr = open(i,'r').read() with open('danmu_all.csv','a') as f: f.write(fr) print('合并完毕！')3.重复值、缺失值等处理
#error_bad_lines参数可忽略异常行 df = pd.read_csv("./danmu_all.csv",header=None,error_bad_lines=False) df = df.iloc[:,[1,2]] #选择用户名和弹幕内容列 df = df.drop_duplicates() #删除重复行 df = df.dropna() #删除存在缺失值的行 df.columns = ["user","danmu"] #对字段进行命名 df清洗后数据如下所示：
4.机械压缩去重
机械压缩去重即数据句内的去重，我们发现弹幕内容存在例如"啊啊啊啊啊"这种数据，而实际做情感分析时，只需要一个“啊”即可。
三、数据可视化
数据可视化分析部分代码本公众号往期原创文章已多次提及，本文不做赘述。从可视化图表来看，网友对《沉默的真相》还是相当认可的，尤其对白宇塑造的正义形象江阳，提及频率远高于其他角色。1.整体弹幕词云
2.主演提及
四、文本挖掘（NLP）
1.情感分析
情感分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的情感极性分析方法主要是两种：基于情感词典的方法和基于机器学习的方法。
本文主要运用Python的第三方库SnowNLP对弹幕内容进行情感分析，使用方法很简单，计算出的情感score表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。
（1）整体情感倾向
plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置加载的字体名 plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题 plt.figure(figsize=(12, 6)) #设置画布大小 rate = df['score'] ax = sns.distplot(rate, hist_kws={'color':'green','label':'直方图'}, kde_kws={'color':'red','label':'密度曲线'}, bins=20) #参数color样式为salmon，bins参数设定数据片段的数量 ax.set_title("弹幕整体情感倾向 绘图：「菜J学Python」公众号") plt.show
（2）观众对主演的情感倾向
mapping = {'jiangyang':'白宇|江阳', 'yanliang':'廖凡|严良', 'zhangchao':'宁理|张超','lijing':'谭卓|李静', 'wengmeixiang':'李嘉欣|翁美香'} for key, value in mapping.items(): df[key] = df['danmu'].str.contains(value) average_value = pd.Series({key: df.loc[df[key], 'score'].mean() for key in mapping.keys()}) print(average_value.sort_values())由各主要角色情感得分均值可知，观众对他们都表现出积极的情感。翁美香和李静的情感得分均值相对高一些，难道是男性观众偏多？江阳的情感倾向相对较低，可能是观众对作为正义化身的他惨遭各种不公而鸣不平吧。
2.主题分析
这里的主题分析主要是将弹幕情感得分划分为两类，分别为积极类（得分在0.8以上）和消极类（得分在0.3以下），然后再在各类里分别细分出5个主题，有助于挖掘出观众情感产生的原因。首先，筛选出两大类分别进行分词。
