「调查侦探」NLP实现文本情感分析的两大方法优劣对比以及实例解析，

导语

「NLP」最为目前以及火爆的一个领域，已经渐渐渗入进越来越多产业的各项业务中，小编决定对常见的应用用途挨个进行尝试……

「情感极性分析」是对具有情感色彩的主观性文本进行探讨、处理、归纳和推理的过程。按照处理文本的类型不同，可分为基于新闻评论的情感分析跟基于产品评论的情感分析。其中，前者多用于舆情监控和信息分析，后者能帮助客户知道某一产品在大众心目中的口碑。

目前常用的情感极性分析方式主要是两种：基于情感词典的方式跟基于机器学习的技巧。

笔者是借助情感打分的方法进行文本情感极性判断，score > 0判断为正向，score < 0判断为负向。

1.1 数据准备

1.1.1 情感词典及对应分数

词典来源于BosonNLP数据下载的情感词典，来源于社交媒体文本，所以词典适用于处理社交媒体的情感分析。

词典把所有常用词都打上了唯一分数有许多不足之处。

1.1.2 否定词词典

否定词的出现将直接将词语情感转向相反的方向，而且往往效用是叠加的。常见的否定词：不、没、无、非、莫、弗、勿、毋、未、否、别、無、休、难道等。

1.1.3 程度副词词典

既是通过打分的方法判定文本的情感正负「情感文章网」，那么分数绝对值的大小则一般表示情感强弱。既涉及到程度强弱的弊端，那么程度副词的引入就是势在必行的。词典可从《知网》情感分析用短语集（beta版）下载。词典内数据格式能参考如下格式，即共两列，第一列为程度副词，第二列是程度数值，> 1表示强化情感，< 1表示弱化情感。

程度副词词典

1.1.4 停用词词典

科院计算所中文自然语言处理开放系统发布了有1208个停用词的英文停用词表，也有其它不需要积分的下载方式。

1.2 数据预处理

1.2.1 分词

即将句子拆分为短语集合，结果如下：

e.g. 这样/的/酒店/配/这样/的/价格/还算/不错

Python常用的分词工具：

from collections import defaultdict
import os
import re
import jieba
import codecs
"""
1. 文本切割
"""
def sent2word(sentence):
"""
Segment a sentence to words
Delete stopwords
"""
    segList = jieba.cut(sentence)
    segResult = []
    for w in segList:
        segResult.append(w)
    stopwords = readLines('stop_words.txt')
    newSent = []
        for word in segResult:
            if word in stopwords:
                # print "stopword: %s" % word
                continue
           else:
                newSent.append(word)
          return newSent

在此笔者使用Jieba进行分词。

1.2.2 去除停用词

遍历所有语义中的所有句子，删除其中的停用词

e.g. 这样/的/酒店/配/这样/的/价格/还算/不错

--> 酒店/配/价格/还算/不错

1.3 构建模型

1.3.1 将词语分类并记录其位置

将词语中各种词分别存储并标注位置。