文献阅读12：AI见微知著——用户性格与评论有用性研究

来源：Assessing the Unacquainted: Inferred Reviewer Personality and Review Helpfulness

作者：Angela Xia Liu, Yilin Li and Sean Xin Xu

编辑：李奕霖 清华大学经济管理学院 博士生

可能你的身边也有那么几位喜欢和大家分享好物、推荐种草的朋友，ta们都是什么样的人呢？也许外向健谈，也许细致耐心，也许率真坦诚——你会找谁寻求靠谱有用的点评和推荐？本文作者发现，人的性格与其在线评论有用性之间有着莫大的关系，并且利用强大的AI算法，只需寥寥数语，就能“猜”出一个用户在未来会不会写下对别人有帮助的评论。

01 背景介绍

“消费之前先看评论”已经成为许多人的习惯，相应地，也有越来越多的人愿意在网络上留下自己的点评。国内外的点评网站如Yelp、TripAdvisor、大众点评等积累了海量的用户评论，但是，网上的评论并不总是那么靠谱，有时消费者看评论都看花了眼。平台尝试用各种方式对评论进行排序，同时也在不断探索如何才能吸引用户发布更有用的评论。如果可以找到那些会发表有用评论的用户，邀请他们更多参与到社区建设中，这会让更多用户从中受益。但是由于长尾效应，绝大多数人在平台上留下的信息都如雪泥鸿爪，怎样才能知道他们都是什么样的评论者呢？

一个可能的答案是，看看这个人过去的评论是不是有用，但是这需要很长时间来积累其他用户的投票数据，也就不能及时地激励更有贡献的评论者。那么，凭借用户留下的少量评论，能够预测他未来的评论是否有用吗？

本文利用自然语言处理与深度学习算法，从用户留下的1~2条评论信息中即可推断用户性格，这些性格特征与用户未来评论的有用性存在相关性，并且利用这些特征，我们可以更准确地预测用户在未来发布的评论是否有用。

那么，到底哪种性格的人发的评论更靠谱？又要怎么识别用户性格并做出预测呢？让我们看看本文作者怎么说。

02 研究设计与理论框架

性格特质通常被认为是一个人较为稳定的属性，并且对人的行为有着非常大的影响。过去测量性格的方式通常是问卷调查，也有许多心理学理论提出了不同的性格测量指标体系（比如最近的大火的MBTI和经典的大五人格OCEAN等）。但是，给用户发问卷会造成较大打扰，这时就体现出了AI算法的优势——可以在非结构化数据中识别一些难以测量的用户属性。沿着这个思路，本文设计了如下的研究路径：

Step 1：训练深度学习模型来分析在线评论文本，从中识别评论者的大五人格各维度得分；

Step 2：提出大五人格各维度影响评论有用性的理论分析与研究假设，并建立回归模型来检验；

Step 3：训练集成机器学习模型，利用大五人格评分作为输入特征，来预测评论有用性；

Step 4：在测试集上评估模型预测表现。 

大五人格是具有较强理论与实践基础的性格测量体系，包括开放性(Openness)，责任感(Conscientiousness)，外倾性(Extraversion)，亲和性(Agreeableness)，和情绪稳定性(Emotional Stability，其反面被称作神经质，Neuroticism)五个维度。从理论上来说，具有较强开放性特质的人更容易接受变化，对他人的意见有较高的好奇心。外倾性较强的人通常乐于交际，充满活力，有更强的表达欲。同时，开放性、外倾性、责任感和亲和性这四种性格特质使人更乐于分享与交换知识，他们通常具有更高的说服力，因此这类人群成为意见领袖的概率也就更大，从而使他们的评论对他人更有帮助。而大五人格的最后一个维度，情绪稳定性，通常被认为与人的自信心有关，较强的自信有助于人们写下更有帮助的评论。但同时，情绪也是刺激人们去表达自我的驱动力，因此情绪稳定性较高的人可能更加内敛，发布评论的意愿相对更低，可能会使其评论有用性也随之降低。基于以上对大五人格的分析，本文提出了五个假设来描述五个性格维度与评论有用性的关系：

H1~H4：开放性、责任感、外倾性和亲和性与评论有用性之间存在正相关。

H5：情绪稳定性与评论有用性之间存在负相关。

其中，本文认为假设H5理论上正负均有可能，是一个值得探究的实证问题。

03 数据与变量

作者使用了Yelp学术数据集，由每所大学周边最近的250个商家的数据组成，涵盖了美国15个州的30所大学，数据内容包括商家主页（含商家ID、平均得分、地理位置、商家名字等），评论者主页（含用户ID、注册时间、过去评论数、主页地理位置等），以及评论内容。本文聚焦于餐馆这一类目，并筛掉了内容不足50字符的评论，最终得到了由74,480位评论者为4,244家餐馆撰写的160,578条评论。

利用这些数据，本文构建了研究的主要变量。因变量是评论有用性，也就是评论在有用性投票中获得“yes”的总数。本文最关心的自变量当然是评论者的大五人格得分了，这一得分是作者利用深度学习模型对评论文本进行分析计算后得到的。

 

深度学习模型从评论文本中识别性格

（来源：Majumder et al. 2017）

评论文本需要首先经过一系列预处理，例如去除停用词和标点符号，并将词汇进行词干化处理等。接着，处理后的文本数据被输入到卷积神经网络（CNN）中，通过一系列神经网络计算转换为向量化表示。上图展示了本文所用的卷积神经网络的结构。首先，本文将评论文本中的各个词汇转换为向量化表示，再通过非线性计算，将词向量整合为句向量。接着，模型又通过特征拼接、池化与全连接网络等计算，把句向量抽象为文档向量，即，用一个向量来表示一则评论。最后，模型对文档向量进行softmax分类，得到当前评论在某一性格维度上的得分。

根据大五人格理论，五个性格维度是相互独立的，因此对于每一个性格维度，作者分别训练了深度神经网络模型，以单独对每个性格维度给出0~1之间的评分。模型的训练数据来自James Pennebaker和Laura King人工标注的大五人格文本数据集，其中包含2,467篇标注了写作者性格的文章。例如，更多使用冠词、人称代词和连词的文本，可能外倾性评分会更高；更多使用第一人称单数、第二人称代词等，可能开放性评分会更高；表达愤怒、发誓的词汇，与性格中的责任感与亲和性更相关；而表达负面情绪、悲伤、焦虑的词汇，则与情绪稳定性相关。利用这些深度学习模型，本文作者计算了Yelp数据集中所有评论者的大五人格得分，并将其作为关键自变量，用于回归分析和预测模型中。

除性格得分以外，本文的分析中还包含了一系列刻画评论本身属性、评论者属性以及餐馆属性的控制变量。评论文本属性包括：评论字数、可读性、评论打分（及其平方）、语言正负倾向性、发布时长；评论者属性包括：当前评论是该评论者写过的第几条、评论者与当前被评论餐馆是否处于同一城市；餐馆属性包括：餐馆评分、价格范围、风味类型、当前评论是该餐馆收到的第几条。

在本文的统计分析中，一些无法观测的餐馆属性可能为分析带来内生性，因此作者使用了工具变量。首先，心理学研究发现，处于同一地域的人往往性格上会有一定程度的趋同，因此本文采用同一地区内给其他餐馆写过评论的所有评论者的平均性格得分作为一个工具变量。第二组工具变量是评论文本中辅助动词的占比（如am、will、have等词）和评论的句子长度——这两个因素与评论者的性格存在相关性，但它们与餐馆的隐含属性关联不大，也可以帮助解决内生性问题。

04 回归分析与预测模型

= 回归分析 =

本文的回归模型采用了GMM估计和聚类标准差。值得一提的是，作者采用了多种检验方法，支持了本文选取的工具变量的合理性。本文的回归分析显示，大五人格中的开放性、责任感、外倾性和亲和性均与评论有用性呈显著正相关，而情绪稳定性则与评论有用性呈显著负相关，如下表。由此本文的五个研究假设均得到了支持。

= 预测模型 =

为了检验大五人格得分对评论有用性的预测能力，作者训练了一组集成机器学习模型，包括集成支持向量机（E-SVM）、随机森林（RF）和自适应自举法（AdaBoost），由三个集成学习模型投票决定最终预测输出。模型的输入是评论者发布的前第N条评论文本（本文中N=2），预测目标是评论者未来的评论是否有用，即，能否在helpful投票中至少得到τ票“yes”。需要说明的是，本文的模型输入中并不包含被预测评论本身的文本，也就是说，当一条评论还未被写出时，模型就可以依据评论者过去发布的少量评论给出预测结果。

本文将Yelp数据集中2/3的样本作为训练数据，剩余1/3作为测试数据。用于对比的基线模型采用了相同的模型结构，输入特征中不包含评论文本中提取的性格得分，这样就可以将模型表现的差异归因于性格得分了。本文在不同的τ取值下都进行了测试，结果显示，加入性格特征后，模型对有用评论的预测召回率和精确率均有明显提升，说明评论者性格确实可以帮助预测未来的评论有用性。

预测模型召回率表现

 

预测模型精确率表现

05 研究意义与管理学启示

本文在理论层面的贡献在于以下几个方面：

• 本文提出了新的研究路径，即，利用在线数据和智能算法来挖掘不易测量的用户属性，相对于传统的问卷调研方法，该方法更加灵活高效。本文提出的方法可以对已知信息较少的非熟悉（unacquaintance）用户性格做出推断，在以文本信息为主的在线情景下有很强的拓展研究价值。

• 过去的相关研究更多利用评论本身的文本特征进行分析，本文在评论有用性的研究中引入了性格这一维度，既提高了预测模型的可解释性，并且能够在获得评论文本之前就预估其有用性。

• 本文对意见领袖的识别，以及心理学中的性格理论等领域具有贡献，丰富了在线场景下的研究发现。

• 本文展示了心理学理论指导模型设计，并用现实数据来验证效果的过程。

同时，本文具有较强的应用价值：

• 本文设计的预测模型可以有效帮助提升平台整体的评论有用性，提升用户体验。

• 本文的研究发现可以指导在线评论平台为不同性格的评论者提供个性化的引导，使更多用户参与到内容生产中，形成内容生态的良性循环。

参考文献：Angela Xia Liu, Yilin Li, and Sean Xin Xu. (2021). Assessing the Unacquainted: Inferred Reviewer Personality and Review Helpfulness. MIS Quarterly, 45(3a):1113-1148. DOI: https://doi.org/10.25300/MISQ/2021/14375

文章链接：https://misq.umn.edu/assessing-the-unacquainted-inferred-reviewer-personality-and-review-helpfulness