介绍

每个人都喜欢省钱。我们都试图充分利用我们的资金，有时候这是最简单的事情，可以造成最大的不同。长期以来，优惠券一直被认为是剪纸，并被带到超市拿到折扣。任何人都知道剪报优惠券可能是乏味和耗时的，但使用优惠券从未如此简单，这要归功于Groupon。

Groupon是一个优惠券推荐服务，可以在您附近的餐馆和商店广播电子优惠券。其中一些优惠券可能非常重要，特别是在计划小组活动时，因为折扣可以高达60％。

您可以免费注册Groupon，并且Groupon每天都会向您发送包含该地区当天交易的电子邮件。如果您喜欢这笔交易，那么您可以立即从Groupon购买，并在餐馆/商店兑换它的价值。

数据

这些数据是从Groupon网站的纽约市区域获得的。网站的布局分为所有不同groupon的专辑搜索，然后是每个特定groupon的深度页面。网站外观如下所示：

两个页面的布局都不是动态的，所以建立了一个自定义scrapy蜘蛛，以便快速浏览所有的页面并检索要分析的信息。然而，评论，重要的信息，通过JavaScript呈现和加载，因此硒是使用的脚本。Selenium脚本使用从scrapy获取的groupons的URL，实质上模仿了人类点击用户注释部分中的“next”按钮。

大约有400个个人小组被刮。从每个组中检索的数据如下所示。

Groupon标题商人

分类迷你信息

交易功能位置

总评分数网址

大约有89,000个用户评论被刮掉。从每个评论中检索的数据如下所示。

作者日期

评论网址

探索性数据分析

一个有趣的发现是在过去的几年里，群体的使用已经大大增加了。我们通过检查评论提供的日期来发现这一点。看下面的图像，其中x轴表示月/年和y轴，表示计数，这个结论变得明显。最后的小幅下滑是由于当时的一些小组可能是季节性的。

一个有趣的发现是在过去的几年里，群体的使用已经大大增加了。我们通过检查评论提供的日期来发现这一点。看下面的图像，其中x轴表示月/年和y轴，表示计数，这个结论变得明显。最后的小幅下滑是由于当时的一些小组可能是季节性的。

最后，由于大部分数据是通过文本并遵循普通程序：价格（原价），导出了一个正则表达式来解析价格信息，以及它们提供的交易数量。该信息显示在以下条形图中：

最后，利用用户评论数据生成一个文字云：

主题建模

为了进行主题建模，使用的两个最重要的软件包是gensim和spacy。创建一个语料库的第一步是删除所有停用词，如“一”，“，”，“，”等。下一步涉及到“新”审查，最后创造trigrams。根据数据集的位置，选择三位一体，像纽约市这样的词将被识别为一个独特的词。

选择的模型是Latent Dirichlet Allocation，因为它能够区分来自不同文档的主题，并且存在一个可以清晰有效地将结果可视化的包。由于该方法是无监督的，因此必须事先选择主题数量，并且在玩过之后，在模型的25次连续迭代中最优数目为3。结果如下：

上面的可视化是将主题投影到两个组件上，其中相似的主题会更接近，而不相似的主题会更远。右边的单词是组成每个主题的单词，lambda参数控制单词的排他性。0的lambda表示每个主题周围的最排斥的单词，而1的lambda表示每个主题周围的最频繁的单词。

第一个话题代表可操作的话，我相信这是为了群众的质量和接待。第二个话题有描述锻炼和身体活动的词语。最后，第三个话题有属于食品类的词语。

结论

主题建模是无监督学习的一种形式，这个项目的范围是简要地检查在基础词语背后发现模式的功能和效力。虽然我们认为我们对某些产品/服务的评论是独一无二的，但是这个模型清楚地表明，实际上，某些词汇在整个人群中被使用。

这个项目并不完全详尽，因为有更多的NLP技术可以应用，而且扩大了审查的范围，以抓住整个国家。我打算使用的其他技术是情感分析和word2vec模型来进行“单词”代数，以帮助未来的网站观众看到他们想要的类似术语。