摘要
本研究设计并实现了一个基于长短期记忆网络的电影评论情感分析系统。该系统利用LSTM的时序数据处理能力，有效捕捉电影评论中的情感倾向和语义信息，实现了对评论情感的准确分类。通过构建深度学习模型，系统能够处理大量文本数据，自动识别并标注评论的情感极性，为电影制作方、观众和研究者提供了有力的情感分析工具。
此外，系统还集成了评分预测功能，通过综合考虑多种影响因素，实现对电影评分的准确预测。数据可视化面板的引入使得用户可以直观地查看和分析情感分布、评分趋势等多维度信息。整体而言，该系统在情感分析和评分预测方面表现出色，具有较高的实用价值和广泛的应用前景，为电影行业和相关领域的深入研究提供了新的技术支持和数据参考。
功能需求分析
系统使用收集电影的基本信息、评论信息、评分等行为数据的公开数据集，来构建电影的数据分析。用户可以通过查询条件的方式，让系统实现对相关数据的筛选和查询，并将查询结果在前端以图表的可视化方式展示出来，进而帮助用户理解数据。系统通过对用户数据的分析与挖掘，实现了对于用户评论的解析和分类，系统提供了直观的豆瓣电影数据展示界面，查看到相应的分析结果。
数据采集功能：实现对豆瓣平台公共数据的采集，识别数据来源、区分数据类型，并进行数据完整性的验证，确保数据的准确性以及可靠性。
分布式存储功能：实现对已经处理过的数据进行分布式存储，采用MySQL、HDFS进行对数据的存储，以及支持异构端存储和具备高容错性，高可用性以及易扩展性。
数据分析功能：基于Spark分布式计算框架，实现对存储的数据进行了数据分析和挖掘。
数据可视化功能：使用ECharts、Vue、BootStrap等前端技术，对数据分析结果进行了可视化展示，以图表等可视化方式将数据展示，方便了用户分析和观察
管理员对于电影信息的增删改查、情感分析的操作，用户可以对电影信息进行查看和情感分析的操作。
管理员在页面上进行添加、删除和修改电影信息的操作，都记录在数据库中，以便后续的数据分析和查询。为了获取最新的电影数据，使用了Python编写的爬虫程序来抓取豆瓣电影网站上的公开数据集，数据集包含了电影的基本信息、评论、评分等宝贵的数据资源。通过解析HTML页面结构，可以提取出所需的信息，并将它们保存到本地文件直接写入Hadoop分布式文件系统中。
数据爬取采用Python的爬虫框架，Scrapy结合HTTP请求库如Requests，从网站等目标源获取数据。爬取过程中，通过设置合理的爬取频率和遵守robots.txt规则，确保数据获取的合法性和效率。获取原始数据后，进入数据清洗阶段，利用Python的Pandas库对数据进行预处理，包括去除空值、异常值，格式统一，以及处理重复数据。此外，通过正则表达式对文本数据进行清洗，提取有用信息。数据清洗还涉及数据类型转换、缺失值填充等操作，确保数据的质量和一致性。最终，清洗后的数据存储于数据库，为后续的数据分析和业务应用提供准确、可靠的数据基础
