《数据仓库与数据挖掘期末考试要点解析：从理论到实践》
一、数据仓库相关内容
（一）数据仓库的概念与特点
1、数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
- 面向主题意味着数据仓库围绕特定的业务主题进行组织，例如销售主题、客户主题等，与传统的面向应用的数据库不同，它不是按照业务处理流程来组织数据，而是从决策分析的角度对数据进行重新整合。
图片来源于网络，如有侵权联系删除
- 集成性体现在它从多个数据源抽取数据，并进行数据清洗、转换和集成，消除数据的不一致性，从不同的销售系统、客户关系管理系统中抽取数据，统一数据的格式、编码等。
- 相对稳定是指数据仓库中的数据主要是用于分析历史数据，一旦数据进入数据仓库，一般不会进行频繁的修改和删除操作。
- 反映历史变化则是通过在数据仓库中保留不同时间点的数据版本，从而能够分析数据随时间的演变趋势，如分析销售额在过去几年中的变化情况。
（二）数据仓库的体系结构
1、数据仓库的体系结构通常包括数据源、数据抽取、转换和加载（ETL）、数据存储、数据集市和前端应用等部分。
- 数据源是数据仓库的数据来源，可能包括各种数据库系统、文件系统、外部数据等，企业内部的生产数据库、销售数据库，以及从市场调研公司获取的外部市场数据等。
- ETL过程是数据仓库构建的关键环节，抽取是从数据源中获取数据的过程，需要根据数据源的特点采用不同的抽取方法，如对于关系型数据库可以使用SQL查询语句进行抽取，转换则是对抽取的数据进行清洗、转换操作，如将数据的格式统一、进行数据的计算（如将销售额的单位从元转换为万元）等，加载是将转换后的数据加载到数据仓库中的过程，需要考虑加载的效率和数据的完整性。
- 数据存储部分是数据仓库的核心，通常采用多维数据模型，如星型模型或雪花模型，星型模型以事实表为中心，周围连接多个维度表，这种模型简单直观，查询效率高，雪花模型是星型模型的扩展，对维度表进行了进一步的规范化处理，适用于对数据质量和存储空间要求较高的场景。
- 数据集市是从数据仓库中抽取的面向特定部门或用户群体的数据子集，例如专门为销售部门建立的销售数据集市，它可以根据销售部门的特定需求对数据进行定制化处理，提高查询效率。
- 前端应用是用户与数据仓库交互的界面，包括各种报表工具、查询工具、数据分析工具等，如使用Tableau等工具创建可视化报表，以便用户直观地分析数据。
二、数据挖掘相关内容
图片来源于网络，如有侵权联系删除
（一）数据挖掘的定义与任务
1、数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
- 数据挖掘的任务主要包括分类、聚类、关联规则挖掘、异常检测等。
- 分类是根据数据的特征将数据对象划分到不同的类别中，将客户根据其购买行为、信用状况等特征划分为优质客户、普通客户和风险客户等类别，常见的分类算法有决策树算法（如C4.5算法）、支持向量机算法等，决策树算法通过构建一棵类似树状的结构，每个内部节点是一个属性测试，叶节点是类别标签，根据数据的属性值逐步将数据分类，支持向量机算法则是通过寻找一个最优的超平面将不同类别的数据分开。
- 聚类是将数据对象按照相似性聚集成不同的簇，簇内的数据对象具有较高的相似性，簇间的数据对象具有较大的差异性，对客户进行聚类分析，将具有相似消费习惯的客户聚成一类，常用的聚类算法有K - 均值算法，它首先随机选择K个初始聚类中心，然后根据数据对象与聚类中心的距离将数据对象分配到最近的聚类中心所在的簇中，并不断更新聚类中心，直到聚类结果稳定。
- 关联规则挖掘是发现数据集中不同项之间的关联关系，在超市的销售数据中挖掘出“购买面包的顾客有70%的可能性会同时购买牛奶”这样的关联规则，Apriori算法是一种经典的关联规则挖掘算法，它通过频繁项集的挖掘来生成关联规则，首先找出所有满足最小支持度的频繁项集，然后从频繁项集中生成满足最小置信度的关联规则。
- 异常检测是识别数据集中与其他数据对象显著不同的数据对象，在网络流量数据中检测出异常的流量模式，可能是网络攻击的迹象，基于距离的异常检测方法是通过计算数据对象与其他数据对象的距离，如果某个数据对象与其他数据对象的距离超过一定的阈值，则认为它是异常数据对象。
（二）数据挖掘的流程
1、数据挖掘的流程一般包括数据收集、数据预处理、数据挖掘算法选择与应用、结果评估和知识表示等步骤。
- 数据收集是获取用于挖掘的数据，可以来自数据仓库、数据库、文件等多种数据源，从企业的销售数据库中收集销售数据，从人力资源数据库中收集员工信息数据等。
- 数据预处理是对收集到的数据进行处理，包括数据清洗（去除噪声数据、重复数据等）、数据集成（将来自不同数据源的数据集成在一起）、数据变换（如数据的标准化、归一化等）和数据归约（在尽可能保持数据完整性的前提下减少数据量），在销售数据中可能存在一些错误的销售额记录，需要进行清洗；如果要将销售数据和客户数据进行联合挖掘，就需要进行数据集成。
图片来源于网络，如有侵权联系删除
- 数据挖掘算法选择与应用是根据挖掘的任务和数据的特点选择合适的挖掘算法并应用到数据上，如果要对客户进行分类，需要根据客户数据的特征（如数值型特征、分类型特征的比例等）选择合适的分类算法，如对于数值型特征较多的客户数据可以选择支持向量机算法。
- 结果评估是对挖掘得到的结果进行评估，判断结果的准确性、有效性等，对于分类结果，可以使用准确率、召回率等指标进行评估；对于聚类结果，可以使用轮廓系数等指标进行评估，在分类客户为优质客户和普通客户后，通过与实际的客户信用状况进行对比，计算准确率等指标来评估分类结果的好坏。
- 知识表示是将挖掘得到的知识以合适的形式表示出来，以便用户理解和应用，将分类结果以可视化的决策树形式表示，或者将关联规则以表格的形式列出。
三、数据仓库与数据挖掘的关系
1、数据仓库为数据挖掘提供了数据基础。
- 数据仓库中的数据经过了集成、清洗和转换，具有较高的质量和一致性，这为数据挖掘提供了良好的数据源，数据挖掘算法在这样的数据上运行，可以得到更准确、更可靠的结果，如果直接从多个分散的、未经清洗的数据源进行数据挖掘，可能会由于数据的不一致性（如不同数据源中对客户性别的编码不同）导致挖掘结果的错误。
2、数据挖掘为数据仓库的价值提升提供了手段。
- 通过数据挖掘，可以从数据仓库的数据中发现有价值的信息和知识，如挖掘出隐藏的销售趋势、客户行为模式等，这些知识可以反馈到企业的决策中，如根据客户行为模式调整营销策略，从而提高企业的竞争力，数据挖掘得到的结果也可以用于优化数据仓库的设计和管理，例如根据挖掘得到的重要数据特征对数据仓库中的数据模型进行优化。
数据仓库与数据挖掘在企业的决策支持系统中都发挥着重要的作用，它们相互依存、相互促进，共同为企业从数据中获取价值提供了有效的途径。
评论列表