数据集成

## 7.2.1 基础概念

- 数据集成：是将分散存储在不同数据集中的数据，逻辑地或物理地将互相关联且分散的异构数据源集成到统一的数据集中，使用户能够便捷地访问数据。数据集成包括内容集成和结构集成

- 数据集成的数据源包括各类数据库管理系统，以及目前大数据环境下广泛使用的各类XML（extensible 
markup language，可扩展标记语言）文档、HTML（hyper text markup language，超文本标记语言）文档、电
子邮件、普通文件等结构化数据、半结构化数据。数据源异构性是数据集成难点，主要表现在语法异构和
语义异构上。

- 语法异构一般指源数据和目标数据之间命名规则及数据类型不同。例如，数据库的命名规则是字段到字段、记录到记录的映射，解决了命名冲突和数据类型冲突。

- 语义异构要比语法异构复杂，往往是破坏字段原意，直接处理数据内容。

## 7.2.2 数据集成技术

为了将互相关联且分散的异构数据集成到统一的数据集中，常用的数据集成技术有`实体识别、属性冗余识别、数据冲突检测与处理`。

- 1. 实体识别
来源于多个数据源的数据按照等价实例进行“匹配”。比如，在多个数据源中用户名字的表示形式不同，数据集成需要先将不同形式的用户名字匹配识别，再整合数据结构。

例5：共有8位考生，他们的面试成绩和笔试成绩分别见下表，试把考生成绩集成到一张数据表中。

![](/media/202407/2024-07-11_111002_6068670.5051413987285173.png)

![](/media/202407/2024-07-11_111015_8695570.06698771842881368.png)

依据题意，将两个表中的数据集成，表格中姓名相同代表同一人。按照实体识别，表5中**“*****”
与“考生孙”匹配，表中“*****”**与“考生吴”匹配。数据集成结果见下表：

![](/media/202407/2024-07-11_111456_6965220.8152882089865549.png)

- 2. 属性冗余识别
冗余是数据集成的另一个重要问题。一个属性（如年收入）如果能由另一个或另一组属性“导出”，则这个属性可能是冗余的。属性或维命名的不一致也可能导致数据集中的冗余。

- 有些冗余可以被相关分析检测到。例如，给定两个属性，根据可用的数据，这种分析可以度量一个属性能在多大程度上蕴涵另一个。对标称数据，我们使用卡方检验；对数值属性，我们使用相关系数和协方差，它们都评估一个属性的值如何随另一个变化。

例6：比如说咖啡店，不同职业的人偏好不同口味的咖啡，老板想知道职业这个变量与不同口味咖啡是否独立。数据如下表所示，在显著性为$$\alpha\=0.01$$下，检验职业与口味是否独立性。检验结果卡方值为138.2050，其概率p值=0.0000，即拒绝了职业与咖啡口味偏好相互独立的原假设，表明咖啡购买数据蕴含了消费者的职业信息。

![](/media/202407/2024-07-11_111922_9899800.25378942297910645.png)

- 3. 数据冲突检测与处理

来自不同数据源的某种属性或约束存在冲突，导致数据集成无法进行。
例如，质量属性可能在一个系统中以公制单位存放，而在另一个系统中以英制单位存放。再如，不同学校交换信息时，每个学校有自己的课程设置和等级模式。一个大学可能采用季度制，数据库系统中存在3门课程，等级从A+到F。另一个可能采用学期制，数据库系统中提供2门课程，等级从1到10。很难制定两所大学精确的课程和等级之间的转换规则，交换信息很困难。

------------