数据技术应用概论
第一章 绪论
数据素质培养意义
数据技术
数据科学应用体系框架
第二章 计算机信息系统
计算机信息系统的构成
计算机信息系统技术路线
第三章 抽样技术
抽样技术概述
网络调查和社会调查
抽样学习
抽样技术的基本概念
第四章 网络爬虫与文本数据生成
网络爬虫概述
网络爬虫技术操作
文本数据生成
第五章 数据库技术
数据库技术概述
数据库系统开发
关系数据库
数据仓库
第六章 SQL语言
SQL概述
SQL关系定义
SQL查询基本结构
数据库修改
视图
第七章 数据预处理技术
数据预处理概述
数据清理
数据集成
数据规约
数据变换
第八章 回归模型
回归模型的基础知识
最小二乘法
其他常用回归模型
第九章 Logistic建模技术
基础知识
梯度上升算法
第十章 关联规则挖掘
关联规则挖掘的基础知识
关联规则挖掘的 Apriori 算法
其它常用关联规则挖掘算法
第十一章 决策树分类规则
决策树分类规则的基础知识
决策树分类规则挖掘的ID3算法
几种常用的决策树
第十二章 K-平均聚类
基础知识
基于划分的K‐平均聚类算法
其他常用的聚类
第十三章 神经网络模型
神经网络模型的基础知识
误差逆传播算法
其他常用的神经网络算法
第十四章 支持向量机
支持向量机的基础知识
支持向量机的SMO算法
其他常用的支持向量机算法
第十五章 集成学习算法
集成学习算法的基础知识
随机森林算法
其他常用的集成学习算法
第十六章 数据可视化
数据可视化的基础知识
可视化设计基础
数据可视化工具
-
+
首页
数据库技术概述
## 5.1.1 数据库技术产生背景 - 早期电子计算机只用于数值计算。数据依靠打孔卡片输入,并与特定计算程序捆绑,数据不存在独立的组织结构。 - 20世纪50年代后期到60年代中期,在磁鼓、磁盘等数据存储设备成功研发的基础上,出现文件系统实现对文件记录存取修改的数据处理技术。文件系统的出现在一定程度上实现了数据文件与应用程序的分离,数据获得初步的独立性。 - 随着存储设备容量的增大与存取速度的加快,计算机应用范围逐步从最初的数值计算向数据处理拓展。数据处理包括高度复杂的大量数据存储、检索与变换处理操作,且需要满足用户多目标的数据共享处理要求。相应文件系统在数据操作的便利性与数据共享方面均不能很好满足数据处理需要。于是以解决数据共享和统一管理为目标的数据库技术应运而生。 ## 5.1.2 数据模型与数据库 - 数据模型指数据存储内在逻辑的理论规定性。 - 数据模型是数据特征的抽象。是描述数据、数据联系、数据语义以及数据约束的概念工具的集合。 - 从系统的静态特征、动态行为和约束条件,为数据库系统的信息表示与操作提供一个抽象的框架。 ```mindmap ### 数据结构:描述数据的类型、内容、性质以及数据间的联系,是目标类型的集合。 ### 数据操作:描述在相应的数据结构上的操作类型和操作方式。 ### 数据约束:描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系,以及数据动态变化的规则,以保证数据的正确、有效和相容。 ``` ## 5.1.3 数据库的发展 >数据库系统最早出现于二十世纪60 年代。当时计算机开始被广泛地应用于数据管理,由此对数据共享性提出了更高的要求。依靠文件系统的数据管理模式已经无法满足需要,因此基于数据共享和统一管理的数据库管理系统(Database Management System, DBMS)应运而生。数据库系统的核心和基础是数据模型。所以通常也按照数据模型的特点将传统数据库系统分成网状数据库、层次数据库和关系数据库三类。 - 1、网状数据库。 1964年通用电气的查尔斯ꞏ巴赫曼(Charles Bachman)开发出第一个具备集成数据存储(integrated data store,IDS)功能的数据库管理系统。 系统采用网状数据模型,即以多点对多点的网状结构表示被处理的各用户事物数据关系,并采用连接指针实现数据存储的访问。是基于数据组织理论将数据与应用操作程序成功分离的创新,对计算机技术及其应用边界的拓展产生了里程碑的作用。 但因其网状结构复杂,存在用户访问困难,存储数据定位指针增大数据量和 增加数据修改难度的缺陷。 - 2、层次数据库 1966年IBM提出层次结构数据模型。1968年推出相应商用数据库管理系统,初称为信息控制系统/数据语言/接口(information control system/data language/interface ICS/DL/I)。 ICS为存储和获取数据的数据库,DL/I是与之交互的查询语言。 1969年ICS/DL/I改称为信息管理系统(information management system,IMS)。层次模型给出一对多的数据关系,通过关键字实现不同层次各数据的访问。其数据结构清晰直观,关键属性检索方便, `优点:具有易于快速存取、数据修改和数据库扩展。` `缺点:结构固化,缺乏灵活性,同属性数据多次存储,产生大量冗余数据。` >网状数据库和层次数据库很好地解决了数据的集中存储和共享问题,但在数 据独立性和抽象级别上仍有很大欠缺。用户在对这两种数据库进行存取时,需 要指定数据的存储结构,指出存取路径,十分不便。这些问题在后来出现的关 系数据库上得到了较好的地解决。 - 3、关系数据库 1970年IBM的科德(Codd)发表“大型共享数据库的关系模型”(A relational model of data for large shared data banks)的著名论文,借助集合论等数理逻辑提出关系代数理论,在该理论指导下创建出用行与列组成二维集合表来刻画数据关系的模型。 关系模型将用户数据分解为若干由行与列构成的关系表。其中行表示事物构成单元,列表示事物构成单元的属性。采用关系模型的数据结构实现了超越领域的高度抽象,也与人们利用统计表认知各领域事物的习惯高度相符。 - 4、数据库技术的相关发展 目前关系数据库虽然仍然牢牢占据数据库市场,但也不断出现一些新的探索。 20世纪80年代就开始的并行和分布式数据库研究,面向对象的数据库研究; 20世纪90年代的支持高速事务处理及其不间断使用的研究; 21世纪初的可扩展标记语言(extensible markup language,XML)以及 与之相关的XQuery查询语言的研究, 开源数据库系统PostgreSQL和MySQL应用研究; 2010年后针对大数据分析的数组高效列存储,高度并行分布式数据存储系统 的研究等。
张龙
2024年7月15日 13:37
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码