数据库基础知识

Sql介绍SQLINTRODUCEPRESENTEDBYHuHaoPARTONESQL数据库类别数据库种类123sql结构化查询语句单机数据运行在一台服务器上文件式4批处理将sql分解成mr任务nosql泛指非关系型数据库交互式分级查询后汇总将sql分解成mr任务内存型数据放在内存里分布式数据运行服务器集群上数据库种类概述数据库分类SQL数据库所有数据都以表格的形式存储，并以sql语言进行查询。SQL是StructuredQueryLanguage(结构化查询语言)的缩写。SQL是专为数据库而建立的操作命令集，是一种功能齐全的数据库语言。SQL功能强大、简单易学、使用方便，已经成为了数据库操作的基础，并且现在几乎所有的数据库均支持SQL。NoSQL数据库（noonlysql）泛指非关系型的数据库主要为了克服关系型数据库的缺点比如关系型数据库中所有数据都必须有同样的字段，或者关系数据库难以表达的关系图谱结构等NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。数据可以存储为json格式或者图数据结构的格式数据库种类概述数据库分类单机数据库在一台服务器上运行过去当数据库容量或者性能不足时，常常是提高机器的配置甚至购买专用的数据库服务器来进行纵向的扩容在数据量增长不是太大，摩尔定律还能跟得上数据量的增长，这种方法似乎是一直可行。但是随着大数据时代的来临，单台数据不再适应了。分布式数据库运行在服务器集群上将成百上千台服务器连接起来，组成了分布式的数据库数据库种类概述数据库分类文件型数据放在硬盘上计算器内存在之前都是比较稀有，但是硬盘都一直是相对较大的。将数据按照文件块，存储在硬盘中。将索引，键存在内存中。查询时候是通过内存中的键和索引、来查找硬盘中的文件块。再加上适当的热数据缓存，就可以应付绝大数情况内存型当现在的速联网时代，大规模的随机读，随机取榨干了传统数据库的性能。现在的内存已经相对廉价起来了。再加上分布式数据库的发展，就有人试着将所有数据放在内存中。来实现随机读写数据。事实证明了，这发挥了巨大的作用数据库种类概述数据库分类批处理将sql分成mr任务这是分布式数据库中的一个子分类。当今数据库中还没有批处理这种方式。由于hadoop生态中的hive比较出名，所以加了个这个分类。批处理中，数据库会将查询转换成mapReduce任务，在全部数据集中运行。任务可能会持续几十分钟甚至几天才能返回结构交互式分级查询之后汇总也是对hive的反面情况所说，提交sql查询后，几秒或几分钟内返回结果。大多是将查询分解成多个子查询，多个并列或层级查询中运行，最后再合并得到结果PARTTWO数据库产品介绍SQL数据库MysqlPostgreSQLSQLServerOraclesqlite微软随office自带的轻量数据库AccessAndroid手机带的轻量数据库SUN公司的商业数据库微软公司的商业数据库开源的数据库sun公司的中小型开源数据库NoSQL数据库MongoDBNeo4jelasticsearchInfluxDB时间分布式数据库全文搜索，以json格式保存数据有一套查询语言，也支持分布式最著名的图数据库，不过用户还是非常少，只能支持百万级数据应用最多的文档型数据库，官方称这个数据库能提供数倍于mysql的读写性能，并且支持集群，可以横向扩容单机和分布式数据库分布式HiveApache的，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。单机Mysql单机|分布式postgreSQLImpalampala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速文件型和内存式数据库内存型数据放在内存中文件型数据放在硬盘上，索引和键放在内存文件|内存式广泛用于缓存redis由于支持复杂的数据类型，受到广泛的青睐批处理和交互式HiveHadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。批处理型交互式Hive和Hbase是两种基于Hadoop的不同技术--Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。sql数据库各个类型不是互斥的。感谢聆听THANKYOU!PRESENTEDBYHuHao