非结构化存储

一．非结构化文件存储全国中心提供两种写处理操作，Create和Update，Create是第一次写入fileblock操作，Update是对fileblock的修改、追加、删除操作。1.文件块创建（create）功能描述：接收创建请求，在HDFS上创建新文件块。文件块仅包括文件块头信息。业务流程：1.接收文件块写请求2.判断不存在该文件块，则创建新文件块。流程图：文件埠创建请求返回块存在？Yes创建新文件块，尽为文件块头No接口：writeEmptyFileBlockHeader(Filefile)2.文件块更新（update）功能描述：对已有文件进行更新操作。文件索引不变，内容追加到文件块尾部。业务流程：1.接收文件块更新请求，2.获取原Metadata信息(版本，子文件数，加密等级等)，3.生成新Metadata信息（版本+1），4.将新Metadata及文件内容追加到文件块尾部。5.Metadata存入MongoDB流程图：文件更新请求获取原文件元数据写入成功生成新文件元数据信息追加写入文件块尾元数据存入MongoDBYes返回失败No接口：intupdate(intkey,intfileType,Filefile,intfileIndex);intupdate(intkey,intfileType,InputStreamis,intfileIndex);intupdate(intkey,intfileType,ByteBufferbuffer,intfileIndex);3.文件块追加（append）功能描述：接收文件ID及文件流，在现有块尾部追加新文件元数据及文件信息。业务流程：1．接收文件块追加写入请求，2．生成Metadata信息，3．将Metadata及文件内容追加到文件块尾部。4．Metadata存入MongoDB流程图：文件追加请求写入成功生成新文件元数据信息追加写入文件块尾元数据存入MongoDBYes返回失败No接口：intappend(intkey,intfileType,intsecurityType,Filefile);intappend(intkey,intfileType,intsecurityType,InputStreamis);intappend(intkey,intfileType,intsecurityType,ByteBufferbyteBuff);4.文件块删除（delete）功能描述：接收文件ID及页码，删除块中已有文件（标记删除）。业务流程：1.接收文件删除请求，2.定位文件位置，3.置flag位为1（即标记删除），4.删除MongoDB中该文件Metadata信息流程图：文件删除请求修改块中元数据删除标志位修改成功删除MongoDB元数据信息Yes删除失败No接口：intdelete(intkey,intfileIndex);5.文件块调阅（read）功能描述：根据索引号找到文件块，通过页码、版本信息定位偏移量找出影像文件通过socket返回给客户端。业务流程：1.接收请求，2.获取Metadata，3.读取数据。流程图：接口：ByteBufferread(intkey,intfileIndex,intversion);6.文件块metadata抽取加载功能描述：抽取文件块Metadata信息，并存储Metadata信息到MongoDB中。业务流程：流程图：接口：addNewMetadataIndex(StringfileBlockName,MetadataIndexFileindex);ListMetadataIndexFilegetSortedMetadataIndex(StringfileBlockName,intkey);二．存储策略业务描述：将省前置存储到期的文件块移到全国中心云上去。业务流程图：读取数据库，获取迁移文件列表抽取成功写入MogoDByesyes已存在块查询MogoDB抽取文件块MetaNo记录文件块信息No写入成功No从消息队列取文件块存储策略将文件块存储到HDFSYesEFTP传输文件块写入成功删除源文件块Yes删除MogoDB文件块Meta信息No接口：三．离线存储1.部分离线业务描述：对已有文件块进行部分离线。即只抽取块中部分数据进行离线。业务流程：1.接收离线请求2.访问数据库，查询该块中待离线文件数3.如果待离线数，超过伐值，则进行离线4.访问数据库，获取待离线文件索引列表5.抽取所有待离线文件数据合并到新文件块中6.如果新文件块合并成功，则将新文件索引信息封装为Link信息填充到原文件块数据域7.新旧索引关联关系存入数据库8.修改原文索引状态为离线9.如果新文件块合并失败，则记录文件索引。下次离线请求时再离线。流程图：文件离线请求查询块中待离线文件数抽取待离线文件待离线数100YesNo记录块中待离线文件数合并离线文件数据到新文件块合并成功修改文件索引状态为已离线Yes修改源块文件，添加link信息结束记录索引以及meta信息No新旧索引关联信息存入数据库2.离线调阅业务描述：对已离线文件进程调阅业务流程：1.接收离线调阅请求，2.查询数据库是否存在新旧索引对应关系。3.如果存在新旧关系，则使用新索引进行离线调阅，4.如果不存在关系，则使用原索引进行离线调阅。流程图：调阅请求Webservices查询数据库有新旧索引对应关系使用新索引离线调阅使用原索引离线调阅NOYES四．数据库1.部分离线新旧索引对应关系表2.元数据表