毕业论文港口货运统计与决策支持系统

本科生毕业论文（设计）题目:港口货运统计与决策支持系统的设计与实现姓名:高旻学院:信息科学技术学院专业:计算机科学与技术班级:计科92学号:19209226指导教师:胡滨职称:讲师2013年5月15日1南京农业大学教务处制目录摘要…………………………………………………………………………………………2关键词…………………………………………………………………………………………2Abstract………………………………………………………………………………………2Keywords……………………………………………………………………………………2引言……………………………………………………………………………………………21课题研究意义及内容………………………………………………………………………21.1课题研究的背景与意义…………………………………………………………………31.2课题研究的内容…………………………………………………………………………32相关理论与技术基础………………………………………………………………………32.1ETL介绍…………………………………………………………………………………32.1.1ETL增量更新…………………………………………………………………………32.1.2ETL的数据质量………………………………………………………………………42.2kettle工具简介…………………………………………………………………………42.3oracle语句的应用………………………………………………………………………52.3.1oracle分析函数………………………………………………………………………52.3.2获得数据中的数字部分………………………………………………………………52.4powerbuilder的特点……………………………………………………………………63港口货运统计与决策支持系统分析与设计………………………………………………73.1需求分析…………………………………………………………………………………73.1.1港口物流操作流程……………………………………………………………………73.1.2系统目标………………………………………………………………………………73.2数据库设计………………………………………………………………………………73.2.1数据库分析……………………………………………………………………………83.2.2数据库结构设计………………………………………………………………………83.3ETL设计…………………………………………………………………………………103.3.1ETL分析………………………………………………………………………………103.3.2ETL设计………………………………………………………………………………103.4查询及统计功能设计…………………………………………………………………213.4.1查询和统计模块………………………………………………………………………213.4.2登录模块……………………………………………………………………………214港口货运统计与决策支持系统的实现…………………………………………………224.1ETL转换的实现…………………………………………………………………………224.1.1建立视图…………………………………………………………………………224.1.2kettle程序…………………………………………………………………………234.2界面实现………………………………………………………………………………255总结与展望………………………………………………………………………………30致谢…………………………………………………………………………………………312参考文献……………………………………………………………………………………31港口货运统计与决策支持系统的设计与实现计算机科学与技术专业学生高旻指导老师胡滨摘要：如今的集装箱运输高速发展，在网络环境下的信息服务，不再仅仅是传输信息，而是越来越多的专注于提供增值信息服务。研究箱状态信息查询和相关数据统计以支持决策分析成为趋势。本文设计并实现了对连云港电子口岸诸多系统所涉及的数据进行抽取、转换、再造，建立一个数据底帐，在此底账的基础上对进出口箱量、中转箱量等进行统计分析，对箱和提单在整个进出口操作中各个环节的状态进行联合查询。本文首先阐述了课题研究的背景、意义和内容，介绍了用到的主要理论知识，然后说明了数据库设计、ETL设计和界面设计。关键词：ETL；统计；集装箱DesignandImplementationofPortCargoStatisticsandDecisionSupportSystemStudentmajoringinComputerScienceandTechnologyGaominTutorHubinAbstract：Today,containertransporthasdevelopedrapidlyinthenetworkenvironment.Theinformationservicesofcontainertransportnolongerjusttransportinformation,butmoreandmorefocusonprovidingvalue-addedinformationservices.ThissubjecttransformstherawdatafromtheLianyungangEDICentertocreateadataledger,andthenstatisticsimportandexportcontainervolumeandquerystateofcontaineronthebasisofthisledger.Thispaperfirstdescribesthebackground,significanceandcontentoftheresearch.Thenthispaperwritesthemaintheoreticalknowledgeaboutthissubject.Andthenthispaperexplainsdatabasedesign,ETLdesignandinterfacedesign.Keywords:ETL;statistics;container目前，在港口企业，一般都建立有运输配送系统、仓储管理系统等信息系统。这些系统为港口企业累计了海量的业务信息。但是，这些软件都较简单、技术含量低，不具备提取并加工所存储的信息的功能，导致不能对企业中高层的经营管理提供决策支持，无法满足日益规范化的货代行业发展。如何使港口企业在日常生产经营过程中产生的大3量经营业务数据为公司决策层在进行经营决策时发挥更大的作用，正是统计与决策支持系统所关注的问题。所以，建立一个统计与决策支持系统就成为目前港口企业信息化建设的工作之一。本课题便是研究港口货运统计与决策支持系统的设计与实现。1课题研究意义及内容1.1课题研究的背景与意义连云港电子口岸是以港航电子数据交换业务为主的公司。随着口岸业务数据的大规模增长，连云港电子口岸逐步建形成了网上订舱、电子提箱、电子装箱单、场站系统、理货入库单系统等诸多业务系统。在出口业务方面，已经逐步形成了一条从订舱到放行装船的完整系统链条。本课题研究便是基于连云港电子口岸诸多系统所涉及的数据。如今的集装箱运输高速发展，在网络环境下的信息服务，不再仅仅是传输信息，而是越来越多的专注于提供增值信息服务。对已有信息进行分析加工，是所得到的新信息所具有的价值明显高于原有信息，这就是信息增值服务。这样，连云港电子口岸的仅以传送信息作为信息服务核心功能的系统就逐渐不能满足需求了。如何对信息进行进一步的提炼以便用于增值服务中变的至关重要。所以，研究“港口货运统计与决策支持系统的设计与实现”具有可行性和必要性。1.2课题研究的内容首先，对各种历史数据进行抽取、转换、再造，整理出一些有辅助决策的数据来，主要用到的是kettle工具，数据库用的是oracle。即从各个系统里面，识别并找出最原始的数据，将这部分数据抽取出来，建立一个数据底帐；然后针对这个底帐，再回溯关联各个系统，追踪各个系统的状态变化，延时分析同步到底帐上，丰富底帐数据。这样，底帐数据其实就是一个集装箱从录入系统、做各种业务、最后完结的一个完整周期。对与辅助决策、或者协调各个业务系统都是有很重要的意义的。一方面对整体的数据是一个新的认识，可以辅助决策，另一方面可以更好的协调当前运行的项目。其次，从对已整理出的底账数据进行查询、统计，界面的软件用的是powerbuilder。对进出口箱量、中转箱量等进行统计分析，对箱和提单在整个进出口操作中各个环节的状态进行联合查询。一方面对整体的数据是一个新的认识，可以辅助决策，另一方面可以更好的协调当前运行的项目。2相关理论与技术基础2.1ETL介绍ETL的三个字母分别代表的是extract、transform、load，即抽取、转换、加载[1]。数据抽取即是从数据源中抽取目的系统需要的数据；数据转换即是将数据抽取中获取的数据按系统需求转换，使其成为目的系统要求的形式，并对不一致、不需要的数据进行清洗和加工；数据加载即将转换后的数据载入目的系统数据源。ETL的核心在于T这个过程，也就是转换，而抽取和装载一般可以作为转换的输入和输出或者作为一个单独的部件，其复杂度没有转换部件高。ETL过程一般都是批量操作，不是针对单条记录的insert、update和select等操作。ETL原本用于构建数据仓库[2]，负责将分布的、异构的数据源中的数据抽取到临时中间层中进行清洗、转换、集成，最后加载到数据仓库，成数为据挖掘的基础。现在也越来越多地将ETL应用于一般信息系统中数据的迁移、交换和同步[3]。2.1.1ETL增量更新4ETL过程可分为全量过程和增量过程，前者对应首次的数据集成，后者对应着数据的增量维护。增量更新按照数据种类的不同大概可以分成四种：只增加，不更新；只更新，不增加；即增加也更新；有删除，有增加，有更新。这四种增量更新的思路大致相同，使用的步骤可能略有不同。增量更新的核心问题在与如何找出自上次更新以后的数据。方法一是使用时间戳。在原数据库增加一个时间戳，然后在转换之后的对应表保留这个时间戳，然后每次抽取数据的时候，先读取这个目标数据库表的时间戳的最大值，把这个值当作参数传给原数据库的相应表，根据这个时间戳来做限定条件来抽取数据，抽取之后同样要保留这个时间戳。方法二是使用触发器。分别对insert,update,delete操作建立触发器，将源数据表中进行过这些操作的数据加入到新表，在进行ETL的过程的时候读这个新表，在读完之后将这个表里面的数据删除掉。方法三是定时执行增量更新。比如两个小时或每天或者一个星期进行一次更新，这个时候可以不需要在目标表中增加一个时间戳字段来判断ETL进行的最大时间，直接在取得原数据库的时间加上限定条件。这个时候需要传一个参数，用getSystemInfo步骤来取得，而且你还可以控制时间的精度，比如到天还是到秒的时间。但这种方法，对某时段因为某种原因没有更新的情况处理比较麻烦，可能需要手工处理回来，如果失败的情况经常发生，那还是使用在目标数据库中增加一个时间字段取最大时间戳的方式比较通用。其他方法还有使用日志文件和使用全量数据等。2.1.2ETL的数据质量ETL很难保证数据的百分百准确。数据不一定要求百分百准确，但要知道为什么不准确。首先在数据源方面，就可能存在影响数据质量的原因，如数据源中存在数据格式错误、数据不一致、数据录入不全等。在ETL过程要有处理这些质量有问题数据的保证。这些问题数据，是丢弃还是处理，无法逃避。如果没有质量保证，那么在这个过程中，错误会逐渐放大，影响下一环节。ETL过程中也有对数据准确性产生重大影响的因素，可以分为下面几类：1、规则描述错误。设计人员对数据源系统理