Login
升级VIP 登录 注册 安全退出
当前位置: 首页 > word文档 > 标准规范 > 智慧农业技术方案,智慧农业项目方案

智慧农业技术方案,智慧农业项目方案

收藏

本作品内容为智慧农业技术方案,格式为 docx ,大小 10145675 KB ,页数为 47页

智慧农业技术方案


('智慧农业技术方案第一部分、项目概况1.1、建设背景“智慧农业”就是充分应用现代信息技术成果,集成应用计算机与网络技术、物联网技术、音视频技术、传感器技术、无线通信技术及专家智慧与知识平台,实现农业可视化远程诊断、远程控制、灾变预警等智能管理、远程诊断交流、远程咨询、远程会诊,逐步建立农业信息服务的可视化传播与应用模式;实现对农业生产环境的远程精准监测和控制,提高设施农业建设管理水平,依靠存储在知识库中的农业专家的知识,运用推理、分析等机制,指导农牧业进行生产和流通作业。智慧农业是农业生产的高级阶段,是集新兴的互联网、移动互联网、云计算和物联网技术为一体,依托部署在农业生产现场的各种传感节点(环境温湿度、土壤水分、二氧化碳、图像等)和无线通信网络实现农业生产环境的智能感知、智能预警、智能决策、智能分析、专家在线指导,为农业生产提供精准化种植、可视化管理、智能化决策。“智慧农业”是云计算、传感网、3S等多种信息技术在农业中综合、全面的应用,实现更完备的信息化基础支撑、更透彻的农业信息感知、更集中的数据资源、更广泛的互联互通、更深入的智能控制、更贴心的公众服务。“智慧农业”与现代生物技术、种植技术等高新技术融合于一体,对建设世界水平农业具有重要意义。1.2、平台定位1.2.1、建立行业运营平台智慧农业就是为了建立从生产源头到消费终端的集成化质量全过程控制的质量追溯体系,对生产、加工、运输、销售各环节形成可追溯的信息记录及可视化追溯,最终做到让生产者开心、监管者放心、消费者安心的农产品可追溯质量服务平台。智慧农业是基于智慧农业领域的生态种植的质量可追溯体系而建立的一套服务平台。该平台可以为各地的种植户建立帐号,各用户可以根据需要建立自己的人员管理、种植信息管理、作物生长追溯、农产品加工、农产品销售、产品配送及物流追踪、财务管理等功能模块。提供农产品的网络销售平台,用户可以将农产品挂在平台上推广、销售,消费者可以通过点击产品追溯信息,了解作物的生长环境、农药的使用情况等信息,作为产品销售的一大看点,促进产品的销售。为了减轻种植用户的前期投入,系统采用B/S架构,架设公网服务平台,用户只需要按年缴纳一定的服务费用,就可以在家中通过网页登录平台,使用平台实现对种植基地的管理、信息发布、商品销售、作物生长过程的信息记录查询和追溯。服务平台除了公网服务平台的建设,还需要在种植基地布置土壤、水质监测、病虫害、气象等传感器、监控摄像头等设备、设施。各基地通过4G或有线网络将数据上传智慧农业,进行统一管理及提供数据分析报表;管理人员也可以通过手持设备,将现场的监测情况及时上传平台。各种植户可以在智慧农业上对种植基地进行统一管理,查看作物的生长情况、施肥、灌溉等提醒、病虫害监测等信息,向平台主动推送作物生长信息,在作物成熟前,就可以形成有效订单。建立一套完善的农业植保运营管理平台,整合整个产业链,为无人机厂家、飞手、农药企业、植保客户提供全方位对接与服务,建立无人机与飞手、飞手与植保客户、农药厂商与植保客户的联系与沟通,打通了各个环节的断点和信息不对称。同时,在植保服务的过程中,采集整个无人机植保服务的全过程数据,通过手动录入或自动采集等方式,完成平台的数据积累。1.2.2、建立植保行业大数据中心平台以无人机植保农药喷洒这一行业细分领域为基础,通过人工录入植保服务过程,连接无人机、地面站、监测仪等相关采集设备,抓取互联网上的一些专业数据库以及与相关农业科学院所等专业机构的合作,采集地理信息,气象信息、土壤信息、农作物信息、病虫害信息、农药信息、药剂配比信息、配件信息、无人机飞行信息、飞手信息、飞行轨迹、药剂喷洒控制信息等等建立分析模型,通过效果评测信息逐步完善分析模型,从而形成覆盖农业无人机植保领域的大数据中心,成为行业的智脑,填补行业的空白。目前,平台已经完成针对280万亩的农田进行数据采集工作,未来2~3年,预计采集的样本数据不少于5000万亩,这些数据的积累和沉淀将会是海量的、无比庞大的,其具有的数据意义是具有覆盖性及高价值的。1.2.3、完善植保全过程的管理手段通过强大的数据分析、信息交换、海量存储、智能分析等业务能力,逐步完善植保全过程的管理手段,提高信息化装备,健全信息服务质量,提高平台农业植保工作服务能力,可为农业植保行业相关企业、从业者和种植户提供专业化、智能化的农业大数据服务,利用平台的基础服务用户能够更快,在提高植保无人机施药效率和施药效果的同时,进一步降低种植户农业植保作业成本,提升经济收入,为农业植保工作宏观决策提供坚实科学的大数据依据,带动并促进无人机植保服务的行业发展,促进我国农业智能化水平的提升、助力农业现代化快速发展。1.2.4、参与整个植保链条,服务于整个植保链条,获取收益平台从无人机厂家、到飞手培训、农药厂商的洽谈及植保客户服务,全程参与整个植保链条,按照每亩收取一定服务费,通过平台的大数据分析能力及信息化手段为整个产业链进行服务,提高整个产业链条的服务能力及工作效率。1.3、建设意义1.3.1、依托信息化手段,推动农业植保服务的发展智慧农业,依托物联网、移动互联网、互联网等手段,为质保服务产业链打造综合化农业植保服务管理平台,可有效降低信息获取及农业植保工作开展成本,提升农业植保产业链各方沟通及工作效率,打造新型农业植保服务体系,弥补产业链的空白地带,推动我国农业向现代化转型工作方向发展。智慧农业通过采集植保无人机和物联网相关环境和植保数据,实现病虫害预警等功能,同时以平台为媒介链接基层农技推广人员、高效及科研院所的农业科技人员等,构建面向种植大户的植保服务体系,开展植保服务信息推送、病虫害远程诊断等服务,最终利用平台积累的大数据分析区域植保相关信息,为区域现代化农业发展提供决策依据。1.3.2、建立植保运营大数据信息库1)完善无人机施药安全性植保无人机根据其型号不同,在农药喷洒的过程中也需要进行科学化的管理手段,如果不能进行精准分析,反而会导致浪费农药、降低防治效果,增加防治次数、相邻地块的敏感作物受损、过量喷药、农药残留超标、空气和水源污染等一系列后果,对人类、动物和植物产生不良的影响。为降低农药漂移,针对不同的无人机平台,研究机身下方药液雾滴在气流场中的运动情况,分析环境因素(温度、风速、风向等)、施药量、作业速度等因子与药液飘移距离、飘移量的复杂关系,评估施药安全性,制定措施,减少农药对生态的污染。2)精准施药控制系统研究根据农用轻型无人机施药方式与方法,重点研究施药过程全程自动控制技术,针对我国的无人机平台,研究设计开发新型的精准施药系统与GPS导航系统,实现喷洒精确对接、定点施药、自动导航、高效自主作业,避免施药过程中重喷漏喷现象,解决施药操控问题。基于大数据的分析结果,反向推进无人机厂家研究开发新型施药控制系统,从而进一步推进施药的精准度,进而促进我国农业生产中的用药总量控制和减少,利国利民。3)无人机植保作业的科学化管控智慧农业项目航路规划和实时显示系统,集GPS和GIS于一体,实现自动规划农田边界、自动规划飞行航路、测算农田面积、实时显示飞行轨迹、定点精准施药功能。1.3.3、以大数据为核心竞争力的行业软件平台,提升无人机植保服务的专业化无人机农业植保行业与传统的农业植保相比,优势巨大,并且有广阔的市场发展前景,但是在植保过程中缺少专业化的服务体系和科学化的管理手段,探索规模化、社会化无人机植保病虫害防治的区域经营模式,以及植保、农机等多角色联合的无人机植保病虫害防治技术与装备推广机制,最终提出包括无人机植保过程的科学化管理、无人机施药配比、用药选择、装备配置体系,是提升无人机植保服务的关键性因素。农业植保大数据行业软件,以其强大的数据分析能力,解决了植保过程中从无人机选择、农药选择、农药科学配比、无人机飞行高度、植保过程轨迹规划等等一系列的突出问题,同时在这个过程中也对无人机的相关配件、农药企业提出了改进的要求,软硬结合,相互促进,随着无人机施药技术的发展,将带动新型药剂产业和无人机施药装备产业的发展,从而使无人机植保的服务更加专业化、科学化。第二部分、项目方案智慧农业包括展现层、应用层、数据处理层、设备层。主要由行业应用平台、大数据分析平台两个子平台组成。平台总体架构图如下:以下通过对行业应用平台、大数据分析平台、网络拓扑图、研发技术路径、解决关键问题五部分对智慧农业进行详细介绍:2.1、行业应用平台行业应用平台主要实现的是通过对无人机农业植保过程中,农药喷洒操作的全流程数据以及相关影响因素数据的采集,信息化管理整个过程,起到提高无人机植保工作效率的目的,达到可以进行数字化模拟及流程回溯的效果。行业应用平台对无人机农业植保过程中产生的数据进行详细记录采集,录入到系统中,根据不断积累的无人机农业植保数据,利用系统中大数据分析技术,针对不同地区、不同地形、不同土壤、不同农作物、不同气象条件下、不同病虫害程度、不同无人机型号、不同农药等等因素,给与种植户合理的农药使用建议,使种植户在最少农药使用量、最合理配比的情况下,达到最大的防治效果,达到在降低农业种植成本、提高农作物产量、减少农作物农药残留、提高农作物安全性的情况下,增加种植户经济收益的目的。行业应用平台主要包含电商推广平台、植保作业平台、飞手平台、药剂平台、无人机平台五大功能模块详述如下:2.1.1、电商推广平台电商推广平台功能模块主要实现的是不断加强与顾客交流、不断了解顾客需求信息记录及对客户在平台下单和支付的流程数据的管理,同时利用大数据分析技术针对目标客户进行高效的营销推广管理。包括订单管理、支付结算、精准营销、客户关系管理四个主要功能模块。1)订单管理程序描述用户登陆系统后,在系统订单管理模块中,可以查看自己的订单信息,包括未支付、已支付、未收货、已收货等分类信息。功能功能说明:订单信息展示列表界面。点击“订单管理”后,直接打开订单信息,展示内容为订单基础信息(部分)项目。未支付:用户已经下单的信息,但是没有完成支付的信息列表。已支付:用户下单且已经通过系统支付功能完成支付的信息列表。未收货:对已经完成支付的订单商品进行了发货操作,但是用户还没有进行收货。已收货:用户已经收到货品,并且进行了收货确认。具有查询功能,可以根据商品名称、时间、状态等进行查询信息显示。2)支付结算程序描述用户登陆系统后,在系统支付结算模块中,可以查看自己的支付结算信息,包括未支付、已支付分类信息。功能功能说明:支付信息展示列表界面。点击“支付结算”后,直接打开支付信息,展示内容为支付结算基础信息项目。未支付:用户将选中的商品已经形成订单,但是未进行支付的列表信息。已支付:用户针对已经形成订单且完成支付操作的列表信息。具有查询功能,可以根据时间、状态、金额等进行查询信息显示。3)精准营销程序描述利用智慧农业中大数据分析技术,针对系统中已经获取的大量土壤、气象、地域、农作物等数据信息处理后,得出我国某区域内的农作物在种植过程中,非常适合使用已经与我司合作的农业植保无人机进行作业,则我司及其合作无人机植保公司即可将此区域内的种植企业、农村合作社、种植大户等进行有针对性的、重点营销对象进行市场公关。功能用户登陆系统后,在系统精准营销模块中,可以查看精准营销信息,包括营销计划、营销推广方案、营销过程、潜在客户、营销结果、问题分析等分类信息。功能说明:精准营销功能展示列表界面。点击“精准营销”下的功能分类后,直接打开对应信息,展示内容为精准营销各分类相关基础信息项目。具有查询功能,可以根据时间、名称、执行状态等进行查询信息显示。界面截图潜在客户信息管理:客户拜访记录4)客户关系程序描述利用智慧农业中精准营销功能模块得到的目标客户所在区域后,市场专员将会对目标客户区域内的种植企业、农村合作社、种植大户等客户信息进行搜索整理,然后通过系统中客户关系管理模块下新增潜在客户功能,将潜在客户信息录入到系统中,由市场专员进行后续跟进洽谈合作。市场专员根据获得的潜在客户信息制定初步拜访计划,市场专员需要在每次拜访后进行工作日志的记录,包括工作进展、客户状态、遇到的问题、准备的解决方案、问题处理结果等信息。如市场专员与某一个客户联系沟通一段时间后,即可对客户状态给与一个结果判断,将放弃客户做出标记,将合作客户信息进行完善等等。对已经合作的客户需要做好客户维系计划和维系过程、结果记录等。功能用户登陆系统后,在系统客户关系模块中,可以查看客户信息,包括客户名称、客户联系人、客户类型、采购规模、合作信息、市场专员等分类信息。功能说明:客户关系展示列表界面。点击“客户关系”后,直接打开对应信息,展示内容为客户关系相关基础信息项目。具有查询功能,可以根据名称、负责人、客户类型、采购规模等进行查询信息显示。主要功能包括下图所示:客户基础信息(Web):潜在客户信息管理(App):联系人管理:2.1.2、植保作业平台植保作业平台主要实现对无人机农业植保服务全流程的信息化管理,包括各角色协同合作办公、植保前期准备和估算物资、植保中期制定技术和植保实施、植保后期验收和效果评测流程的把控管理,利用信息化系统提高管理能力。主要包括协同办公管理、项目管理、实施管理、植保评测管理四个主要功能模块。1)协同办公程序描述协同办公模块主要是为了建立以协同办公为核心的协同工作平台,提高工作效率;建立广泛的沟通渠道;基于灵活的信息发布功能,建立协同系统和文化宣传阵地,实现内容信息共享、工作协同;宣传和谐的企业文化,促进企业健康发展;对市场、可研、生产、销售、安全、售后等核心价值链信息资源进行整合,提高核心竞争力。功能用户登陆系统后,在系统协同办公模块中,可以查看本系统中协同办公的过程信息,包括即时沟通、工作协同、信息中心、流程审批、任务布置、任务催办、知识管理等分类信息。功能说明:协同办公展示分类功能列表界面。点击“协同办公”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。即时沟通:内部短信、内部邮件、客户端信息互发等。工作协同:工作流处理,协同项目管理、工作计划、工作日志。信息中心:公告、新闻、投票等发起、审核、发布等。流程审批:发起如请假、外出办公等申请,由对应负责人进行审批回复。任务布置:由相应管理人员进行相应任务的布置派发。任务催办:由相应管理人员或协作人员发起任务催办信息,系统将催办信息推送给被催办人,由被催办人进行回复。知识管理:个人文件柜、公共文件柜、网络硬盘、图片浏览等。具有查询功能,可以根据时间、负责人、工作名称、文件名称等进行查询信息显示。主要功能包括下图所示:2)项目管理程序描述本系统项目管理模块下,主要包括无人机农业植的保合同管理(包括:合同信息管理、新增植保合同)--植保需求管理(包括:植保需求管理、创建植保需求)--植保资源估算管理(包括:资源估算管理、新增资源估算)--植保项目管理(包括:植保项目管理、创建植保项目、指派项目经理、变更项目经理、我的项目)等功能的全过程管理信息。功能功能说明:项目管理展示植保项目管理分类功能列表界面。点击“项目管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。植保合同管理:包括新增植保合同、查看植保合同、合同金额管理、合同发票管理等。植保需求管理:通过植保时间的不同,将植保合同分解为植保需求。包括创建植保需求、植保需求查看等功能。植保资源资源估算管理:主要是对植保需求中的服务实施时,所需的农资、人员、无人机等进行估算。包括新增植保资源估算、植保资源估算管理等。植保项目管理:包括创建植保项目、植保项目查看、项目经理指派、变更项目经理、我的项目(确认接受项目)。具有查询功能,可以根据合同名称、需求名称、项目名称、时间、项目经理等进行查询信息显示。性能栏目点击进入后,栏目界面在3秒钟内完成加载并显示。查询操作选择查询条件并确认查询后,查询结果在5秒内完成加载并显示。界面截图合同信息管理:植保需求管理:新增资源估算:植保项目管理(Web):植保项目管理(App):项目经理指派:我的项目:3)实施管理程序描述本系统中实施管理模块下,包括:植保任务管理(包括:任务信息管理、创建植保任务、指派飞手小组、我的任务)--任务实施管理(包括:任务实施计划、任务计划审批、任务实施日志)--二次喷洒管理(包括:二次喷洒申请、二次喷洒审批)的全过程管理信息,主要是针对无人机农业植保服务的任务分解、实施计划、实施日志、二次喷洒申请及审核过程的管理。功能功能说明:实施管理展示分类功能列表界面。点击“实施管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。植保任务管理:主要是将植保项目分解为更小单位的植保任务,并指定飞手小组负责此植保任务,飞手队长可以看到被指定的任务信息。任务实施管理:主要是飞手队长与客户技术员到田间进行勘测后,制定具体的植保实施计划并提交给项目经理审查;项目经理审查后,给与批复,然后由飞手队长带领小组的飞手按照植保计划进行植保任务服务实施,并且每日需要填写植保日志记录下具体的工作进展情况和当天植保过程中的相关信息。二次喷洒管理:主要实现如果植保喷洒完成后,植保效果由于各种原因没有达到客户满意程度,且客户要求进行重新喷洒时,则由飞手队长进行重新喷洒申请,由项目经理与客户沟通后审批是否同意重新喷洒。具有创建、查询、修改等功能,可以根据任务名称、任务时间、飞手队长、项目经理等进行查询信息显示。界面截图任务信息管理:我的任务:任务实施计划:任务实施日志:二次喷洒申请:4)植保评测程序描述飞手小组每天完成植保任务后,都需要要求客户技术员签字一份植保服务确认单,并在植保任务实施完成后3~4天,返回到作业地块进行植保效果查验,请客户进行验收并进行满意度评分。在客户给与评分完成后,飞手队长则可以进行植保任务验收申请,由项目经理与客户核对后进行审批,并对飞手小组服务给予评价,在系统中记录植保效果等相关信息。当某个植保项目所属的植保任务都验收通过后,项目经理可以发起植保项目验收申请,由市场专员同客户确认后进行审批,并对项目经理及服务给予评价,并在系统中记录植保效果信息。当某一个植保需求所属项目都验收通过后,市场专员则可与客户保需求款项已完结操作,由总经理或其它领导对结款完成需求,进行整个植保过程点评。功能用户登陆系统后,在系统植保评测管理模块中,可以查看本系统中任务验收管理、项目验收管理、需求进度管理等分类信息。功能说明:植保评测管理展示验收管理分类功能列表界面。点击“植保评测管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。任务验收管理:包括任务验收申请、任务验收审批两个功能。项目验收管理:包括项目验收申请、项目验收审批两个功能。需求进度管理:包括需求进度管理一个功能。具有查询功能,可以根据合同名称、需求名称、项目名称、时间、项目经理等进行查询信息显示。界面截图任务验收申请:项目验收申请:需求进度:2.1.3、飞手平台飞手平台模块实现的是对飞手的招募、操控培训、操控能力考核评级、签约信息管理、飞手与植保任务对接等方面的管理。主要包括飞手招募管理、飞手培训管理、飞手认证考核管理、平台签约管理、任务对接管理四个主要功能模块。1)飞手招募程序描述主要实现对飞手招募信息的新增、编辑、删除、查看等管理功能。由于植保无人机飞控手不是一个长期、固定的工作,且市场上的需求变化非常的大,所以需要不断的进行飞手招募。功能居有信息录入、编辑、提审、审核、发布、删除、置顶等管理功能,可以发布图片、文字信息,并可以选择发布的信息展示渠道,如Web网站、手机客户端或微信公众号。2)飞手培训程序描述主要实现对已招募的飞手进行业务基本知识、培训视频、注意事项等内容的新增、编辑、删除、查看等管理功能,为初级飞手提供飞行知识、学习培训的管理平台。功能包括飞行基础知识的新增、修改、删除、查看等管理功能,可以发布飞手培训文字、图片、视频信息,为飞手深入的学习了解飞行知识提供了便捷渠道。3)认证考核程序描述主要实现对飞手技能水平的考核、打分等管理功能,提供在线考核题库,飞手登录后可实现在线答题,答题完成后可对考核水平进行打分,可按照分数给飞手进行考核评定。功能包括对题库题型的新增、修改、删除、查看功能,按照题型可录入题目、内容、正确答案等内容,并可实现对题目进行修改、删除、查询功能,实现随机抽取固定数量题目,为飞手的能力水平提供认证考核功能。4)平台签约程序描述主要实现对已认证通过的飞手或考核通过的飞手进行签约,并对飞手的签约信息进行管理维护,由于飞手信息量众多不易维护,利用平台签约可以快速的管理和维护签约飞手。功能包括对飞手签约信息进行新增、修改、删除、查询等管理功能。可以包括飞手姓名、性别、年龄、学历、联系方式、从业时间、签约时间、结束时间、签约合同等内容进行管理维护,并能够对签约即将到期飞手进行标注提示。平台签约飞手信息表5)任务对接程序描述无人机农业植保过程中需要多名飞手协同合作,共同完成一项任务,所以需要成立飞手小组,由飞手队长统一调度工作内容和进展,并向项目经理负责和汇报。而且飞手小组接受的植保任务中的地形勘测、植保计划制定、植保过程管理、植保日志填写都需要由飞手队长负责完成,还有后续的植保任务验收等工作。功能用户登陆系统后,在项目对接模块中,可以查看本系统中项目对接功能信息,包括我的任务、任务实施计划、任务日志等分类信息。功能说明:项目对接展示分类功能列表界面。我的任务:项目经理指派给飞手队长的任务,可查看任务详情。任务实施计划:编写制定实施计划并提交审批。任务日志:任务实施开始之后,每天记录工作进展和情况,包括植保实施过程中各种影响因素。具有查询功能,可以根据时间、负责人、工作名称、文件名称等进行查询信息显示。任务对接信息表:2.1.4、药剂平台药剂平台主要实现的是对从互联网、农科院、农业高校等获取的病虫害信息、用药专业性信息、农药信息以及专家互动指导方面的功能。主要包病害管理、药剂管理、配方管理、专家支持四个主要功能模块。1)病害管理程序描述主要实现对病害种类、病害的来源、病害特征说明进行管理维护。通过对植物病害内容的归纳分类,能够快速的找出植物对应的病害,快速找出病害的治理方法。功能包括对病害内容的新增、修改、删除、查看功能。病害内容可包括文字、图片信息发布,让病害内容更加形象生动,是用户快速的找到病害内容。2)药剂管理程序描述主要实现对植物药剂的类别、药剂情况等信息进行管理和维护,通过对药剂情况的管理,能够帮助用户快速的了解药剂使用量,对病害进行对症下药。功能包括对药剂信息的新增、修改、删除、查询功能,药剂信息主要包括药剂名称、药品名称、简介、使用量、使用范围,能够为用户药剂使用提供知识库管理查询功能。3)配方管理程序描述主要实现对药剂配方进行管理维护,通过对配方的管理能够帮助农户分析成分,选择正确的药剂来喷洒。功能包括对配方信息的新增、修改、删除、查询等功能,配方信息主要包括配方类别、配方内容、成分含量、使用范围等信息,能够帮助农户精准的分析配方。4)专家支持程序描述主要为农户农药喷洒、病虫害治理、科学种植等内容提供专家互动功能,农户可通过发布相关问题,来解决种植过程中遇到的难题。功能包括对农户咨询问题进行分类管理,专家可通过后台回复农户问题,支持文字、图片内容上传,专家可对回复内容进行新增、修改、删除、查看等操作,农户可查看到专家回复的内容,实现在线互动功能。2.1.5、无人机平台无人机平台主要实现的是对无人机型号、参数、系统编号、保险信息、仓储物流、调度方面信息的管理功能。主要包括设备管理、维修保养管理、备品备件管理、调度管理四个主要功能模块。1)设备管理程序描述主要是针对合作厂家的农业植保以及通过市场上获得的其它无人机型号、基本参数、植保能力、可操控性、故障率等等方面信息的描述。功能功能说明:设备管理展示设备管理分类功能列表界面。点击“设备管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。无人机型号管理:将合作厂家的农业植保无人机及市场上主流的无人机型号信息录入到系统中并进行管理。无人机编号管理:对仓库中的无人机进行编号管理,并将编号信息录入到系统中。无人机保险管理:对具有编号的无人机进行保险信息登记。具有查询功能,可以根据型号、无人机编号、入库时间等进行查询信息显示。界面截图无人机型号管理:无人机编号管理:2)维修管理程序描述主要是针对系统中的无人机进行保养、维修、更换零配件的次数、时间、地点、操作人等信息进行记录。功能功能说明:维修管理展示维修管理分类功能列表界面。点击“维修管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。具有查询功能,可以根据型号、无人机编号、维修时间等进行查询信息显示。3)备品备件程序描述主要是针对系统中无人机的备品、备件进行出库信息、入库信息、编号、适用机型等方面信息进行记录。功能功能说明:备品备件管理展示备品备件管理分类功能列表界面。点击“备品备件管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。具有查询功能,可以根据型号、备件编号、时间等进行查询信息显示。4)调度管理程序描述38主要是针对仓库中的无人机、备品备件进行出库、入库、物流配送方面信息的管理。功能功能说明:调度管理展示调度管理分类功能列表界面。点击“调度管理”分类功能后,直接打开对应信息,展示内容为分类功能相关基础信息项目。具有查询功能,可以根据型号、无人机编号、入库时间等进行查询信息显示。界面截图入库管理:出库管理:物流管理--发运单:2.2、大数据分析平台2.2.1、数据来源经过项目的可研分析及产品业务形态的调研,为了确保大数据平台模型的精准及后续的扩展,规定了如下种类的采集:1)无人机植保过程信息采集,这部分需要手动录入2)对无人机、地面站、土壤测试仪、温湿度记录仪、风向风速测试仪等设备进行接口的建立,按照规定时间进行数据采集。3)建立网络爬虫,获取互联网及专业数据的采集工作。4)与相关大学、科研院所进行合作,在农药配比等方面进行了深入沟通,建立合作机制,探讨用药专业性数据模型。前期调研总结,对未来数据分析及应用有直接和间接性意义的数据进行归类,分析,并建立数据采集的解决方案2.2.2、数据采集根据数据的来源分类情况,进行了按照分类采集分类下的详细数据,具体如下图:根据数据的采集方式、类型、大小、时时性的不同,分别设计了不同的解决方法,最终将采集到的各类数据录入汇总到本平台中。1)期初数据采集模块:人工通过表单及表格形式进行录入到系统中当中的各类农业植保、气象信息、地理信息等基础数据。2)外设数据采集模块:通过土壤测试仪、温湿度记录仪、风速风向测试仪等设备人工录入以开发的数据采集系统的表单、表格式采集,无人机及硬件设备与硬件厂家通过WebService等外部接口对接后,进入数据采集系统,气象信息等通过数据采集系统定时任务进行时时同步,效果评测信息待植保任务结束项目经理通过日志形式把植保信息录入植保系统中,并同步到数据采集系统。2.2.3、数据预处理数据预处理过程是所有数据处理的前置操作,所有大数据的操作与数据建模依赖于数据预处理的准确性。数据预处理是清除错误和不一致数据的过程,数据预处理不是简单的用更新数据记录。数据预处理的任务是过滤或者修改那些不符合要求的数据。不符合要求的数据主要有不完整的数据、错误的数据和重复的数据3大类。各种不同的清理操作都是针对特定的应用领域进行数据预处理的。包括:检测并消除数据异常、检测并消除近似重复记录、数据的集成、特定领域的数据预处理。平台中的数据来源于数据仓库,其中数据是不完整的、有噪声和不一致的。数据预处理过程试图填充缺失的值,光滑噪声并识别离群点,并纠正数据中的不一致。数据预处理的目的是为挖掘提供准确而有效的数据,提高挖掘效率。智慧农业的数据预处理主要分为以下几个步骤:\uf06c缺失值处理\uf06c数据选择\uf06c数据变换\uf06c数据的集成\uf06c数据消减\uf06c数据预处理评估1)缺失值处理对于数据集中的数据,存在有这样两种情况:(1)数据中有大量缺失值的属性,我们通常采取的措施是直接删除,但是在有些系统进行ETL处理时,不能直接处理大量的缺失值。(2)对于比较重要的属性,也会存在少量缺失值,需要将数据补充完整后进行一系列的数据挖掘,针对这两种不完整的数据特征,在数据预处理时采取了以下两种方式对数据填补:首先,将缺失的属性值用同一个常数替换,如“Unknown”。这种方式用于处理上述的第一种数据特征的数据,先用一个替换值将空值进行约束替换。处理后的数据对后期挖掘工作没有价值会选择删除。其次,利用该属性的最可能的值填充缺失值。对于第二种数据特征的数据,事先对每个属性进行值统计,统计其值的分布状态和频率,对该属性的所有遗漏的值均利用出现频率最高的那个值来填补。对缺失数据进行填补后,填入的值可能不正确,数据可能会存在偏置,并不是十分可靠的。然而,该方法使用了该属性已有数据的大部分信息来预测缺失值。在估计缺失值时,通过考虑该属性的值的整体分布与频率,保持该属性的整体分布状态。2)数据选择在对数据进行缺失值清理后,会考虑删除掉冗余属性、或者与挖掘关系不同属性的人工选择和数据消减是不同的,即使两者的目的都是缩小所挖掘数据的规模,但却不会影响(或基本不影响)最终的挖掘结果。都属于属性的降维,但是现有的数据消减包括:数据聚合、消减维度、数据压缩和数据块消减。而人工属性选择是物理降维方式,通过对业务的理解和相关人员的沟通,对数据集中的数据进行初步的筛选。3)数据变换数据变换是对数据的一个标准化的处理。大部分数据需要进行数数据变换是不同来源所得到的数据可能导致不一致,所以需要进行数据变换,构成一个适合数据挖掘决的描述形式。在项目中我们进行数据转换包含的处理内容有:(1)属性的数据类型转换。当属性之间的取值范围可能相差很大时,要进行数据的映射处理,映射关系可以去平方根、标准方差以及区域对应。当属性的取值类型较小时,分析数据的频率分布,然后进行数值转换,将其中字符型的属性转换为枚举型。(2)属性构造。根据已有的属性集构造新的属性,以帮助数据挖掘过程。很多情况下需要从原始数据中生成一些新的变量作为预测变量。(3)数据离散化。将连续取值的属性离散化成若干区间,来帮助消减一个连续属性的取值个数。(4)数据标准化:不同来源所得到的相同字段定义可能不一样。把它们的定义和取值区间统一起来。数据标准化过程还用来消除变量之间不同数量级造成的数值之间的悬殊差异,消除个别数值较高的属性对聚类结果的影响。4)数据的集成数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为数据挖掘提供完整的数据源。数据集成处理需要考虑以下几个问题:(1)来自多个数据源的数据表通过相同的主键进行自然连接,各个表中的主键要相互匹配,否则不能连接。(2)冗余问题,这是数据集成中经常发生的一个问题,所以在连接之前对各个表中字段进行人工选择,并采用自然连接的方式,防止冗余字段产生。(3)数据值的冲突检测,来自不同数据源的属性值或许不同,所以要检查数据表中连接字段的类型和是否有相同的记录等问题。5)数据消减对大规模的数据进行复杂的数据分析与数据挖掘通常需要耗费大量时间,所以在数据挖掘前要进行数据的约减,减小数据规模,而且还需要交互式的数据挖掘,根据数据挖掘前后对比对数据进行信息反馈。数据消减技术正是用于从原有庞大数据集中获得一个精简的数据集合,并使这一精简数据集保持原有数据集的完整性,这样在精简数据集上进行数据挖掘显然效率更高,并且挖掘出来的结果与使用原有数据集所获得结果基本相同。数据消减的目的就是缩小所挖掘数据的规模,但却不会影响(或基本不影响)最终的挖掘结果。现有的数据消减包括:(1)数据聚合;(2)消减维度,通过相关分析消除多余属性;(3)数据压缩;(4)数据块消减,利用聚类或参数模型替代原有数据。6)数据预处理评估数据预处理的评估实质上是对清洗后的数据的质量进行评估,而数据质量的评估过程是一种通过测量和改善数据综合特征来优化数据价值的过程。数据质量评价指标和方法研究的难点在于数据质量的含义、内容、分类、分级、质量的评价指标等。数据质量评估至少应该包含以下两方面的基本评估指标:(1)数据对用户必须是可信的。可信性包括精确性、完整性、一致性、有效性、唯一性等指标。\uf0d8精确性:描述数据是否与其对应的客观实体的特征相一致。\uf0d8完整性:描述数据是否存在缺失记录或缺失字段。\uf0d8一致性:描述同一实体的同一属性的值在不同的系统是否一致。\uf0d8有效性:描述数据是否满足用户定义的条件或在一定的域值范围内。\uf0d8唯一性:描述数据是否存在重复记录。(2)数据对用户必须是可用的。包括时间性、稳定性等指标。\uf0d8时间性:描述数据是当前数据还是历史数据。\uf0d8稳定性:描述数据是否是稳定的,是否在其有效期内。高质量的决策必然依赖于高质量的数据,因此,数据变换操作,如规范化和集成,是导向挖掘过程成功的预处理过程,是十分必要和重要的。2.2.4、数据存储Hadoop框架能够开发应用程序并在多个计算机上运行,并对海量数据的进行完整的统计分析。Hadoop框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,它主要有以下几个优点:高可靠性:Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性:Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。低成本:与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。Hadoop带有用Java语言编写的框架,因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写,比如C++。2.2.5、大数据应用1)有助于植保服务专业化提升智慧农业,通过不断采集农业植保作业开展过程中的各种植保关键数据信息,形成规模化的农业植保大数据信息库,采用采用聚类分析法、贝叶斯算法等大数据分析算法技术,建立了较为全面的农业植保工作开展情况分析模型,可以根据不同农产区、不同农作物、不同时间、不同农药、不同使用量、不同病虫害程度,进行农药喷洒效果预测分析,通过农业植保大数据分析结果,对农业植保作业开展过程中的不同阶段,为农业植保产业链提供大数据精准分析和专业指导服务,随着平台业务范围的不断扩大,所采集的数据也会不断补充到数据库中,同时结合农业植保工作开展的实际需求,对农业植保大数据分析模型进行不断完善升级,形成农业植保产业链发展生态闭环,植保服务专业化提升提供大数据依据。2)减施增效采用植保无人机开展农业植保工作,在减施增效方面,较传统的人工和大型机械植保方式,优势明显,首先植保无人机在田头地埂就能升起降落,将农田里农作物的GPS信息采集到,并把航线规划好,输入到地面站的内部控制系统中,植保无人机就可以载着喷洒装置,自主将喷洒作业完成,雾化均匀、精准喷洒,并且植保效果好,可大幅提高农药有效利用率,减少农药使用量,从源头上控制和逐步降低农业生态环境污染,是农业可持续发展的必然要求。3)药剂改良智慧农业,通过将植保过程中采集到的地理信息,气象信息、土壤信息、农作物信息、病虫害信息、农药信息、药剂配比信息、配件信息、无人机飞行信息、飞手信息、飞行轨迹、药剂喷洒控制信息等等建立分析模型,并与植保完成后的植保效果数据进行统一分析,为农药厂商提供农药配比、农药植保效果大数据,带动适合无人机喷洒的新型药剂产业发展。4)飞机改良当前无人机植保属新生事物,需要一个时常认知的过程,并且农业植保无人机技术和设计相对均不是很完善,再此情况下,智慧农业的农业植保大数据库,可农业植保大数据,结合植保无人机植保工作开展情况及结果数据,为植保无人机厂家提供基于大数据的飞机改良建议,帮助无人机厂家对农业植保无人机产品及服务进行升级,促进农业植保无人机产品更新换代,提升其产品市场综合竞争力,帮助无人机厂商发现更大的产品和服务发展空间。5)商机挖掘通过智慧农业的上线运行,可以汇聚海量的农作物、无人机、耕种环境、农药、效果评测等信息,形成植保数据库,为农业植保过程优化、减施增效提供了数据依据。(1)可以吸引其他无人机厂商合作,为其植保过程中提供专业化的优化意见。(2)通过植保大数据运营平台海量数据模型,能够吸引植保客户使用平台,为植保客户提供专业的农药喷洒意见,降低植保成本。(3)为飞手与无人机厂商之间传递就业机会,吸引更多的飞手培训机构合作,为其解决人员就业问题。(4)通过植保大数据平台的上线运行,无人机植保的普及应用,能够吸引更多的农药厂商合作,可为其改良适用无人机的新型农药提供专业化的指导意见。2.2.6、数据规模目前按照350万亩土地计算,2017年进行了两次农药的喷洒,其中植保服务数据平均每亩32kb,无人机飞行轨迹平均每年一亩201kb,土壤测试仪平均每年一亩54kb,温湿度记录仪平均每年一亩101kb,风速风向测试仪等相关设备接口采集平均每年一亩107kb,数据存储总量达到100TB,2018年计划增加1500万亩土地,存储量达到200TB,2019年计划增加2000万亩土地,存储量达到300TB。2.3、网络拓扑图网络系统主要满足的是信息共享和交换的需求。在本系统平台里,主要存在以下几方面的需求:对植保数据的信息采集与传输,大数据处理及处理后的信息建模分析,以及应用层数据交互等方面。针对智慧农业对所需采集数据的说明及介绍,并根据我公司以往大数据处理方面的经验核算,本平台各部分所产生的数据需要存储空间预计在500TB。为了实现这些信息的共享和交换,需要在IDC内部建立高速的局域网;要实现用户与数据仓库之间的信息交换,则需要使用足够的带宽进行对外的数据传输,同时为了保证系统的安全,需要增加安全防御设备(如防火墙等)。综合以上各方面因素的考虑,智慧农业的网络拓扑如下图所示:根据需求的规模及特点,建议采用2层架构设计,即核心层和接入层,同时为便于设计的描述,在网络设计时细化成如下几个部份:核心层网络、接入层网络、服务器区网络、Internet接入、系统安全监控。介绍如下:2.3.1、核心层网络设计核心交换机配置2台高性能交换机,两台核心交换机均配置2个电源。每台配置一个万兆第六代管理引擎,每个引擎上配置两个万兆接口作为核心万兆互联使用,两台高性能设备形成整个平台的核心交换平台。利用两条万兆链路把两台核心交换连接起来,在这两条高速千兆光纤链路上通过10GEC(万兆以太网通道)技术,把物理上的两条光纤线路逻辑上成为一个速度高达40Gbps的数据通道。在两台交换机之间采用业界著名的HSRP技术,其中1台为转发状态,另1台备份状态,当转发状态交换机发生问题,备份交换机会接管进行数据转发,实现两台核心高端交换机的双机热备,从而充分地保证网络地稳定性和可靠性。这种设计不仅彻底消除单一交换机硬件故障的影响,利用Spanning-Tree(生成树)、Backbone-fast(快速主干恢复)、Uplink-Fast(快速上联恢复)、Port-Fast(快速端口恢复)和HSRP(热备份路由协议)等技术实现主、从交换机间的自动故障切换。2.3.2、接入层网络设计外网接入交换机我们采用具有智能功能的千兆接入交换作为外联专线的汇聚接入,外联专线光纤入户后通过光电转换器转换成千兆电接口直接连到该交换机上,该交换机的背板带宽32Gbps以上,二/三层转发率在30Mpps以上,提供4个1000千兆光电复用以太网端口和20个10/100/1000Base-T以太网2.3.3、服务器区网络设计对于服务器区也可以称为数据中心区,是整个业务的中心枢纽,对该区域的性能、安全应重要考虑,并作资源最大化利用及节省整体投资,因此服务器区直接连接到2台核心交换机交换机,实现链路冗余接入。2.3.4、Internet接入设计对于对外提供公共服务的服务器,如WEB服务器等,如果将这些服务器直接放置在Internet上,则很容易受到攻击。为此我们将这些提供公共服务的服务器全部放置在防火墙的DMZ区域。我们在出口防火墙上各设置一个DMZ端口,在DMZ区域放置1接入交换机,该交换机通过千兆端口与出口防火墙的DMZ端口联接,而所有的公共服务器则全部接入到DMZ区交换机上。2.3.5、系统安全监控信息安全已从互联网、周边防护发展为深度防御模式,在基础设施中部署了多项措施来抵御安全漏洞和攻击。鉴于攻击频率日益增加、攻击复杂度各不相同,以及攻击非常迅速,网络内部和周边间的界线逐渐模糊,因此这些措施是非常必要的。为试图利用漏洞发动攻击,每天攻击者都会对网络接入点和系统进行数千次探测。先进的混合攻击使用多种欺骗式攻击方法,以便从机构内外获得未授权系统访问和控制。蠕虫、零日攻击、病毒、特洛伊木马、间谍软件和攻击工具的普及可对最为坚固的基础设施构成挑战——导致防御作用时间缩短、出现停运和昂贵的修复措施。除服务器和网络设备数量较多外,每个安全组件都提供独立的事件记录和报警功能,以用于异常流量检测、威胁响应和分析。此外,法规也要求严格数据保密、更高运营安全性和进行持续审查。因此在网络中部署防火墙对网络安全进行管理和监控2.4、研发技术路径2.4.1、平台技术特点本系统采用国际先进的开发技术,并采用最新的行业标准作为指导,用以保证整个平台的开放性、兼容性、可扩展性等,具体如下:1)用户前台界面采用了B/S结构,以Apach+Tomcat集群作为WEB发布服务器,数据库采用oracle11G;Apach主要用来解析静态文本,如html,tomcat虽然也有此功能,但Apach能大大提高效率,对于并发数较大的企业级应用,能更好的显示Apach的高效率Tomcat用来解析JSP,servlet等,所有的客户请求首先会发送到Apach,如果请求是静态文本则由Apach解析,并把结果返回给客户端,如果是动态的请求,如JSP,Apach会把解析工作交给tomcat,由tomcat进行解析(这首先要两者现实整合),tomcat解析完成后,结果仍是通过Apach返回给客户端,这样就可以达到分工合作,实现负载均衡,提高系统的性能!而且因为JSP是服务器端解释代码的,这样整合可以减少Tomcat的服务开销。使用oracle11G主要有以下一些优势:\uf06c支持测试环境的快照备用系统、物理和逻辑备用的性能都有提高。\uf06c逻辑备用现在支持可扩展标记语言(XML)类型字符大型对象(CLOB)数据类型和透明的数据加密。现在支持自动的、快速启动的故障切换以支持异步传输、支持滚动升级、自动坏块检测和修复、快速镜像重新同步,该功能可以有效地重新同步存储网络连接性暂时丢失时自动存储管理镜像的存储阵列\uf06c自动存储管理的性能增强使得大型数据库可以更快地打开并减少SGA内存消耗。这些增强还允许DBA增加存储分配单元大小以加快大型序列输入/输出(I/O),显著增加正常运行时间\uf06cOracle11G使您可以应用很多一次性数据库补丁(包括诊断补丁),而没有停机时间。新的数据恢复advisor通过快速识别故障根本原因为DBA提供可用的恢复选项,极大地减少了停机时间,在某些情况下,还通过“自我恢复”机制自动纠正问题。\uf06c自动编译数据库中的PL/SQL和Java\uf06c更快的触发器,包括更加有效地调用每行触发器\uf06c更快的简单SQL操作\uf06c更快的OracleDataGuard和OracleStreams复制\uf06c与网络文件系统(NFS)存储设备更快、更可靠的直接连接、更快的升级\uf06c大型文件更快的备份/还原更快的备份压缩2)客户端采用目前比较流行的两种形式,包括IOS客户端和安卓客户端,通过客户端为飞手和管理者提供简单快捷的植保流程的确认和查阅,并可通过客户端进行数据的采集上传。3)数据采集通过数据导入,传感器直接对接等方式,进行数据传输和对接。从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析,处理转换成数字信号。通过平台提供的数据采集算法,结合基于计算机及专用测量软硬件的产品来实现灵活的、自定义的测量和采集系统4)系统采用SpringMVC的轻量级架构,即可保证系统的运行稳定性,也可保证运行java的稳定性。该框架优点主要:\uf06c有清晰的角色划分:控制器(controller)、验证器(validator)、命令对象(commandobect)、表单对象(formobject)、模型对象(modelobject)、Servlet分发器(DispatcherServlet)、处理器映射(handlermapping)、试图解析器(viewresoler)等等。每一个角色都可以由一个专门的对象来实现。\uf06c强大而直接的配置方式:将框架类和应用程序累都能作为JavaBean配置,支持跨多个context的引用,例如,在web控制器中对业务对象和验证器validator)的引用。\uf06c可适配、非侵入:可以根据不同的应用场景,选择何事的控制器子类(simple型、command型、from型、wizard型、multi-action型或者自定义),而不是一个单一控制器(比如Action/ActionForm)继承。\uf06c可重用的业务代码:可以使用现有的业务对象作为命令或表单对象,而不需要去扩展某个特定框架的基类。\uf06c可定制的绑定(binding)和验证(validation):比如将类型不匹配作为应用级的验证错误,这可以保证错误的值。再比如本地化的日期和数字绑定等等。在其他某些框架中,你只能使用字符串表单对象,需要手动解析它并转换到业务对象。\uf06c可定制的handlermapping和viewresolution:spring提供从最简单的URL映射,到复杂的、专用的定制策略。与某些webMVC框架强制开发人员使用单一特定技术相比,Spring显得更加灵活。\uf06c灵活的model转换:在Springweb框架中,使用基于Map的键/值对来达到轻易的与各种视图技术集成。\uf06c可定制的本地化和主题(theme)解析:支持在JSP中可选择地使用Spring标签库、支持JSTL、支持Velocity(不需要额外的中间层)等等。\uf06c简单而强大的JSP标签库(SpringTagLibrary):支持包括诸如数据绑定和主题(theme)之类的许多功能。他提供在标记方面的最大灵活性。\uf06cJSP表单标签库:在Spring2.0中引入的表单标签库,使用在JSP编写表单更加容易。\uf06cSpringBean的生命周期可以被限制在当前的HTTpRequest或者HTTpSession。准确的说,这并非SpringMVC框架本身特性,而应归属于SpringMVC使用的WebApplicationContext容器。5)采用AJAX作为前后台异步通讯的接口,能够很好的满足用户对系统的体验度。\uf06c无刷新更新数据。AJAX最大优点就是能在不刷新整个页面的前提下与服务器通信维护数据。这使得Web应用程序更为迅捷地响应用户交互,并避免了在网络上发送那些没有改变的信息,减少用户等待时间,带来非常好的用户体验。\uf06cAJAX使用异步方式与服务器通信,不需要打断用户的操作,具有更加迅速的响应能力。优化了Browser和Server之间的沟通,减少不必要的数据传输、时间及降低网络上数据流量。\uf06cAJAX可以把以前一些服务器负担的工作转嫁到客户端,利用客户端闲置的能力来处理,减轻服务器和带宽的负担,节约空间和宽带租用成本。并且减轻服务器的负担,AJAX的原则是“按需取数据”,可以最大程度的减少冗余请求和响应对服务器造成的负担,提升站点性能。\uf06cAJAX基于标准化的并被广泛支持的技术,不需要下载浏览器插件或者小程序,但需要客户允许JavaScript在浏览器上执行。随着Ajax的成熟,一些简化Ajax使用方法的程序库也相继问世。同样,也出现了另一种辅助程序设计的技术,为那些不支持JavaScript的用户提供替代功能。\uf06cAjax使WEB中的界面与应用分离(也可以说是数据与呈现分离),有利于分工合作、减少非技术人员对页面的修改造成的WEB应用程序错误、提高效率、也更加适用于现在的发布系统。6)分析层:采用云存储+HADOOP技术,实现数据的高速度运算,为用户的精准营销提供依据。\uf06cHADOOP具有高可扩展性,因为他可以存储和分发横跨数百个并行操作的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的数据,Hadoop是能给企业提供涉及成百上千TB的数据节点上运行的应用程序。\uf06cHadoop提供了极具成本效益的存储解决方案。传统的关系型数据库管理系统的问题是,他并不符合海量数据的处理器,不能够符合企业的成本效益。许多公司过去不得不假设那些数据最优价值,然后根据这些有价值的数据设定分类,如果保存所有的数据,那么成本就会过高。虽然这种方法可以短期内实现工作,但是随着数据量的增大,这种方式并不能很好的解决问题。\uf06cHadoop被设计为一个向外扩展的架构,提供数百TB的存储和计算能力,节约了成本开销。\uf06cHadoop能够轻松访问到新的数据源,并可以分析不同类型的数据,从这些数据中产生价值,使系统可以利用Hadoop的灵活性从多数据源中获得宝贵的分析结果和发掘商业价值。\uf06cHadoop处理更快得益于其拥有的独特的存储方式,用于数据处理的工具通常在与数据相同的服务器上,从而导致能够更快的处理器数据,如果你正在处理大量的非结构化数据,Hadoop能够有效的在几分钟内处理TB级的数据,而不是像以前PB级数据都要以小时为单位。\uf06cHadoop容错能力更强,当数据被发送到一个单独的节点,该数据也被复制到集群的其它节点上,这意味着在故障情况下,存在另一个副本可供使用。7)数据层:采用数据库缓冲池技术,对数据的链接数采用管道化管理,既有长期驻留链接,又有机动灵活使用的链接,方便调动。\uf06c数据库连接池保证了资源的重用性,由于数据库连接得到重用,避免了频繁创建、释放连接引起的大量性能开销。在减少系统消耗的基础上,另一方面也增进了系统运行环境的平稳性(减少内存碎片以及数据库临时进程/线程的数量)。\uf06c更快的系统响应速度,数据库连接池在初始化过程中,往往已经创建了若干数据库连接置于池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言,直接利用现有可用连接,避免了数据库连接初始化和释放过程的时间开销,从而缩减了系统整体响应时间。\uf06c新的资源分配手段对于多应用共享同一数据库的系统而言,可在应用层通过数据库连接的配置,实现数据库连接池技术某一应用最大可用数据库连接数的限制,避免某一应用独占所有数据库资源。\uf06c统一的连接管理,避免数据库连接泄漏,在较为完备的数据库连接池实现中,可根据预先的连接占用超时设定,强制收回被占用连接。从而避免了常规数据库连接操作中可能出现的资源泄漏。8)WEB服务器集群:采用负载均衡的方式,将多台服务器关联在一起,是每个服务器在提供相应服务时,不会出现因为某台服务器因为请求量过载造成的服务器响应速度慢,用户等待时间长,甚至服务器卡死的问题。9)数据库集群:数据库通过对oracle数据文件共享的方式,完成数据库的集群和对数据的在线热备。并通过分布式部署数据库的方式,提高数据库的访问效能,增加系统的访问速度,保证系统的稳定运行。10)缓存技术:系统通过大数据在底层的支持,将常用分析结果通过以往的使用历史进行提炼,并将其通过MemoryCache的方式进行内存的缓存,使农业植保模型能够快速准确的为平台提供统计、分析以及预测的相应数据,增加平台的流畅性。2.4.2、大数据底层分析技术特点1)HADOOPHadoop是Apach软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。系统采用Hadoop对采集到的数据进行处理。HDFSHDFS是Hadoop分布式文件系统(HadoopDistributedFileSystem)的缩写,为分布式计算存储提供了底层支持。采用Java语言开发,可以部署在多种服务器上,以集群处理数量积达到大型主机处理性能。HDFS架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameNode作为master服务,它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息,包括文件信息、文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。对于整个集群来说,HDFS通过NameNode对用户提供了一个单一的命名空间。DataNode作为slave服务,在集群中可以存在多个。通常每一个DataNode都对应于一个物理节点。DataNode负责管理节点上它们拥有的存储,它将存储划分为多个block块,管理block块信息,同时周期性的将其所有的block块信息发送给NameNode。2)云分析技术平台采用云端分析技术,进行数据的分析和建模,主要采用了以下的算法进行数据的处理。K-Means算法k-meansalgorithm算法是一个聚类算法,把n的对象根据他们的属性分为k个分割(k


  • 编号:1700810727
  • 分类:标准规范
  • 软件: wps,office word
  • 大小:47页
  • 格式:docx
  • 风格:商务
  • PPT页数:10145675 KB
  • 标签:

广告位推荐

相关标准规范更多>