多源异构数据

摘要： 此次笔谈邀请了陕西师范大学李君轶教授、中山大学刘逸副教授、吉首大学肖文杰老师、北京第二外国语学院邓宁副教授、南开大学张坤副教授、厦门大学郑伟民副教授、澳门旅游学院齐珊珊副教授等7位青年学者,主要从“旅游研究取向”“旅游情感”“旅游图像”“时空数据”4个方面对当前旅游大数据的研究展开探讨。李君轶老师系统地阐述了对旅游大数据应用的看法,认为大数据应属于一种新的研究方法,在此背景下,旅游研究应该遵循“多源数据、混合方法、交叉研究、团队协作”的研究模式来发展。未来的研究有4个议题值得深度关注,分别是:多源异构数据的融合、旅游系统复杂性、大数据应用模型以及大数据伦理与隐私保护。

摘要： 针对传统数控铣削表面粗糙度预测模型泛化性差、精度较低等问题,提出了一种基于多源异构数据的数控铣削表面粗糙度预测方法。获取变工艺条件下数控铣削的工艺参数、刀具直径及工件材料等静态数据和振动信号、力信号及功率信号等动态数据;采用粒子群优化算法(PSO)优化卷积神经网络(CNN)的网络结构参数得到PSO-CNN;运用PSO-CNN自适应提取动态数据特征并对静态数据特征进行人工提取,再通过浅层神经网络融合动、静态数据等多源异构数据的特征,建立变工艺下的表面粗糙度预测模型;通过不同模型的预测性能对比试验,验证了该方法的优越性,并以两个工件加工过程为例,验证了该方法的有效性。

摘要： 真实世界研究是目前中医临床研究的热点及主要研究趋势,真实世界数据的处理是关键的工作之一,在这之中多源异构数据整合是数据处理中的关键环节,但目前中医药真实世界研究领域尚未开展有关多源异构数据整合的系统研究。本文基于文献分析,总结了中医药真实世界数据的基本特征,多源异构数据整合的关键技术,梳理了多源异构的临床医学大数据整合后应用于真实世界研究的开展情况。并阐述了多源异构数据的整合技术及方法如何应用于中医药真实世界研究中,梳理了基于数据库研究的数据整合工作流程,展望如何利用该技术进一步突出中医药临床数据的特点,突破中医药真实世界研究瓶颈,改进相关问题,并论述其基础架构以及具体开展时面临的挑战。

摘要： 本项目为解决现有震害评估理论方法与软件平台未考虑既有建筑耐久性损伤与设计规范差异的问题,基于大量物理模型试验、工程实测、理论分析与数值模拟,率先提出了考虑断层分布特点、近场特征和场地放大效应的西安地区强地震动场模拟预测与多变量设定地震危险性分析理论方法;系统揭示表征了多龄期建筑结构(RC结构、钢结构、砌体结构)震损破坏机理与性能劣化规律,并建立了考虑结构耐久性损伤的动力灾变多尺度高效数值建模分析方法;首次建立了可考虑我国国情的城市区域多龄期建筑时变地震易损性模型及损失评估与风险控制的成套理论技术体系,并开发出相应系统平台;率先提出基于多源异构数据的城市基础数据成套采录技术。该成果已成功综合应用与10多个大中城市及200余项工程项目中。

摘要： 随着全球信息技术的迅猛发展,信息数据呈现出爆发式增长的趋势,如何从海量的数据中找出有价值的信息,是一个迫切需要解决的问题。推荐系统是解决这一问题的有效途径,而如何把深度学习这项技术融入推荐系统,是目前的研究热点。文章分析了传统的推荐系统存在的问题,提出了相应的解决方法和对策,使系统模型与用户的需求结合更加紧密,用户的满意度得到进一步提升,并对基于深度学习的推荐系统的未来发展趋势进行了阐述。

摘要： 由于传统方法没有对配电网多源异构数据采集的时间进行配准,导致配电网多源异构数据融合时误差大、效率低。针对该问题,提出了基于联合卡尔曼滤波的配电网多源异构数据融合方法。构建了数据纠偏机制,采用最小二乘法对数据采集的时间配准,并采用拉格朗日插值方法对时序数据填充,计算数据关联性。在此基础上,采用联合卡尔曼滤波算法将相同数据融合到同一个类中,以此实现配电网多源异构数据融合。实验结果表明,所研究的数据融合方法不仅能够根据需求一直追踪需求的融合误差,还能够降低节点电压与功率估计的相对误差、提高配电网多源异构数据融合的效率。实验结果不仅证明了所研究融合方法的有效性,还证明了联合卡尔曼滤波算法在数据融合中的适用性。

摘要： 电梯安全数据是实现智慧监管的基础和助推器,开展电梯全生命周期多源异构数据融合与智慧监管系统研究具有重要的价值。本文阐述了全生命周期、多源异构、现场环境及故障与事故视域下的电梯安全数据要素,剖析了电梯安全数据串联、并联和混合三种融合结构,提出面向数据融合的电梯安全智慧监管系统框架和构建电梯全生命周期多源异构数据分析框架。

摘要： 随着人工智能技术的发展,人工智能技术越来越多地应用在医学任务中。由于医学数据来源和结构上的多样性,导致其具有多源异构的特点。本文将系统性介绍多数据集成和学习方法,包括基于数据仓库、联邦数据库、中间件的数据集成方法,以及联邦学习、噪声数据学习、特征融合学习等对多源异构数据的学习方法。

摘要： 为使医疗体系内非同种数据得到有效区分,从而为诊疗意见的生成提供可靠参考条件,设计基于模糊聚类的智慧医院多源异构数据整合系统。利用多源型处理电路,输出异构数据统筹元件与量化整合芯片连接所需的应用电子量,完成整合系统硬件执行环境的搭建。在此基础上,对模糊数据集合进行标定处理,借助相似模糊聚类矩阵,设置标准的数据整合函数,完成系统的软件执行环境搭建。结合相关硬件设备结构体系,实现基于模糊聚类的智慧医院多源异构数据整合系统的顺利应用。实验结果显示,与拆分型整合系统相比,模糊聚类型整合系统能够更好地应对多源异构医疗数据散乱分布的情况,在为诊疗意见的生成提供可靠参考条件的同时,可以有效区分医疗体系内的非同种数据信息。

摘要： 针对长输管道内外检测多源异构数据繁杂性的特点,制定原始数据存储标准,对数据的处理、对齐、融合及优化等进行研究,总结长输管道泄漏数据的常用数据处理与数据对齐方法,内外检测数据与地理空间数据融合的方法,分析D-S证据理论在长输管道泄漏预测的应用,试图寻找针对长输管道泄漏预测的体系化分析流程。

摘要： 作战指挥信息系统是基于信息系统体系作战的平台、载体与手段。当前,中国军事信息系统中存在着大量的多源异构数据,这类数据以满足业务需求为应用目标,数据来源广、类型多、结构不统一、共享性差、冗余度大.通过对多源异构数据源的集成实现数据融合、共享,是充分挖掘传统数据实现主题资源综合集成、优化配置、联合支撑的最佳路径,也是开展大数据分析和云计算技术研究应用的必要前提和基础.本文围绕多源异构数据的特点和大规模数据集成的难点,结合项目工作,研究探讨了基于SQL脚本、元数据驱动数据集成方法和面向服务(SOA)集成的层次架构和软件体系结构.

摘要： 为满足市政管理领域对数据权威性和体系完备性的高要求,实现市政管理领域知识库的自动化构建,本文提出了一种基于多源异构数据的市政管理知识库构建模型.采用自顶向下的构建模式,对包括结构化关系型数据、半结构化文本数据和无结构化互联网数据在内的多源异构数据自动化知识抽取.最后,通过生成一个轻量级示例系统对该方法的执行效果进行了评估.实验表明,本方法在市政管理领域的知识库构建上优势明显,能够实现对多种市政管理资源的自动化知识抽取,生成概念体系完整清晰,知识描述恰当准确.

摘要： 大型分布式信息处理系统往往需要集成不同架构、不同软硬件环境的系统和在用的旧系统,如何根据用户权限对异构存储数据进行访问并形成统一视图是一个难题.本文从大型信息处理系统数据统一视图的现实需求出发,提出了一种分布式用户权限控制和数据访问机制.通过设计数据适配器,对数据访问请求进行适配,对异构数据统一映射转换,将映射转换后的数据结果集进行合并处理,实现了分布式多源异构数据的统一视图.

摘要： 本文通过分析当前数据集成与应用中存在的问题，提出面向服务的多源异构数据整合方法，并据此进行数据集成，根据用户需求以多种服务方式应用于面向农业、农村和农民的信息服务。

摘要： 多源异构是大数据的基本特征之一,由于数据来源不同、数据结构不同、数据标准不同,多源异构数据在类型、性质、形式、内容和时空关系上均存在极大的差异,容易导致数据信息共享和互联互通障碍.近年来,在医学、工业、农业、气象、海洋、地质等多个领域均对其相关的多源异构大数据的融合分析问题进行了研究,而在中医领域针对此问题的研究略显不足.笔者认为，以多源异构中医药数据融合及其支持下的中医处方的数据融合方法为研究对象，采用定量研究方法，设计一种泛化的中医处方大数据模型，使语义丰富的中医数据可以在一定标准下得到存储和识别，揭示大数据和“互联网+”背景下中医病证结合诊疗规律的新特性，是当前急需进行的研究课题。

摘要： 为给海洋主管部门提供使用于海区综合管理的空间信息支持,基于组件式地理信息系统(ComGIS)技术,利用面向对象的可视化编程语言,设计开发了南海区基础GIS系统平台.该平台具有较强的多源异构数据的管理模式,整合了南海区海图、环保、海底电缆管道、海域使用、倾废、油气田、海岛等多种类型的海洋数据.通过建立统一的空间数据库系统平台,可以实现对平台内的各类海洋数据进行叠加分析、快速查询统计、数据安全、数据专题定制等服务,为海区的业务管理提供可视化、智能化、高集成度的数据支撑和软件支持.

摘要： 应用动态交通仿真模型研究城市交通问题已经成为当前交通研究的一大热点.论文从动态交通仿真平台的功能设计入手,介绍了仿真平台能实现多源异构交通数据接入、宏中微观一体化仿真、仿真评价、结果展示及扩展应用功能,进一步分析了仿真平台的四层逻辑结构框架及整体的数据流程;接着对仿真平台的关键技术进行了介绍,包括了如何导入交通流量数据和信号控制配时数据、应用一体化仿真技术实现不同模型的数据共享以及利用动态交通分配技术提高路网的周转性.论文提出了一种基于多源异构交通数据的宏中微观一体化仿真平台设计思路及关键技术实现方法,为提升城市交通管理水平及缓解城市交通拥堵提供了新的技术方法和手段。

摘要： 应用动态交通仿真模型研究城市交通问题已经成为当前交通研究的一大热点.论文从动态交通仿真平台的功能设计入手,介绍了仿真平台能实现多源异构交通数据接入、宏中微观一体化仿真、仿真评价、结果展示及扩展应用功能,进一步分析了仿真平台的四层逻辑结构框架及整体的数据流程;接着对仿真平台的关键技术进行了介绍,包括了如何导入交通流量数据和信号控制配时数据、应用一体化仿真技术实现不同模型的数据共享以及利用动态交通分配技术提高路网的周转性.论文提出了一种基于多源异构交通数据的宏中微观一体化仿真平台设计思路及关键技术实现方法,为提升城市交通管理水平及缓解城市交通拥堵提供了新的技术方法和手段。

摘要： 应用动态交通仿真模型研究城市交通问题已经成为当前交通研究的一大热点.论文从动态交通仿真平台的功能设计入手,介绍了仿真平台能实现多源异构交通数据接入、宏中微观一体化仿真、仿真评价、结果展示及扩展应用功能,进一步分析了仿真平台的四层逻辑结构框架及整体的数据流程;接着对仿真平台的关键技术进行了介绍,包括了如何导入交通流量数据和信号控制配时数据、应用一体化仿真技术实现不同模型的数据共享以及利用动态交通分配技术提高路网的周转性.论文提出了一种基于多源异构交通数据的宏中微观一体化仿真平台设计思路及关键技术实现方法,为提升城市交通管理水平及缓解城市交通拥堵提供了新的技术方法和手段。

摘要： 应用动态交通仿真模型研究城市交通问题已经成为当前交通研究的一大热点.论文从动态交通仿真平台的功能设计入手,介绍了仿真平台能实现多源异构交通数据接入、宏中微观一体化仿真、仿真评价、结果展示及扩展应用功能,进一步分析了仿真平台的四层逻辑结构框架及整体的数据流程;接着对仿真平台的关键技术进行了介绍,包括了如何导入交通流量数据和信号控制配时数据、应用一体化仿真技术实现不同模型的数据共享以及利用动态交通分配技术提高路网的周转性.论文提出了一种基于多源异构交通数据的宏中微观一体化仿真平台设计思路及关键技术实现方法,为提升城市交通管理水平及缓解城市交通拥堵提供了新的技术方法和手段。

摘要： 本发明公开了一种多源异构试飞数据处理方法及多源异构试飞数据处理系统，涉及航空测试技术领域。所述多源异构试飞数据处理方法，利用预处理模块对数据源信息、数据库服务器信息及工程数据发送进行定义，并将定义后的数据发送至实时融合处理模块；实时融合处理模块接收无人机多路标准测控通信链路下传的数据包、机载测试系统采集遥测下传的PCM数据，并将接收的数据包与PCM数据融合处理后形成统一的融合数据包发送给监控终端。所述多源异构试飞数据处理系统用于实现上述多源异构试飞数据处理方法。本发明的优点是：可以同时处理多种通信链路格式数据和PCM数据，增强了系统灵活性和实时性，而且将数据处理部分完全通用化，降低了设备实现成本。

摘要： 本发明公开了一种多源异构试飞数据处理方法及多源异构试飞数据处理系统，涉及航空测试技术领域。所述多源异构试飞数据处理方法，利用预处理模块对数据源信息、数据库服务器信息及工程数据发送进行定义，并将定义后的数据发送至实时融合处理模块；实时融合处理模块接收无人机多路标准测控通信链路下传的数据包、机载测试系统采集遥测下传的PCM数据，并将接收的数据包与PCM数据融合处理后形成统一的融合数据包发送给监控终端。所述多源异构试飞数据处理系统用于实现上述多源异构试飞数据处理方法。本发明的优点是：可以同时处理多种通信链路格式数据和PCM数据，增强了系统灵活性和实时性，而且将数据处理部分完全通用化，降低了设备实现成本。

摘要： 本申请实施例提供了一种基于多源异构数据源的数据质量检测方法、装置、电子设备及存储介质，通过对多源异构数据进行字段识别，区分包含分组变量、时间日期变量以及不包含前述两种变量的数据指标，根据不同的数据类型自动选择合适的异常值检测算法，使得对多源异构数据源的数据治理无需如传统的数据治理方案一般严重依赖业务规则或者专家知识库，且对于异常值检验颗粒度更加精细，同时满足了复杂业务场景中的多源异构数据质量的检测要求。

摘要： 本发明公开了一种多源异构数据融合和量测数据多源互校验方法及系统，从各调度层级多源业务系统抽取海量量测数据，融合以电网运行设备为中心的模型数据，通过分析不同系统间的数据结构、类型、变化频率等差异，获取多源量测数据时序关联关系及变化趋势特征，利用优化的距离模型进行多源关联分析，实现多源不一致数据的快速研判，基于调控云整合的各级调度量测数据进行全局范围综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，从整体上提升了电网调度数据质量，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。

摘要： 面向多源异构数据融合的数据源选择方法，属于大数据分析技术领域。解决了现有大数据分析采用人工采集的方式，存在分析效率低且存在大量的资源浪费的问题。基于异构数据源集合实现，建立数据分析任务目标数据集的属性集在属性集A中随机抽取了一个目标属性作为搜索属性，在数据源中搜索获得数据源集合P；将数据源集合P中每个元素Pi均构建为一个集合{Pi}，构成集合T；计算集合T中每个子集合的分数；获取分数最大的子集合Tmax；判断集合Tmax的属性是否包含所有目标属性，若是，再判断是否包含多余的属性，包含多余属性进行重新选择，若是不包含所有目标属性，继续搜索，利用计算目标数据源集合的判别函数值，若函数值变大则继续搜索，否则停止搜索获得目标数据源集合。

摘要： 本发明提出了一种解决数据语义异构问题的多源异构数据库数据集成方法，包括：采集来自企业的多个数据源，每个所述数据源包含的表格、属性、语义均不同，将上述多个数据源采用模式对齐方式进行处理，以确定具有相同语义的属性和具有不同语义的属性；对已经模式对齐的数据，记录数据的链接，以确定指向相同实体的链接和指向不同实体的链接；采用数据融合方式查询出反应企业真实情况的真实值。本发明解决语义歧义、实例表示歧义、数据不一致性等问题。

摘要： 本发明公开一种多源异构数据源与图数据库导入导出的方法及装置，其中，该方法包括：读取各种类型存储的数据源，并进行数据关联，生成一个统一列格式的分布式数据集；对统一列格式的分布式数据集进行转换处理后，生成一个新的统一列格式的分布式数据集；从新的统一列格式的分布式数据集中提取图数据库的点和边的信息，分别写入图数据库的顶点和边；读取图数据库，将图数据库的顶点和边进行转换，并将顶点和边的数据进行关联，生成一个统一列格式的分布式数据集，进行后续的转换处理后，将数据写入目标存储。该方法及装置解决了目前基于工具的数据导入/导出时的技术问题。

摘要： 本申请实施例提供了一种基于多源异构数据源的数据质量检测方法、装置、电子设备及存储介质，通过对多源异构数据进行字段识别，区分包含分组变量、时间日期变量以及不包含前述两种变量的数据指标，根据不同的数据类型自动选择合适的异常值检测算法，使得对多源异构数据源的数据治理无需如传统的数据治理方案一般严重依赖业务规则或者专家知识库，且对于异常值检验颗粒度更加精细，同时满足了复杂业务场景中的多源异构数据质量的检测要求。

摘要： 本发明涉及图数据库图存储技术领域，提供一种多源异构数据源导入Janusgraph图数据库的方法和装置，本发明的方法，包括：获取待导入数据的数据源类型，通过匹配获取所述数据源的Datax的读插件；根据待导入数据的数据量，计算Datax的读插件的并行读通道数量，将数据分批次读入读通道内；扩展Datax的写插件，初始化写通道并将初始化的写通道与读通道匹配，将读通道中的数据持续获取至对应的写通道；对写插件的写通道中的数据进行数据去重校验，将通过去重校验的数据写入图数据库。根据本发明示例性实施例的多源异构数据源导入Janusgraph图数据库的方法和装置，可以适配多种异构数据源的数据，实现数据的快速导入。

摘要： 本发明公开了一种多源异构数据融合和量测数据多源互校验方法及系统，从各调度层级多源业务系统抽取海量量测数据，融合以电网运行设备为中心的模型数据，通过分析不同系统间的数据结构、类型、变化频率等差异，获取多源量测数据时序关联关系及变化趋势特征，利用优化的距离模型进行多源关联分析，实现多源不一致数据的快速研判，基于调控云整合的各级调度量测数据进行全局范围综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，从整体上提升了电网调度数据质量，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。