(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210682228.8 (22)申请日 2022.06.16 (71)申请人 深圳金融电子结算中心有限公司 地址 518000 广东省深圳市福田区车公庙 泰然六路501栋 (72)发明人 王宇冲　杨兢　 (74)专利代理 机构 深圳市恒程创新知识产权代 理有限公司 4 4542 专利代理师 戴圆圆 (51)Int.Cl. G06F 16/172(2019.01) G06F 16/178(2019.01) G06F 9/50(2006.01) (54)发明名称 数据处理方法、 系统及计算机可读存 储介质 (57)摘要 本发明公开了一种数据处理方法、 系统及计 算机可读存储介质， 应用于数据处理系统， 所述 数据处理方法的步骤包括： 获取待处理文件； 根 据所述待处理文件确定线程池中的各个工作线 程， 并将各个所述待处理文件分发至各个工作线 程； 利用各个工作线程基于预置的Easyexcel工 具分别对待处理文件以异步处理的方式进行逐 行解析并将解析得到的每一行的行数据依次存 储于硬盘中； 利用各个工作线 程基于各个行数据 以预设的异步处理方式生成各个所述待处理文 件的处理结果。 通过多线程对待处理文件进行并 行异步处理， 解决了文本文件处理效率低下的问 题。 权利要求书2页 说明书9页 附图3页 CN 115145880 A 2022.10.04 CN 115145880 A 1.一种数据处理方法， 其特征在于， 应用于数据处理系统， 所述数据处理方法的步骤包 括： 获取待处 理文件； 根据所述待处理文件确定线程池中的各个工作线程， 并将各个所述待处理文件分发至 各个工作线程； 利用各个工作线程基于预置的Easyexcel工具分别 对待处理文件以预设的异步处理方 式进行逐行解析并将解析 得到的每一行的行 数据依次存 储于硬盘中； 利用各个工作线程基于各个行数据以预设的异步处理方式生成各个所述待处理文件 的处理结果。 2.如权利要求1所述的方法， 其特征在于， 根据所述待处理文件确定各个工作线程， 并 将各个所述待处 理文件分发至各个工作线程的步骤 包括： 获取所述待处 理文件的数量； 根据所述待处理文件的数量创建目标线程， 以调整所述线程池， 其中， 在所述目标线程 完成对所述待处 理文件的处 理后， 释放所述目标线程； 根据调整后的所述线程池确定各个所述工作线程， 并将各个所述待处理文件分发至各 个工作线程。 3.如权利要求1所述的方法， 其特征在于， 所述利用各个工作线程基于各个行数据以预 设的异步处 理方式生成各个所述待处 理文件的处 理结果的步骤 包括： 根据预设条件对解析到的行数据进行数据检查处理， 并将满足预设条件的行数据确定 为目标行数据； 对所述目标 行数据进行 数据增强处 理； 将数据增强后的目标 行数据进行合并， 根据合并后的目标 行数据生成所述处 理结果。 4.如权利要求3所述的方法， 其特 征在于， 所述预设条件 包括以下至少一个： 所述行的至少一个字段与预设字段匹配； 所述行的各个字段的字段长度满足预设长度； 所述行的各个字段的字符类型满足预设字符类型。 5.如权利要求3所述的方法， 其特征在于， 所述将数据增强后的目标行数据进行合并， 根据合并后的目标 行数据生成所述处 理结果的步骤 包括： 获取待处 理文件的目标文本文件格式； 根据待处理文件的目标文本文件格式将数据增强后的所述目标行数据进行合并， 以生 成合并后的目标 行数据； 根据合并后的目标 行数据生成所述处 理结果。 6.如权利要求1所述的方法， 其特征在于， 所述利用各个工作线程基于各个行数据以预 设的异步处 理方式生成各个所述待处 理文件的处 理结果的步骤之后， 还 包括： 将所述处 理结果存 储于本地数据库， 和/或上传至FTP服 务器； 删除存储于硬盘中的每一行的行 数据， 以释放硬 盘空间。 7.如权利要求1所述的方法， 其特 征在于， 所述获取待处 理文件的步骤 包括： 获取定时任务， 根据所述定时任务确定待处 理文件； 根据预设配置文件获取各个待处理文件在FTP服务器中的文件存储地址， 所述预设配权　利　要　求　书 1/2 页 2 CN 115145880 A 2置文件包括文件的文件 存储位置； 基于所述文件 存储地址从所述FTP服 务器中下 载各个所述待处 理文件。 8.一种数据处理系统， 其特征在于， 所述数据处理系统包括主控模块、 采集模块、 解析 模块及输出模块； 所述采集模块用于获取待处 理文件； 所述主控模块包括线程池， 所述线程池包括线程， 所述主控模块用于确定各个待处理 文件的工作线程， 并将各个待处 理文件分发至各个所述工作线程； 所述解析模块用于利用各个工作线程基于预置的Easyexcel工具分别对待 处理文件进 行逐行解析并将解析得到的每一行的行数据依次存储于硬盘中， 以及基于各个行数据以预 设的异步处 理方式生成各个所述待处 理文件的处 理结果； 输出模块， 所述输出模块用于将各个待处理文件的处理结果存储于本地数据库， 和/或 将所述处 理结果上传至FTP服 务器。 9.如权利要求8所述的数据处理系统， 其特征在于， 所述数据处理系统还包括： 存储器、 处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序， 所述数据处理程 序被所述处 理器执行时实现如权利要求1至7中任一项所述的数据处 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有数据处 理程序， 所述数据处理程序被处理器执行时实现如权利要求 1至7中任一项所述的数据处理 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115145880 A 3