一百万条数据,用access还是mysql?
用 MySQL 肯定要比 Access 好,不过一百万的数据,也是 MySQL 性能的一个上限啊。不建议使用 MySQL,建议使用 MS SQLServer
如果非要用 MySQL,建议进行分表处理
1、要看你update语句发送了多少数据,修改或追入的记录的条数越多,每记条信息量越大,需要的时间越长。如果是改了百万条记录,平均1K一条记录的话,就是1个G,就算复制1个G的文件,时间也不太短。
2、要看你的服务器的性能,在我的服务器上(双CPU、4核,32G内存,4硬盘组RAID5),向某表追1百万条数据,需要的时间大约为5分钟。
如果要支持百万人同时在线的大型网游,一般是由几台服务器组成的一个服务器组完成。比如地图服务器,人物较色服务器,数据库服务器,日志服务器,网站WEB服务器等几部分组成。如果你想一台服务器就搞定的话,就需要比较高的服务器配置才能完成。
你可以看看国产品牌正睿的这款最新SNB-E架构的双路四核服务器。标配一颗至强E5-2650八核十六线程处理器(20GHz/8GT/20M缓存),英特尔C606服务器芯片组主板,12G DDR3 REG ECC 1333MHz内存,SAS 300G 15000转高速企业级硬盘,6个热插拔盘位,允许用户在不关闭服务器的情况下增加或减少硬盘,便于维护,双千兆网卡,性能可以说是非常不错。如果以后随着业务量的增长,觉得性能不够用了,还可以扩展到两颗处理器,达成16颗处理核心,32条处理线程(在任务管理器处能看到32个处理核心的格子- -~很NB),最大支持128GB DDR3 REG ECC高速容错校验内存。
产品型号:I22S2-8888HV
产品类型:双路八核机架式服务器
处 理 器:Xeon E5-2650
内 存:12G DDR3 REG ECC
硬 盘:SAS 300G
机 构:2U机架式
价 格:¥24900
银牌服务
全国三年免费上门售后服务,关键部件三年以上免费质保。
建议你cpu增加到2个,达成16核心,32个计算线程,内存升级到32G DDR3 REG ECC,总价也就在30000多搞定,满足你支持百万人在线的要求。
给你推荐的是国产品牌正睿的服务器产品,他们的产品性价比很高,做工很专业,兼容性,质量之类的都有保障,售后也很完善,3年免费质保,3年免费上门售后服务,在业界口碑很不错。
尊敬的用户你好,
中国电信作为基础网络服务运营商,
在全国范围内都有大量的机房;
全国数以千万计的网站服务器都托管在电信机房;
如您想了解更多,欢迎来安徽电信知道平台或安徽电信网上营业厅提问,会有更多专业客服为您解答。
金数据采用网银级别的256位https加密技术,确保数据在传输过程中不被劫持。其数据存放在顶级数据中心,以秒为单位在实时备份数据。
至于稳定性,作为一个数据收集工具,金数据的服务器上有近百万数据。用户所产生的所有数据,每天都会实时备份到服务器上。金数据的技术团队,采用多台机器做集群,应用服务器和数据库服务器都有2台以上的备份,保证了所有数据每天备份,甚至是每小时备份。
所以说,肯定是安全的,你就放心使用吧~
用过POI的人都知道,在POI以前的版本中并不支持大数据量的处理,如果数据量过多还会常报OOM错误,
这时候调整JVM的配置参数
也不是一个好对策(注:
jdk在32位系统中支持的内存不能超过2个G,而在64位中没有限制,但是在64位的系统中,性能并不是太好
),好在POI38版本新出来了一个SXSSFWorkbook对象,它就是用来解决大数据量以及超大数据量的导入导出操作的,但是SXSSFWorkbook只支持xlsx格式,不支持xls格式的Excel文件。
这里普及一下,在POI中使用HSSF对象时,excel 2003最多只允许存6553数据,一般用来处理较少的数据量,这时对于百万级别数据,Excel肯定
容纳不了,而且在计算机性能稍低的机器上测试,就很容易导致堆溢出。当我升级到XSSF对象时,它可以直接支持excel2007以上版本,因为它采用
ooxml格式。这时excel可以支持1048576条数据,单个sheet表就支持近104
万条数据了,虽然这时导出100万数据能满足要求,但使用XSSF测试后发现偶尔还是会发生堆溢出,所以也不适合百万数据的导出。现在我们知道excel2007及以上版本可以轻松实现存储百万级别的数据,但是系统中的大量数据是如何能够快速准确的导入到excel中这好像是个难题,对于一般的web系统,我们为了解决成本,基本都是使用的入门级web服务器tomcat,既然我们不推荐调整JVM的大小,那我们就要针对我们的代码来解决我们要解决的问题。在POI38之后新增加了一个类,
SXSSFWorkbook
,采用当数据加工时不是类似前面版本的对象,它可以控制excel数据占用的内存,他通过控制在内存中的行数来实现资源管理,即当创建对象超过了设定的行数,它会自动刷新内存,将数据写入文件,
这样导致打印时,占用的CPU,和内存很少。但有人会说了,我用过这个类啊,他好像并不能完全解决,当数据量超过一定量后还是会内存溢出的,而且时间还很长。对你只是用了这个类,但是你并没有针对你的需求进行相应的设计,仅仅是用了,所以接下来我要说的问题就是,如何通过SXSSFWorkbook以及相应的写入设计来实现百万级别的数据快速写入。
我先举个例子,以前我们[数据库
中存在大量的数据,我们要查询,怎么办?我们在没有经过设计的时候是这样来处理的,先写一个集合,然后执行jdbc,将返回的结果赋值给list,然后再返回到页面上,但是当数据量大的时候,就会出现数据无法返回,内存溢出的情况,于是我们在有限的时间和空间下,通过分页将数据一页一页的显示出来,这样可以避免了[大数据
量数据对内存的占用,也提高了用户的体验,在我们要导出的百万数据也是一个道理,内存突发性占用,我们可以限制导出数据所占用的内存,
这里我先建立一个list容器,list中开辟10000行的存储空间,每次存储10000行,用完了将内容清空,然后重复利用
,这样就可以有效控制内存,所以我们的设计思路就基本形成了,所以分页数据导出共有以下3个步骤:
1、求数据库中待导出数据的行数
2、根据行数求数据提取次数
3、按次数将数据写入文件
0条评论