用Memcached活redis处理吧,具体如何处理要看你的业务是什么,其实思路大都是用内存级的数据库当索引,然后很多重要数据还是在MySQL中。内存里面建立索引会大大增加查询效率,当然,MySQL该有的优化也不可少的。
创新互联公司是一家专业的成都网站建设公司,我们专注做网站、成都网站建设、网络营销、企业网站建设,外链,一元广告为企业客户提供一站式建站解决方案,能带给客户新的互联网理念。从网站结构的规划UI设计到用户体验提高,创新互联力求做到尽善尽美。
可以优先计算用户看到的那一部分数据。其它的在后台慢慢计算,等到用户看到的时候再显示。
如果不能这样,那就得优化算法了,但是再怎么优化,这么大的数据,肯定是要花时间的。
应该是你的数据库配置限制了内存使用量导致的.建议查找下相关mysql配置资料.
直接倒序取一部分,如果可以就应该是配置的问题.
如果慢的话要考虑字段优化
问题需要具体.不铭感的话可以把数据发来我调试一下看看.
你说的写文件是个思路。如果你只是要求某一个字段是唯一,可以把这个存在内存中,每次进行验证。然后把验证通过的数据写入文件,最后在统一从文件中读出来存入数据库。
但是又会出现个问题。如果你是10万条数据在文件里,你要是想用一个INSERT插入,那必须得先把这数据读到内存里,肯定也很慢,而且不稳定。如果你逐条读出插入,对数据库也是个消耗。不过你可以把数据拆散,比如每1000条插一次。