发表回复 
 
主题评价:
  • 0 次(票) - 平均星级: 0
  • 1
  • 2
  • 3
  • 4
  • 5
大数据导入如何加快速度?
2013年05月06日, 14:43
微笑 大数据导入如何加快速度?
现在要导入 7000W 数据 平均每条100个字符以下 发现10个小时才导入 1400W 感觉速度有点慢了 怎么样可以快点?
查找这个用户的全部帖子
引用并回复
2013年05月07日, 09:56
RE: 大数据导入如何加快速度?
你启用 XSIndex::openBuffer 了吗,把这个开启一下会快很多很多
查找这个用户的全部帖子
引用并回复
2018年03月14日, 11:59
RE: 大数据导入如何加快速度?
[quote='hightman' pid='3982' dateline='1367891785']
你启用 XSIndex::openBuffer 了吗,把这个开启一下会快很多很多
[/quote]

我也遇到同样的问题,
xunsearch/util/Indexer.php --rebuild --source=mysql://root:1234@localhost/ucenter --sql="select id,title,content from topics" --db=topic --project=searchproj
我用这个工具直接导入,超过300万数据之后,查询数据库就很慢,iops 也超过了限额,基本上每次执行sql语句,都需要100秒左右,这直接导致剩下的几百万数据,需要几天时间才能导出完
查找这个用户的全部帖子
引用并回复
发表回复 


论坛跳转:


正在浏览该主题的用户: 1 个游客