测试数据有一亿条需要导入数据库,使用DBeaver自带导入数据功能,结果放置一晚才导入一千万条,估计导入设置有问题。于是寻找合适方式,记录如下:

  1. 首先将待导入的csv数据表45G 传输到clickhouse所在的服务器
  2. 在数据库中提前建好表,和等待导入数据匹配
  3. 在客户端输入以下命令:
clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv 

导入成功,用时2min
若出现问题,可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐