大家好,请问:
目前一个项目,scrapy 目前一分钟抓取 7000 条。需要把数据写入数据库。
而 Pipelines 好像是分析一条 insert into 一条,性能很低。
INSERT INTO table_name (列 1, 列 2,...) VALUES (值 1, 值 2,....)
请问是我的操作方法有问题,还是说可以把数据一批批写入提高效率,如:
INSERT INTO table_name (列 1, 列 2,...) VALUES (值 1, 值 2,....), (值 1, 值 2,....), (值 1, 值 2,....), (值 1, 值 2,....)
目前一个项目,scrapy 目前一分钟抓取 7000 条。需要把数据写入数据库。
而 Pipelines 好像是分析一条 insert into 一条,性能很低。
INSERT INTO table_name (列 1, 列 2,...) VALUES (值 1, 值 2,....)
请问是我的操作方法有问题,还是说可以把数据一批批写入提高效率,如:
INSERT INTO table_name (列 1, 列 2,...) VALUES (值 1, 值 2,....), (值 1, 值 2,....), (值 1, 值 2,....), (值 1, 值 2,....)