求助 Python 如何实现批量化多线程计算

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

每天有3000+个TXT文件能不能实现批量化计算

数据例如：

    92501         395           -300

    92501         395           -700

    92501         395          -2000

    92501         395           -200

     

计算 第二列 乘第三列 例如  “395*-300/100=-1185”

对计算结果进行区间频率统计，及区间计算结果汇总

频率

MV1    0~30000                             

MV2   30000~100000

MV3   100000~500000

MV4   500000~1000000

MV5   >1000000

NV1    0~-30000

NV2   -30000~-100000

NV3   -100000~-500000

NV4   -500000~-1000000

NV5   <-1000000

汇总

MS1    0~30000                             

MS2   30000~100000

MS3   100000~500000

MS4  500000~1000000

MS5   >1000000

NS1    0~-30000

NS2   -30000~-100000

NS3   -100000~-500000

NS4   -500000~-1000000

NS5   <-1000000

计算结果保存：excel格式或其它格式，文件命名=TXT文件名+上级文件夹名称（日期）

Excel 内容格式

多日计算能不能自动汇总如

SH600017.txt (180 KB)

2018-1-9 11:24:25 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：python 如何实现 多线程 批量化 txt

数据量太大了 SPSS Modeler 手工忙不过来

SPSS Modeler 手工 心塞啊

请高手帮忙  半自动化 也行

你这是历史数据还是会有更新的数据呢。如果是历史数据，是不是可考虑先将3000多个txt文件进行合并或者导入到数据库中。如果是有更新的数据，也可以使用数据库来简化

gjinwei 发表于 2018-1-9 12:00
你这是历史数据还是会有更新的数据呢。如果是历史数据，是不是可考虑先将3000多个txt文件进行合并或者导入到 ...

数据库我还不会，能否指导下

直接使用（以sqlite3为例，其他数据库使用方法差不多）：https://docs.python.org/3/library/sqlite3.html。pandas一般使用sqlalechemy以连接字符串连接数据库，可参考一下http://pandas.pydata.org/pandas- ... taFrame.to_sql.html

gjinwei 发表于 2018-1-9 13:58
直接使用（以sqlite3为例，其他数据库使用方法差不多）：https://docs.python.org/3/library/sqlite3.html。 ...

好的 谢谢

遍历文件名，循环计算就完了啊

这种level的问题，用python真是杀鸡用牛刀，直接stata几行代码完事了