首页 > 程序开发 > Web开发 > python教程 > Python 实例 >

python数据提取过程记录

2018-05-03

python数据提取过程记录: 风电测风塔数据提取,遍历文件夹csv文件,每个csv提取至字典里,再从字典提取平均风速、最大风速等公有列数据。

#风电测风塔数据提取,遍历文件夹csv文件,每个csv提取至字典里,再从字典提取平均风速、最大风速等公有列数据
import os
import csv
def not_empty(s):
 return s and s.strip()
os.chdir("E:/fdtq75")#目标目录
L=[]
F_120_avg=[]#存放平均风速
F_120_max=[]#存放平均风速
F_120_min=[]#存放平均风速
F_100_avg=[]#存放平均风速
F_100_max=[]#存放平均风速
F_100_min=[]#存放平均风速
F_80_avg=[]#存放平均风速
F_80_max=[]#存放平均风速
F_80_min=[]#存放平均风速
F_50_avg=[]#存放平均风速
F_50_max=[]#存放平均风速
F_50_min=[]#存放平均风速
F_30_avg=[]#存放平均风速
F_30_max=[]#存放平均风速
F_30_min=[]#存放平均风速
F_10_avg=[]#存放平均风速
F_10_max=[]#存放平均风速
F_10_min=[]#存放平均风速
S=[]
for files in os.walk("E:/fdtq75"):#遍历目录下csv数据文件
 for file in files:
  L.append(file)
for i in range(len(L[2])):#迭代打开csv文件
 with open(L[2][i])as csvfile:
  f=csv.DictReader(csvfile)#读取csv数据到字典里
  print(csvfile)
  print(f)
  it=iter(f)
  for row in it:
    #print(row)
    F_120_avg.append(row['Anemometer @120m;wind_speed;Avg'])#把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_120_max.append(row['Anemometer @120m;wind_speed;Max'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_120_min.append(row['Anemometer @120m;wind_speed;Min'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_100_avg.append(row['Anemometer @100m;wind_speed;Avg'])#把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_100_max.append(row['Anemometer @100m;wind_speed;Max'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_100_min.append(row['Anemometer @100m;wind_speed;Min'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_80_avg.append(row['Anemometer @80m;wind_speed;Avg'])#把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_80_max.append(row['Anemometer @80m;wind_speed;Max'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_80_min.append(row['Anemometer @80m;wind_speed;Min'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_50_avg.append(row['Anemometer @50m;wind_speed;Avg'])#把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_50_max.append(row['Anemometer @50m;wind_speed;Max'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_50_min.append(row['Anemometer @50m;wind_speed;Min'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_30_avg.append(row['Anemometer @30m;wind_speed;Avg'])#把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_30_max.append(row['Anemometer @30m;wind_speed;Max'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_30_min.append(row['Anemometer @30m;wind_speed;Min'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_10_avg.append(row['Anemometer @10m;wind_speed;Avg'])#把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_10_max.append(row['Anemometer @10m;wind_speed;Max'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    F_10_min.append(row['Anemometer @10m;wind_speed;Min'])  # 把字典中,key值为120m风速数据提取出来,并逐个文件累积
    #F_avg=F_avg[0:1440000]
    S=F_120_avg
  D=list(filter(None.__ne__, S))
  D=list(filter(not_empty,D))
print(D)
print(len(D))
print(144*len(L[2]))
相关文章
最新文章
热点推荐