首页 | 编程 | python

解决python执行较大excel文件openpyxl慢问题

2020年05月15日 作者：Pcject原文

我就废话不多说了，大家还是直接看代码吧！

talk is cheap

  from openpyxl import Workbook
  from openpyxl.utils import get_column_letter
  from openpyxl import load_workbook
  import time
  wb = load_workbook("E:/a.xlsx", read_only=True)
  sh = wb["Sheet"]
  # rowItem = {}
  # for j in range(1,2000):
  #   for i in range(1, 30):
  #     rowItem[get_column_letter(i)] = i
  #   sh.append(rowItem)
  # wb.save("E:/a.xlsx")
  t0 = time.time()
  print(sh['V500'].value)
  t1 = time.time()
  print("openpyxl所用时间：", str(t1-t0))

  import xlrd
  xlsPath = "E:/a.xlsx"
  WorkBook = xlrd.open_workbook(xlsPath)
  sh = WorkBook.sheet_by_name("Sheet")

  t0 = time.time()
  print(sh.cell(499,22).value)
  t1 = time.time()
  print("xlrd所用时间：", str(t1-t0))

测试结果：

22
openpyxl所用时间： 0.44217610359191895
23.0
xlrd所用时间： 0.0010063648223876953

结论

openpyxl的慢是读取慢，可以选择xlrd代替，详细测试下面继续

不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本，最大行数限制在65536，不够用，而openpyxl大概在一百多万

主要的说完了，下面详细说了：在写工具的时候遇到的这个问题，开始是用的xlwt+xlrd，然后行数超标了，没办法换成openpyxl使用excel2007的版本，原本测试不到三万行的数据，只要三四秒，换成openpyxl以后，花了好几分钟，具体没看多少了，然后加上函数运行时间的监视器以后，才看到是读取的时候出的问题

推测原因：

推测的话，openpyxl的根据行号列号读取的时候，是从第一行第一列开始遍历，直到行号等于指定行号，列号等于指定列号，所以要读取的行号列号越多就越慢，（也可能是从第一个有数据的行或列），而xlrd则是类似与数组一样，我们要取第几个元素，直接根据下标找到内存中对应地址的元素即可，所以无论excel总量多少，速度基本都是不变的

留下的坑

xlwt写入仅支持65536行，那xlrd的读取很可能也是，也就是超过这么多的数据可能也会出错

我这里因为是读多表数据生成单表数据，生成方式大概是Na*Nb这样，所以实际读取的不会太多，但生成的很多，所以基本可以用考虑这个问题

另外，据说xlrd读取xlsx格式的偶尔会出现问题，具体没测试，暂时用还没毛病

最后，顺带上一下监控函数运行时间的装饰器吧：

import time
from functools import wraps

def fn_timer(function):
  @wraps(function)
  def function_timer(*args, **kwargs):
    t0 = time.time()
    result = function(*args, **kwargs)
    t1 = time.time()
    print ("Total time running %s: %s seconds" %
      (function.__name__, str(t1-t0))
      )
    return result
  return function_timer

使用方式的话，就是在要监控的函数定义上面加上 @fn_timer 就行了

以上这篇解决python执行较大excel文件openpyxl慢问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持来客网。

相关链接