Python从不同格式文件中加载数据的速度举例分析

这篇文章主要介绍“Python从不同格式文件中加载数据的速度举例分析”，在日常操作中，相信很多人在Python从不同格式文件中加载数据的速度举例分析问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Python从不同格式文件中加载数据的速度举例分析”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

         熟悉Python数据分析和跟各种数据存储文件打交道的人可能都知道，就算是相同的数据内容，但用Python从不同格式的载体中读取数据的速度是不一样的。为了验证这一结论，我特意测试了一下，分别用Python从Excel，MySQL和CSV中读取数据的效率。

        工具：

        jupyter notebook（Python）,

        Navicat（MySQL）,

        Microsoft Excel 2016

        CSV（Excel按F12另存为）

        接着进入正题，以下就是我的测试结果：

        声明：使用的都是同一份数据源(除去表头，总共有159727条数据)！

        ① 直接用Python从Excel加载数据(29M)，第1次花了48秒，第2次花46.1秒；另外，计算结果只需花费几十到几百毫秒；

  处理数据的时间，花了几十到几百毫秒不等：

  ② 把Excel的数据(29M)导入到Navicat(可以写MySQL语句的一款编辑器)中，花了28.9秒；

      处理数据的时间，花了0.134s

        ③ 用Python直接从MySQL中获取刚才从Excel中导入的数据，第1次花了1.91秒，第2次花了2.01秒，第3次花了1.99秒，第4次花了1.79秒；

  处理数据的时间，花了59ms.

        ④ 用Python读取把刚才29M的Excel，另存为一个32.1M大小的CSV文件(数据内容相同)，才试了一次，居然只花了1.3秒(瞬开！惊奇！)

     处理数据的时间，花了19ms

到此，关于“Python从不同格式文件中加载数据的速度举例分析”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！