python data analysis

“大数据“这个题目日前正受到很多行业的追捧,虽然并非从事专业的数据挖掘或者数据库开发或维护,但日常还是有很多内容需要涉及到数据的处理与呈现。

目前在使用python进行自动化的数据处理,结构不算复杂,但通过几个月的更新与扩充,基本实现了如下的功能:

  • 通过调用os,glot实现了批量化的文本文件读取;

  • 通过调用Openpyxl 模块实现了在Excel 表单中呈现数据;

  • 通过调用Tk模块实现了基本的用户界面;

  • 通过调用Pyinstaller实现了windows下单一可执行文件的封装;

source code已发布在本人的github上,有兴趣的读者可以去看一下。代码还比较粗燥,欢迎改进意见或建议。

针对不同的功能,目前该项目包括如下几个部分:

API One: Erase,Write,Read Analysis

Module used:glob, os, openpyxl, Tkinter;

Function:iterate in specified folder, process all txt files, and save result into excel files;

Feature: warning mechanism for data errors;

API Two: Dynamic Read Processing

Module used: functools, openpyxl, math

Function: iterate in specified folder, process all pat files, and save result into excel files;
Feature:

API Three: Bit Map Check From Memory

Module used: openpyxl

Function: reads bit map of memory and show bad blocks

Pyinstaller安装便捷且用户数量稳定,遇到问题很容易找到相应的答案。用它来实现项目的封装与发布相当合适,具体涉及到如下步骤:

pyinstaller的安装可以参考官方给出的教程:

PyInstaller

使用如下命令可以实现程序的封装::

pyinstaller /path/to/yourscript.py

接下来就可以到pyinstaller的安装目录下的dist文件夹去寻找封装好的程序,可以直接点击exe文件运行,或者将这一文件夹压缩并发布出去。如果需要将程序封装成单一的可执行文件,可以给封装命令加上参数:

pyinstaller /path/to/yourscript.py –onefile