“大数据“这个题目日前正受到很多行业的追捧,虽然并非从事专业的数据挖掘或者数据库开发或维护,但日常还是有很多内容需要涉及到数据的处理与呈现。
目前在使用python进行自动化的数据处理,结构不算复杂,但通过几个月的更新与扩充,基本实现了如下的功能:
通过调用os,glot实现了批量化的文本文件读取;
通过调用Openpyxl 模块实现了在Excel 表单中呈现数据;
通过调用Tk模块实现了基本的用户界面;
通过调用Pyinstaller实现了windows下单一可执行文件的封装;
source code已发布在本人的github上,有兴趣的读者可以去看一下。代码还比较粗燥,欢迎改进意见或建议。
针对不同的功能,目前该项目包括如下几个部分:
API One: Erase,Write,Read Analysis
Module used:glob, os, openpyxl, Tkinter;
Function:iterate in specified folder, process all txt files, and save result into excel files;
Feature: warning mechanism for data errors;
API Two: Dynamic Read Processing
Module used: functools, openpyxl, math
Function: iterate in specified folder, process all pat files, and save result into excel files;
Feature:
API Three: Bit Map Check From Memory
Module used: openpyxl
Function: reads bit map of memory and show bad blocks
Pyinstaller安装便捷且用户数量稳定,遇到问题很容易找到相应的答案。用它来实现项目的封装与发布相当合适,具体涉及到如下步骤:
pyinstaller的安装可以参考官方给出的教程:
使用如下命令可以实现程序的封装::
pyinstaller /path/to/yourscript.py
接下来就可以到pyinstaller的安装目录下的dist文件夹去寻找封装好的程序,可以直接点击exe文件运行,或者将这一文件夹压缩并发布出去。如果需要将程序封装成单一的可执行文件,可以给封装命令加上参数:
pyinstaller /path/to/yourscript.py –onefile