小规模数据分析会用到哪些工具
虎嗅蔷薇
发布于 云南 2022-10-26 · 1541浏览 8赞

最近在工作中遇到一些需要处理并从日志中提取有用数据的工作,说说所使用到的工具。

CMD->find|findstr命令

windows系统的自带的cmd命令行中的find 和findstr命令。这两个命令可以从文本中查找并提取内容,用来做内容初筛挺合适的。比如查找包含"useranswer/save"的行,并输出到一个文本中

>findstr /C:"useranswer/save" ./access.log >> savelog.txt

Excel

说到数据分析的基础的工具,非Excel莫属。

微软办公系列的重要组成之一,任何办公人员都会用到的神器,不得不说它的体系太庞大了,在人力、金融、管理等多个领域都会应用,同样对数据分析人员来说,也可以进行各种数据处理和分析。

1.数据录入,只能分栏,等功能可以快速分离数据。

2透视表:实现数据透视的效果,可以说学会数据透视表,基本可以解决80%的工作。

3.公式:通过公式可以进行数学计算。可以查找匹配数据。

4.计分析:Excel里的 数据分析 可以实现描述统计、假设检验、抽样等统计分析的功能,只要用的好,不逊色于专业的统计分析软件。

5.图表:用Excel作图操作简单。简单的日报/月报中以及自己分析时Excel的图表完全可以满足我们的需求。但是当要进行专业的展示时,图表的美化就显得尤为重要,而用Excel去美化图表,也不是不行,只是要用到很多偏门的小技巧,没必要花那么多时间,现成有可用的工具。

6.VBA:还可以用VBA编程实现更高级复杂的需求。

7.插件:Excel还能承载很多有用的插件,比如PowerQuery、PowerMap、PowerView等,来辅助我们实现更为强大的数据分析功能。

总的来说,Excel可以说是数据分析基础以及必备的工具,可以不用Power BI,但你一定不能没有Excel。

编程语言

主流的数据分析编程语言莫过于R和Python了。如果数据规模不大,随便使用一种你熟悉的语言就可以从中整理出自己想要的数据。java,python,php,node,都可以。

分析数据,首先要生成数据。我们使用的业务系统,大多都是设计好,数据都是按照需要收集存储与数据库中,需要的时候直接分析。但是有的时候分析日志别分析数据库中的数据有意思。有一个疑惑,存数据库和存日志,哪一个更快,哪一个更耗资源?系统之记录大量完备的日志是否有必要。

虎嗅蔷薇
阳光沥肩头,仿佛自由人。
浏览 1541
8
相关推荐
最新评论
赞过的人 8
评论加载中...

暂无评论,快来评论吧!