Numpy&pandas(九)–时间事件日志实例

587-王同学

发表文章数:79

热门标签

首页 » 数据科学库 » 正文

时间事件日志

个人时间统计工具。

要点:

  • 使用 dida365.com 来作为 GTD 工具
  • 使用特殊格式记录事件类别和花费的时间,如: “[探索发现] 体验 iMac 开发环境 [3h]
  • 导出数据
  • 分析数据

读取数据

分析并读取数据

%matplotlib inline
import pandas as pd
import matplotlib.pyplot as plt

from matplotlib.font_manager import FontManager
import subprocess    

def get_support_chinese_font():
    fm = FontManager()
    mat_fonts = set(f.name for f in fm.ttflist)

    output = subprocess.check_output('fc-list :lang=zh -f "%{family}/n"', shell=True)
    print '*' * 10, '系统可用的中文字体', '*' * 10
    print output
    zh_fonts = set(f.split(',', 1)[0] for f in output.split('/n'))
    available = mat_fonts & zh_fonts

    print '*' * 10, '可用的中文字体', '*' * 10
    for f in available:
        print f
    return available

from matplotlib.pylab import mpl

mpl.rcParams['font.sans-serif'] = ['Arial Unicode MS'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题

def _date_parser(dstr):
    return pd.Timestamp(dstr).date()

data = pd.read_csv('data/dida365.csv', header=3, index_col='Due Date', parse_dates=True, date_parser=_date_parser)
data.head()

数据清洗

  • 只关心己完成或己达成的事件,即 status != 0 的事件
  • 只需要 List Name 和 Title 字段
df = data[data['Status'] != 0].loc[:, ['List Name', 'Title']]
df.head()

数据解析

解析事件类别和和花费的时间

mport re

def parse_tag(value):
    m = re.match(r'^(/[(.*?)/])?.*$', value)
    if m and m.group(2):
        return m.group(2)
    else:
        return '其他'

def parse_duration(value):
    m = re.match(r'^.+?/[(.*?)([hm]?)/]$', value)
    if m:
        dur = 0
        try:
            dur = float(m.group(1))
        except e:
            print('parse duration error: /n%s' % e)
        if m.group(2) == 'm':
            dur = dur / 60.0
        return dur
    else:
        return 0
    
titles = df['Title']
df['Tag'] = titles.map(parse_tag)
df['Duration'] = titles.map(parse_duration)
df.head()
#将两个标签化为两个列
df.count()
#计数有多少行

start_date = df.index.min().date()
start_date
#看看从几号开始

end_date = df.index.max().date()
end_date
#最近一次是什么时候

数据分析

时间总览

平均每天投资在自己身上的时间是多少?-> 全部时间 / 总天数

end_date - start_date
#输出174天

df['Duration'].sum() 
#输出总时长

df['Duration'].sum() / (end_date - start_date).days
#看看一天的学习时长

精力分配

tag_list = df.groupby(['Tag']).sum()
tag_list
#看各项的总时长

tag_list['Duration'].plot(kind='pie', figsize=(8, 8), fontsize=16, autopct='%1.2f%%')
#再进行绘制一个饼图

专注力

长时间学习某项技能的能力

programming = df[df['Tag'] == '编程']
programming.head()
programming.resample('m', how='sum').to_period(freq='m').plot(kind='bar', figsize=(8, 8), fontsize=16)
#看这一项每天的时间

连续时间的精力分配

以时间为横轴,查看精力分配。

# 为什么不直接使用 df.pivot()? 因为有重复的行索引,如 2016-05-23
date_tags = df.reset_index().groupby(['Due Date', 'Tag']).sum()
date_tags

# 以 tag 作为列索引
dates = date_tags.reset_index().pivot(index='Due Date', columns='Tag', values='Duration')
dates

# 补足连续时间,可以看到哪些天没有在学习
full_dates = dates.reindex(pd.date_range(start_date, end_date)).fillna(0)
full_dates

# 画出柱状图
full_dates.plot(kind='bar', stacked=True, figsize=(16, 8))

full_dates.resample('m', how='sum').to_period('m').plot(kind='bar', stacked=True, figsize=(8, 8))

 

标签:

拜师教育学员文章:作者:587-王同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Numpy&pandas(九)–时间事件日志实例》 发布于2020-02-28

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录