从ts类向tibble类的转变（之二），时间类tibble数据的数据清洗

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

时间类型的tibble类数据，数据清洗与一般的tibble数据会有不同，我们可以用不同的packages来尝试一下：
【数据】
选取深圳综指300106.SZ的18年2月22/23日的高频数据（tick级），可下载 i106.rar (84.01 KB) 本附件包括：

• i106.RData

2018-2-28 14:28:22 上传

深综指的部分高频数据

，但仅用于学习和练习之用，勿做任何商业用途。

1. # SETUP
   
2. library(tidyverse)
   
3. 
   
4. # load data
   
5. load("i106.RData")
   
6. 
   
7. i106 %>%
   
8.   tbl_df() %>%
   
9.   head(3)
   
10. 
    
11. #> datetime        close        volume
    
12. #2018-02-22 09:25:03        1754.307         155945300
    
13. #2018-02-22 09:30:00        1754.148         12515800
    
14. #2018-02-22 09:30:03        1756.871         116001200

复制代码

【用tidyquant包】

1. library(tidyquant)
   
2. 
   
3. # 变为分钟的价格数据
   
4. i106 %>%
   
5.   tq_transmute(select = close, mutate = to.minutes) %>%
   
6.   head(3)
   
7. #>      datetime        close
   
8. #2018-02-22 09:25:03        1754.307
   
9. #2018-02-22 09:30:57        1758.003
   
10. #2018-02-22 09:31:57        1755.187
    
11. 
    
12. # 变成日算数收益率的数据
    
13. i106 %>%
    
14.   tq_transmute(select = close,
    
15.                mutate_fun = periodReturn,
    
16.                period = "daily",
    
17.                type   = "arithmetic")
    
18. #>      datetime        daily.returns
    
19. #2018-02-22 15:00:03        0.010066826
    
20. #2018-02-23 15:00:03        0.001806975
    
21. 
    
22. # 增加MACD指标数据
    
23. i106 %>%
    
24.   tq_mutate(select     = close,
    
25.             mutate_fun = MACD,
    
26.             col_rename = c("MACD", "Signal")) %>%
    
27.   tail(3)
    
28. #>      datetime        close        volume        MACD        Signal
    
29. #2018-02-23 14:57:00        1774.756         7101900         0.009579118         0.008594071
    
30. #2018-02-23 14:57:03        1774.770         1073700         0.009929062         0.008861070
    
31. #2018-02-23 15:00:03        1775.169         219719500         0.011883175         0.009465491

复制代码

【用tibbletime包（0.0.2版本）】

1. library(tibbletime)  #要手动安装0.0.2版本的，最新的0.1.1版不好用
   
2. 
   
3. # 按照每45秒一次的数据
   
4. i106 %>%
   
5.     as_tbl_time(index = datetime) %>%
   
6.     as_period(45~second) %>%
   
7.     slice(1:5)
   
8. # A time tibble: 5 x 3
   
9. # Index: datetime
   
10. #  datetime            close     volume
    
11. #* <dttm>              <dbl>      <dbl>
    
12. #1 2018-02-22 09:25:03 1754. 155945300.
    
13. #2 2018-02-22 09:30:00 1754.  12515800.
    
14. #3 2018-02-22 09:30:18 1758.   8272000.
    
15. #4 2018-02-22 09:31:03 1758.  10190700.
    
16. #5 2018-02-22 09:31:48 1755.  10640000.
    
17. 
    
18. # 变成每45秒一次的K线数据
    
19. i106 %>%
    
20.     as_tbl_time(index = datetime) %>%
    
21.     time_collapse(period = 45~second) %>%
    
22.     group_by(datetime) %>%
    
23.     summarise(open  = first(close),
    
24.               high  = max(close),
    
25.               low   = min(close),
    
26.               close = last(close)) %>%
    
27.     slice(1:5)
    
28. # A time tibble: 5 x 5
    
29. # Index: datetime
    
30. #  datetime             open  high   low close
    
31. #* <dttm>              <dbl> <dbl> <dbl> <dbl>
    
32. #1 2018-02-22 09:25:03 1754. 1754. 1754. 1754.
    
33. #2 2018-02-22 09:30:15 1754. 1758. 1754. 1758.
    
34. #3 2018-02-22 09:31:00 1758. 1759. 1758. 1758.
    
35. #4 2018-02-22 09:31:45 1758. 1758. 1756. 1756.
    
36. #5 2018-02-22 09:32:30 1755. 1756. 1754. 1754.
    
37. 
    
38. # 对数据做滚动总结
    
39. # 先编写需要计算的函数
    
40. summary_df <- function(x) {
    
41.     data.frame(rolled_summary_type = c("mean", "sd", "min", "max", "median"),
    
42.                rolled_summary_val = c(mean(x), sd(x), min(x), max(x), median(x)))
    
43. }
    
44. 
    
45. # 再变成rolling的版本
    
46. rolling_summary <- rollify(~summary_df(.x), window = 5, unlist = FALSE)
    
47. 
    
48. i106 %>%
    
49.     mutate(summary_list_col = rolling_summary(close)) %>%
    
50.     filter(!is.na(summary_list_col)) %>%
    
51.     unnest()
    
52. ## A tibble: 47,440 x 5
    
53. #   datetime            close    volume rolled_summary_type rolled_summary_val
    
54. #   <dttm>              <dbl>     <dbl> <fct>                            <dbl>
    
55. # 1 2018-02-22 09:30:09 1758. 10882600. mean                           1756.  
    
56. # 2 2018-02-22 09:30:09 1758. 10882600. sd                                1.75
    
57. # 3 2018-02-22 09:30:09 1758. 10882600. min                            1754.  
    
58. # 4 2018-02-22 09:30:09 1758. 10882600. max                            1758.  
    
59. # 5 2018-02-22 09:30:09 1758. 10882600. median                         1757.  
    
60. # 6 2018-02-22 09:30:12 1758.  8906900. mean                           1757.  
    
61. # 7 2018-02-22 09:30:12 1758.  8906900. sd                                1.56
    
62. # 8 2018-02-22 09:30:12 1758.  8906900. min                            1754.  
    
63. # 9 2018-02-22 09:30:12 1758.  8906900. max                            1758.  
    
64. # 10 2018-02-22 09:30:12 1758.  8906900. median                         1757.  
    
65. # ... with 47,430 more rows

复制代码

【小结】

• tidyquant包的优点是，从quantmod，TTR，xts等包转移过来的成本较小，对于熟悉这些包的同学是福音，缺点就是函数比较规范化，比较难做个性化的数据操纵——类似我们在第二个例子中做的每隔45秒做一次切面的做法。
• tibbletime包可以满足较多个性化的数据清洗，但是版本还不太稳定，且做Rolling计算时，速度较慢，还需要等待其逐渐完善。
  

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

sequel of first one, learn a lot from this, thank you very much, looking forward to part 3 and more!

多谢楼主分享

感激！！太及时了

  若仅仅做 无时间空隙（如上证指数）的时间序列简单统计值滚动计算，用tibble 与 RcppRoll  更合适更快。。

  但象PerformanceAnalytics中上百个统计值，在二三千支股票(个股因常停牌，有时间空隙）的二十多年中，同时做特定日期多年滚动计算，tibbletime ,tidyquant都不好用，太慢太慢了，估计要好几天，才能做完。。但仅仅巧用 tidyvers即可。。