上次我写关于使用Python / Pandas作为加载PostgreSQL表的辅助工具的文章。在此续集中,我演示了如何使用R以类似的方式与数据库进行协作。
所采用的策略与第一部分相同:1)使用R-data.table将一小部分数据加载到数据帧中以确定数据类型;2)利用该data.table在PostgreSQL中创建一个关系数据库表;3)根据元数据和csv文件生成批量加载sql复制命令以及shell脚本;4)使用系统命令执行shell脚本,以使用有效的copy语句加载数据。
R版本如下所示。仅作为概念证明,代码中没有异常/错误处理。希望提出的想法引起共鸣。
使用的技术是带有PostgreSQL 10.9,JupyterLab 0.35.4和R 3.6.0的Windows 10以及R包data.table 1.12.2,tidyverse 1.2.1和RPostgreSQL 0.6-2。
关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!