使用Python将数据从Google表格写入内部数据库

关于如何从数据库将数据读取到Google表格中有很多教程,但我最近发现自己需要做相反的事情:将仅在私有Google表格中可用的数据移到我们的数据库中。 这种做法可能与数据库管理的黄金标准相去甚远,但这是一种允许非技术用户创建和管理需要提取并链接到其他内部数据源,然后通过Looker,货车和Tableau。 此外,在数据科学工作中,我经常需要将Google表格中的数据提取到Pandas数据框中进行分析。 使用StringIO对于公开的Google表格很容易,但是我需要找到一种检索私人公司数据的方法。 在本教程中,我将介绍如何将Google表格读取到数据框中,然后将其写入数据库。 步骤1:从工作表写入到DataFrame 从Google表格中获取数据到Pandas的最简单方法是将表格导出为csv并使用read_csv函数。 但是,此过程可能很麻烦,并且会引起随时间变化的任何源数据的延迟。 另一种方法是使用Google API,但是对于这个简单的用例来说有点不堪重负。 我的首选方法是使用gspread,这是专为Google表格开发的python包装器。 您仍然需要使用/创建Google帐户的OAuth凭据进行身份验证,但是从那里开始,此过程非常简单。 以下是逐步说明: 打开终端并安装gspread和oauth2(如果尚未安装,则安装熊猫) 点安装gspread pip安装oauth2client 2.为您的Google帐户创建OAuth凭据。 打开开发人员控制台,然后选择或创建一个项目。…

Keepsafe冠军数据隐私日

1月28日是正式的数据隐私日,由国家网络安全联盟每年组织一次,以提高隐私意识。 今年,Keepsafe联合成为官方冠军。 当天的主题:尊重隐私,保护数据和建立信任与Keepsafe的价值观自然契合。 每次我们导入并加密存储在Keepsafe Photo Vault中的照片并使用Keepsafe VPN保护互联网连接时,我们都会帮助人们控制其隐私并保护其个人空间。 当人们急于使用很酷的新产品,并对隐私政策和服务条款有所掩饰时; 他们计算他们是否可以通过其数据实例信任特定公司,从而进行权衡。 到现在为止,我们都知道人们很少为公司提供单个数据点……而单个数据与为公司提供十年的使用和上网浏览时间相差甚远。 但是,交出数据的真正含义是什么? 对于大多数人来说,直到聚合器开始理解它们的“数据”才变得毫无意义。 点点滴滴即可描绘某人的身份,兴趣和爱好的画像。 如果我与特定应用共享位置,那有什么关系? 谁在乎是否“喜欢”某些Facebook帖子? 孤立地看,这种数据交换似乎无关紧要,但是由于历史数据链接在一起,因此可以形成特征和行为的模式。 实际上,当将技术应用于更大的数据集时,它甚至可以开始预测您的兴趣和未来的行动。 当这种情况对您或您所关心的人显而易见时,便开始感觉像是监视。…

数据如何使新闻变得比以往更聪明

新闻业不会消亡。 它比以往任何时候都更加智能。 随着数字时代的到来,报纸发行量急剧下降,传统媒体观念似乎黯淡无光。 (在2001年至2009年之间,近五分之一的报纸记者已经失业,而新闻编辑室的工作人员在2014年又缩水了10%。)但是,在网络的指数级增长期间,记者一直是关键的创新者,开拓了新的道路,并对使基本职业保持最新并随着我们所处的时代而变化。这是一个卷土重来的故事,它由一个简单的,几乎痛苦的显而易见的资源驱动:数据。 获奖者的共同点是对读者想要的东西(以及他们想要的东西)有超强的理解力,以及对进化或消亡的意愿。 “印刷新闻业非常’推动’。 记者正在写他们想写的东西或他们认为重要的东西。 现在,它是关于“拉动”的。”《赫芬顿邮报》新闻与分析副总监卡文·西茨科夫斯基(Cavan Sieczkowski)解释说。 “趋势撰稿人可以根据参与度数据来发掘与观众共鸣的内容,并且可以围绕引起最大反应的主题继续追随更多故事的角度。”与其说是编辑本来决定日程表,不如说是要给读者更多的发言权。 从观众的反应中汲取编辑思想是创造最佳内容的原因。 我们不仅坚持要打印和发布哪些内容的硬性规定。 我们会适应。” 当越来越多的读者选择从社交媒体的回声室中获取新闻和信息时,适应是关键,他们通常选择围绕自己的声音来强化(而不是挑战)他们现有的信念。 机器预言的围墙花园将在一个故事又一个故事的故事中展开讨论,批评者质疑有多少算法影响了2016年大选的结果。 人们正在选择他们要投入社交活动的内容。 他们正在成为自己的编辑器。” Cavan说。…