Data Engineering 数据科技

dag-factory：从YAML生成Airflow DAG

Apache Airflow是“以编程方式编写，安排和监视工作流的平台。”目前，它正处于发展阶段。在DataEngConf NYC 2018上，似乎所有其他话题都是关于或提及Airflow的。也有无数关于不同公司如何使用该工具的博客文章，甚至还有播客！ Airflow的主要用例似乎是ETL或ELT或ETTL或我们今天使用的首字母缩写词，用于将数据从生产系统批量转移到数据仓库。这种模式通常会在多个管道中重复。我最近发表了一篇关于如何在日常工作中使用Airflow并使用YAML配置使这些重复的管道易于编写，更新和扩展的演讲。这种方法的灵感来自Chris Riccomini在WePay上有关Airflow的开创性文章。然后，听众中有人问“您如何从YAML转到Airflow DAG？”我的回答是，我们有一个Python文件来解析配置并生成DAG。这个答案似乎并不能使听众或我自己满意。这种模式在有关Airflow的讨论或帖子中非常普遍，但似乎我们都在独立编写相同的逻辑。因此，关于达工厂的想法诞生了。 dag-factory库使您可以按照以下步骤轻松地从YAML配置创建DAG。首先，将dag-factory安装到您的Airflow环境中：…

Scala Day主题演讲的主要内容

Dotty是作为一个单独的分支开发的。它应该在2018年初发布稳定的0.x。当前对ctdlib集合的返工将是2.13和dotty 0.1的一部分。 Scala 3预计将于2019年或以后发布。 Dotty采用了6周迭代的发布训练模型。为什么选择Dotty？类型，功能和对象是三个重要的语言构造。大多数语言都使用三种语言中的两种。 Scala应该综合所有这三个。对于Scala，隐式是其核心：隐式是传递对象并由键入驱动的函数。上下文是项目之外的内容，但是是隐式已知的。 Scala隐式是表示上下文的规范方法。 Scala率先在类型，函数和对象之间进行合成，并且许多语言正在进入该领域。凭借过去几年的经验，现在是重建基础的好时机。这点得到了DOT演算现在更强大的基础的支持[论文]。 Scala应该在可用性（对于新手），简单性（从小的语法和规范的意义上）和功能之间取得平衡。 Dotty试图重新平衡这些东西，通过删除外围结构并增强核心来回到本质。…

简易趋势性分析报表－使用平均数与标准差

我现职主要是负责Data Pipeline与部分机器学习相关的工作，在监控整体服务运营绩效时，一直有个疑问是“单从纯量的图形来看时，我实在看不出每天都有什么不一样”以及「当不同事件相差数十倍时，我没办法在同一张表研磨两者各自的变化，更无法切割彼此间是否有什么关联」。想了许久以后我那连入门都算不上的统计知识突然派上用场了，使用了最简单的平均数与标准差。我设计这图表时，根据观察会发现「每天半夜四点是使用者最少」，「中午与睡前是使用者最多」，因此造成基础假设「使用者在每天的同一个时间会有类似的行为”。在这个假设下，图表呈现的结果是“这一小时与过去N天中的同一小时的平均数比例，相差多少个标准差 ”。上图X轴为时间，Y轴是与当小时平均数正负多少标准差，而黄色跟随绿色是两个高相关性但数量差异很大的事件，从而图可以研磨各别事件的走势如何。这两个事件理论上动作要十分相近，但是中间明显绿色线高出了黄色线很多，因此我们就可以去看看是否有什么突发事件或状况，而且也能对比这事件与过去N天的趋势走向为何。「花式SQL大法好」，本篇是使用Grafana与MySQL，中间经过一连串复杂且花式的SQL查询XD 可行的方法我们成功发现以上系统隐藏性的错误，也可以快速的知道近期的趋势如何，只要设定你想观察的区间有多长。

Airflow教程2：使用Docker设置气流环境

我们将学习如何使用Docker设置气流环境 Airflow旨在与所有数据库，系统，云环境，…集成。管理和维护所有依赖项更改将非常困难。花费大量时间进行设置和配置Airflow env。如何为所有开发人员共享开发和生产环境。 Docker是一个用于开发，交付和运行应用程序的开放平台。 Docker提供了在松散隔离的环境（称为容器）中打包和运行应用程序的功能。隔离和安全性使您可以在给定的主机上同时运行许多容器，而无需考虑其操作系统是Mac，Windows，PC，云，数据中心等。容器很轻便，因为它们不需要管理程序的额外负载，而是直接在主机的内核中运行。这意味着与使用虚拟机相比，可以在给定的硬件组合上运行更多的容器。 Docker使我们摆脱了管理，维护所有Airflow依赖关系和部署的任务。易于共享和部署不同的版本和环境。跟踪Github标签和发布。从测试到生产环境的轻松部署。分叉并克隆下面的Github存储库，并按照说明进行设置 airflow-tutorial：https://github.com/tuanavu/airflow-tutorial 先决条件…

想成为一名数据工程师吗？这是你需要知道的

Bolt的数据工程师Gianluca Ciccarelli 一年多以前，我不知道什么是数据工程。今天，我正在与欧洲领先的数据科学团队合作，成为全球发展最快的打车公司之一。我帮助收集，过滤和转换原始数据，使其对Bolt（以前称为Taxify）的某些核心业务功能有用。在这篇文章中，我将分享我对数据工程师每天面临的目标和挑战的了解。加入Bolt之前，我一直是一名软件工程师。我曾经对什么是数据科学和分析有一个大致的了解。我不知道的是，为了有效地使用数据，遵守一些要求有多重要，以及工程师如何帮助使数据易于访问。数据是一种资产 Bolt是一家相对较小的公司，但我们处理大量数据。它使我们能够建立预测模型并使用它们来改善我们的服务。对于骑手而言，这意味着我们可以更准确地估算出购车所需的时间。例如，这还意味着我们根据供求关系提供公平的价格，这对驾驶员和骑手都有利。我们将其提供给我们的商业智能工具，这些工具反过来有助于评估营销和用户体验实验的结果，并就我们的发展方向做出明智的决策。我们可以为我们的欺诈预防团队提供足够的背景信息，以便他们就什么构成欺诈和什么不构成欺诈做出可靠的决定。开发人员可以了解进入其API的流量是否以意外的方式流动，或者他们的正确操作是否需要更多硬件。利用数据提供的可能性仅受我们的技能和创造力的限制。…

将Selenium（和Python）用于ETL的“ E”入门

本文的目的是提供一些我使用Selenium与Web UI交互以为Ed-Tech供应商导出数据的资源，技巧和窍门。本文针对的是Selenium的首次使用。我将分享的许多知识都来自构建“导管胶带”，这是一个Python软件包，由全国各地许多不同的K-12学校系统支持，用于从Ed-Tech工具（尤其是那些不提供API的工具）中提取数据。。本文假定以下内容：读者知道什么是硒。读者熟悉HTML元素，DOM和HTML表单的概念。读者从高层次了解什么是ETL。读者可以使用Selenium + Python环境（如果您使用的是Windows，并且熟练使用Google Chrome浏览器，则可以在此处找到进行此设置的说明）。入门在编写Selenium Code之前，您需要建立开发环境。 Selenium是一个编程层，可让您将命令发送到自动浏览器代理。它有几种编程语言可用，但是我喜欢将它与Python一起使用，并且在使用Selenium进行数据提取时，我也喜欢使用Google…

在流数据流中解决数据质量

数据是新的石油。它很有价值，但是如果不完善，就不能真正使用。必须将其更改为天然气，塑料，化学品等，以创建可推动获利活动的有价值的实体；因此必须对数据进行分解，分析以使其具有价值。” — Clive Humby（英国数学家和乐购Clubcard的建筑师）克莱夫·亨比（Clive Humby）于2006年首次创造了“数据就是新石油”这一术语。数据中的混乱始终存在，企业为从这些数据中提取有意义的信息而进行的斗争是普遍的。凭借处理超出我们处理能力的数据的计算能力，我们收到的90％的数据都是非结构化的。我们仅分析和使用了我们收到的数据的0.5％。数据质量问题构成了数据世界中的关键挑战。由于数据质量问题，从多个来源获取的非结构化数据通常会导致无法获得洞察力，甚至无法进行简单的分析。什么是数据质量？它如何满足数据消费者的期望它如何适合数据质量维度，例如准确性，完整性，一致性，及时性，可用性和使用适用性大多数企业都建立了数据质量框架，该框架定义了数据质量能力，并将其作为组织的一个过程加以实施。数据质量框架将使数据所有者，数据架构师，业务分析师和数据科学家受益。…

气流：为什么什么都不起作用？

TL; DR Airflow的SubDagOperator导致死锁在Bluecore，我们喜欢数据。我们的产品依赖于处理大量数据来帮助我们的电子商务客户通过电子邮件，广告和定制的现场体验提供个性化的体验。随着我们继续添加更多产品，我们已经拥有越来越多的方法来管理数据处理工作流。与其维护N个不同的系统来控制我们的数据工作流，不如将数据处理整合到一个平台上。尽可能简单，尽可能强大是Bluecore Engineering的文化准则。在产品发展的早期，我们为线性数据处理工作流构建了可组合的ETL系统。它不再适合我们的新数据产品，因此我们决定引入Airflow，这是由Airbnb创建的“以编程方式编写，安排和监视工作流的平台”。在这篇文章中，我不会写什么是Airflow，它的基本概念或为什么要使用它。 Airflow自己的文档在涵盖此方面做得非常好，并且越来越多的帖子为Airflow的新手提供了示例。取而代之的是，我要写一些关于队友的特定障碍物的信息，当我们决定开始通过Airflow为项目X运行项目的生产作业时，我遇到了麻烦。问题我们建立了一个基本的Airflow环境，该环境在Kubernetes集群上运行，并使用Celery工人来处理任务。 Project X要求每个客户运行一个工作流。…

使用Apache Spark进行Adwords报表管理

GetYourGuide是旅游和活动的领先市场。我们的访客寻找在目的地中要做的事情：从巴黎地下墓穴之旅到博物馆和景点的门票。我们使命的关键组成部分是使客户的兴趣与库存中的惊人产品相匹配。这意味着我们必须是客户所在的地方，而且经常出现在Google或Bing等搜索引擎上。在GetYourGuide，我们熟悉Adwords（Google的付费搜索产品），以将访问者搜索查询与目的地中的相关产品进行匹配。 Adwords是一种非常复杂的产品，也是一种非常受数据驱动的产品。我们最近探索了解决方案，以扩大我们下载和处理Adwords报告的方式：Adwords提供了一个关键数据集，用于监控诸如展示次数，点击次数等指标。这些报告包含很多信息，我们的目标是尽可能快速，可靠地下载和处理它们。幸运的是，Google Adwords提供了一个丰富的API来实现此目的，但是由于我们服务的目的地很多，我们使用的语言数量（GetYourGuide支持14种语言）以及Adwords API施加的限制，此问题需要一个创造性的解决方案和可扩展的解决方案。初始点在深入探讨之前，让我们回顾一下我们开始的设置：我们最初的解决方案非常简单。 cron作业在服务器上启动了一个两步过程，其中每一步都是一个Python脚本。第一步是连接到Adwords API，一次下载一个报告，然后写入生成的原始CSV文件。第二步获取每个CSV文件并应用转换，例如添加列或过滤行。…

Mixpanel，Netsuite和Zuora的表选择

RJMetrics Pipeline现在是Stitch。了解有关此更改的信息 e。上周，我们宣布了用于Salesforce和Facebook Ads集成的表选择。现在，我们很高兴为我们的Mixpanel，Netsuite和Zuora集成引入相同的功能。随着针对我们的Mixpanel，Netsuite和Zuora集成的表选择功能的发布，RJMetrics Pipeline仍然是市场上唯一提供这种灵活性的自助数据管道平台。现在，您可以为这些数据源选择要同步到Amazon Redshift的确切表。不再有不需要的数据；不再违反API限制。我们的方法对于RJMetrics，透明度和控制至关重要。在过去的几周中，我们的产品团队收到了您（我们的客户）的大量反馈，涉及如何最好地在这些方面继续交付。…