一些碎片化想法

    为什么不能用所有的用户行为来表征用户向量？平台充斥着新老用户，活跃用户和...

抓痒臭臭耙 13127阅读 10赞 2020-03-29

Deep Learning for Computer Version with Pythoon

pyimagesearch的博主写的书，比较适合用来实践和CV学习简单了解。书的大概结构从DL介绍、图像识别基础知识，图...

抓痒臭臭耙 329阅读 1赞 2019-08-31

pandas读取超大文件

pandas读取大于内存的文件方法1, 设置chunksize, 分块读取chunksize = 10 ** 6for ...

抓痒臭臭耙 515阅读 2赞 2019-08-31

缓存更新的几种策略

Cache Aside Pattern这是最常用最常用的pattern了。其具体逻辑如下：失效：应用程序先从cache取...

抓痒臭臭耙 827阅读 3赞 2019-08-31

缓存的几个概念

缓存穿透缓存穿透是说收到了一个请求，但是该请求缓存里没有，只能去数据库里查询，然后放进缓存。这里面有两个风险，一个是同时...

抓痒臭臭耙 497阅读 2赞 2019-08-31

《Spark快速大数据分析》关于spark streaming章节的阅读

spark streaming和storm以及Flink streaming 解决问题的思路差不多，基本是应对大数据在流...

抓痒臭臭耙 413阅读 1赞 2019-07-31

pyspark转换hive数据到hbase实践

1.任务要求提取hive表中的数据集成外部jar包进行数据处理最终写入hbase 2.任务定义初始化spark...

抓痒臭臭耙 1975阅读 3赞 2019-07-31

DataPipeline利器：Airflow使用案例

1.前言今天介绍一个利用Airflow进行数据ETL的案例，任务目标是将关系数据库表的多个表同步到hive并进行转换。2...

抓痒臭臭耙 865阅读 1赞 2019-07-31

DataPipeline利器：初识Airflow

1.为什么我们需要WMS（workflow management system）工作流管理系统现目前，许多公司都有着大量...

抓痒臭臭耙 402阅读 2赞 2019-07-31