泽民博客 ☰ Menu

maxwell+kafka+Spark Streaming构建MySQL Binlog日志采集实时处理方案

Posted by 夏泽民 Oct 29, 2018

https://github.com/zendesk/maxwell 组件下载地址：https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz  给mysql授权(只针对于maxwell库的操作) 其中user01为数据库用户名 666666为数据库密码 GRANT ALL on maxwell.* to ‘user01’@’%’ identified by ‘666666’; GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on . to ‘user01’@’%’; 执行maxwell命令行(注：maxwell默认是把监听的mysql的binlog日志发送到kafka的主题叫maxwell的topic上的)

阅读全文

samza

Posted by 夏泽民 Oct 28, 2018

https://www.w3cschool.cn/samza/ Samza介绍 Samza是近日由LinkedIn开源的一项技术，它是一个分布式流处理框架，它是基于Kafka消息队列来实现类实时的流式数据处理的，非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop，而且使用了LinkedIn自家的Kafka分布式消息系统，并使用资源管理器Apache Hadoop YARN实现容错处理、处理器隔离、安全性和资源管理。

阅读全文

flume

Posted by 夏泽民 Oct 28, 2018

一、Flume简介 　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 　　但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4. 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以 　　及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。

阅读全文

csrf token

Posted by 夏泽民 Oct 28, 2018

CSRF 攻击之所以能够成功，是因为黑客可以完全伪造用户的请求，该请求中所有的用户验证信息都是存在于 cookie 中，因此黑客可以在不知道这些验证信息的情况下直接利用用户自己的 cookie 来通过安全验证。要抵御 CSRF，关键在于在请求中放入黑客所不能伪造的信息，并且该信息不存在于 cookie 之中。可以在 HTTP 请求中以参数的形式加入一个随机产生的 token，并在服务器端建立一个拦截器来验证这个 token，如果请求中没有 token 或者 token 内容不正确，则认为可能是 CSRF 攻击而拒绝该请求。 这种方法要比检查 Referer 要安全一些，token 可以在用户登陆后产生并放于 session 之中，然后在每次请求时把 token 从 session 中拿出，与请求中的 token 进行比对，但这种方法的难点在于如何把 token 以参数的形式加入请求。对于 GET 请求，token 将附在请求地址之后，这样 URL 就变成 http://url?csrftoken=tokenvalue。 而对于 POST 请求来说，要在 form 的最后加上 <input type=”hidden” name=”csrftoken” value=”tokenvalue”/>，这样就把 token 以参数的形式加入请求了。 如果说这个Token是指的用户登录的凭据，并用以维持登录状态的话，也就是说一个用户必须要输入用户名密码并验证通过后，服务器才会分配一个Token，传回并储存在客户端作为凭证（同时储存在服务器上）。因此并不是每个人都可以获得这个Token，只有能提供正确用户密码的客户端才可以。 之后每一次操作，都需要客户端向服务器提供这个Token，以验证登录状态，如果考虑安全性的话，还可以增加对User-Agent、IP等信息的验证。 CSRF防范方法： （1）验证码 （2）refer头 （3）Token 说明：理解token的作用，他是一个随机的值，是服务器端前一个请求给的，是一次性的，可以防止csrf这种恶意的携带自己站点的信息发请求或者提交数据（这个动作一般需要获取你的前一个请求的响应返回的token值，加大了难度，并不能完全杜绝）。 注意当然不能写到cookie中，因为浏览器在发出恶意csrf请求时，是自动带着你的cookie的。

阅读全文

show processlist

Posted by 夏泽民 Oct 22, 2018

SHOW PROCESSLIST显示哪些线程正在运行

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required