泽民博客 ☰ Menu

jupyter

Posted by 夏泽民 Sep 17, 2017

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等

阅读全文

deep_learning

Posted by 夏泽民 Sep 17, 2017

学习资源： http://study.163.com/course/courseMain.htm?courseId=1003284016

阅读全文

spark-rdd

Posted by 夏泽民 Sep 15, 2017

参考书籍 https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/index.html 每个 Spark 应用程序都由一个驱动程序(driver programe)构成，驱动程序在集群上运行用户的 main 函数来执行各种各样的并行操作(parallel operations)。Spark 的主要抽象是提供一个弹性分布式数据集(RDD resilient distributed dataset)，RDD 是指能横跨集群所有节点进行并行计算的分区元素集合。RDD 可以从 Hadoop 文件系统中的一个文件中创建而来(或其他 Hadoop 支持的文件系统)，或者从一个已有的 Scala 集合转换得到。用户可以要求 Spark 将 RDD 持久化(persist)到内存中，来让它在并行计算中高效地重用。最后，RDD 能从节点失败中自动地恢复过来。 Spark 的第二个抽象是共享变量(shared variables)，共享变量能被运行在并行计算中。默认情况下，当 Spark 运行一个并行函数时，这个并行函数会作为一个任务集在不同的节点上运行，它会把函数里使用的每个变量都复制搬运到每个任务中。有时，一个变量需要被共享到交叉任务中或驱动程序和任务之间。Spark 支持 2 种类型的共享变量：广播变量(broadcast variables)，用来在所有节点的内存中缓存一个值；累加器(accumulators)，仅仅只能执行“添加(added)”操作，例如：记数器(counters)和求和(sums)。

阅读全文

netcat

Posted by 夏泽民 Sep 15, 2017

NetCat是一个非常简单的Unix工具，可以读、写TCP或UDP网络连接(network connection)。它被设计成一个可靠的后端(back-end) 工具，能被其它的程序 程序或脚本直接地或容易地驱动。同时，它又是一个功能丰富的网络调试和开 发工具，因为它可以建立你可能用到的几乎任何类型的连接，以及一些非常有 意思的内建功能 最简单的使用方法，”nc host port”，能建立一个TCP连接，连向指定的 主机和端口。接下来，你的从标准输入中输入的任何内容都会被发送到指定的 主机，任何通过连接返回来的信息都被显示在你的标准输出上。这个连接会一 直持续下去，至到连接两端的程序关闭连接。注意，这种行为不同于大多数网 络程序，它们会在从标准输入读到一个文件结束符后退出。 　　NetCat还可以当服务器使用，监听任意指定端口的连接请求(inbound connection )，并可做同样的读写操作。除了较小限制外，它实际并不关心自 己以“客户端”模式还是“服务器”模式运行，它都会来回运送全部数据。在任何 一种模式下，都可以设置一个非活动时间来强行关闭连接。 　　它还可以通过UDP来完成这些功能，因此它就象一个telnet那样的UDP程序， 用来测试你的UDP服务器。正如它的“U”所指的，UDP跟TCP相比是一种不可靠的 数据传输，一些系统在使用UDP 传送大量数据时会遇到麻烦，但它还有一些用 途。 　　你可能会问“为什么不用telnet来连接任意的端口”？问题提得好(valid)， 这儿有一些理由。Telnet有“标准输入文件结束符(standard input EOF)”问题， 所以需要在脚本中延迟计算以便等待网络输出结束。这就是netcat持续运行直 到连接被关闭的主要原因。Telnet也不能传输任意的二进制数据，因为一些特 定的字符会被解释为Telnet的参数而被从数据流中去除。Telnet还将它的一些 诊断信息显示到标准输出上，而NetCat会将这信息与它的输出分开以不改变真 实数据的传输，除非你要求它这么做。当然了，Telnet也不能监听端口，也不 能使用UDP。 NetCat没有这些限制，比Telnet更小巧和快捷，而且还有一些其 它的功能。

阅读全文

markdown-table

Posted by 夏泽民 Sep 15, 2017
  1. 方案一： markdown原生语法可以生成表格,在字段左右加｜分隔，第二行 | - |-:| :—–: | 例如
阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required