Young Blog

使用Hexo+Github搭建一个免费的个人博客，本文略长，大佬请自行选择阅读。 前言一边上班一边搭建博客，忙了大概有一周左右的时间，终于把博客都调好了。我使用的是Hexo框架，主题是闪烁之狐之狐的hexo-theme-matery，本文介绍的也是该主题的配置，大家如果喜欢可以去下载使用。 本文除了介绍了matery主题的一些基础配置之外，也介绍了一些我个人和在其他大佬处看到的功能定制。只要你懂得操作软件，懂得键盘打字，那么就可以通过本教程搭建一个完全免费的个人博客。如果你是技术大佬，那么更可以通过修改源码去定制更好的功能。本文也记录了一些我搭建过程中遇到的坑，希望可以帮你在搭建过程中少走一些弯路，同时如果你也遇到一些本文没有记载的bug，也请你给我留言，让我们一起学习解决，多谢。 第一部分：准备1.Hexo介绍Hexo是一款快速、简洁且高效的基于Node.js的静态博客框架，四大特性： 超快速度：Node.js 所带来的超快生成速度，让上百个页面在几秒内瞬间完成渲染。 支持Markdown：Hexo 支持 GitHub Flavored Markdown 的所有功能，甚至可以整合 Octopress 的大多数插件。 一键部署：只需一条指令即可部署到 GitHub Pages, Heroku或其他平台。 插件和可扩展性：强大的 API 带来无限的可能，与数种模板引擎（EJS，Pug，Nunjucks）和工具（Babel，PostCSS，Less/Sass）轻易集成。 这使得很多非编程人员可以很轻松，很自由的定制博客。废话不多说，开始进入搭建环境把。 2.安装Node环境Linux直接命令行输入： sudo apt-get install nodejs sudo apt-get install npm 或者到官网下载： 下载完成后解压到指定文件夹，然后配置环境变量（目的是为了在终端可以任意位置使用它）： 首先打开~/.bashrc文件 vim ~/.bashrc 在文件的最下端填写如下代码 export PATH=${PATH}:$HOME/node-v12.13.0-linux-x64/bin/ 因为我下载的是64位12.13.0版本，并且放到了根目录home下，你可以根据自己的需求进行更改上面的路径。保存退出后，执行命 ...

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档。 Markdown 语言在 2004 由约翰·格鲁伯（英语：John Gruber）创建。 Markdown 编写的文档可以导出 HTML 、Word、图像、PDF、Epub 等多种格式的文档。 Markdown 编写的文档后缀为 .md, .markdown。 标题Markdown支持6种级别的标题，对应html标签 h1 ~ h6，严格的Markdown语法＃和文本之间要有一个空格。 # h1　这是一级标题 ## h2　这是二级标题 ### h3　这是三级标题 #### h4　这是四级标题 ##### h5　这是五级标题 ###### h6　这是六级标题 效果如下（实际演示会造成菜单混乱，所以此处使用截图）： 除此之外，Markdown还支持另外一种形式的标题展示形式，使用下划线进行文本大小的控制。但是这种形式仅有两种表现形式：即一级标题和二级标题。 这是一级标题 ========== 这是二级标题 ---------- 效果如下： 分割线使用三个或者三个以上的-或者*都可以。 --- ---- *** ***** 效果如下： 可以看出效果都是一样的。 字体 粗体 要加粗的文字左右分别用两个*号或下划线_包起来。 斜体 要加斜的文字左右分别用一个*号或下划线_包起来。 斜粗体 要加粗加斜的文字左右分别用三个*号或下划线_包起来。 删除线 要加删除线的文字左右分别用两个波浪线~~包起来。 下划线 要加下划线可以通过 HTML 的<u>标签来实现。 高亮 文字高亮功能能使行内部分文字高亮，使用一对反引号。 **这是加粗的文字** __这是加粗的文字__ *这是倾斜的文字* _这是倾斜的文字_ ***这是斜体加粗的文字*** ___这是斜体加粗的文字___ ~~这是加删除线的文字~~ <u>这是加下划线的文字</u> 这是要`高亮`的文字 效果如下： 这是加粗的文字这是加粗的文字这是倾斜的文字这是倾斜的文字这是斜体加粗的文字这是斜体加粗的文字这是加删除线的文字这是加下划线的文字 这是要高亮的文字 引用在引用的文字前加>即可，同样严格语法需要中间加一个空格。引用也可以嵌套，如加两个>>三个>>& ...

Mac 安装docker brew cask install docker 概念 镜像：类，分层存储，前一层是后一层的基础，每一层的修改都只会在自己的一层进行修改，不会干扰到其他层。比如删除前一层的数据，并不是真正删除，而是在当前层不引用。而文件实际还是随着镜像在一起，比较臃肿。 容器：实例，相当于进程，有自己独立的用户空间。容器是运行在镜像之上的一层，有自己的存储层。容器存储层随着容器的消亡而消亡，生命周期一致。好的编写规范是，使用宿主存储或者数据卷，生命周期独立于容器，删除容器后数据也不会消失。 仓库 添加镜像源 mac : preference - > docker engine - > "registry-mirrors": [ "https://hub-mirror.c.163.com", "https://mirror.baidubce.com" ] 获取镜像 docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签] 运行镜像 docker run -it -rm ubuntu:18.04 bash 退出镜像 exit docker ps // 查看运行的docker id docker kill dockerid 列出镜像 docker image ls 查看占有空间 docker system df 虚悬镜像（None-image） docker image ls -f dangling=true 删除虚悬镜像 docker image prune 中间层镜像 docker image ls -a 删除镜像 docker image rm [选项] <镜像1> [<镜像2> ...] 理解构建 docker commit # 类似git commit 将存储层的修改添加到镜像中,慎用!!! 进入容器 docker exec -it webserver bash 查看修改 docker diff webserver 查看修改历史 docker history 定制docker Dockerfile 是文本文件，其中包含了一条条操作docker的指令。 FROM：指定基本镜像，是文件中必须的一条命令。（scratch ...

TensorFlowServing 介绍 支持热更新：在模型文件目录创建更大的版本目录即可，旧版本停用，直接使用新的版本。 Docker部署模型准备使用Tensorflow训练好的模型需要保存为 tfs 格式的模型文件。 └── 0 ├── assets ├── saved_model.pb └── variables ├── variables.data-00000-of-00002 ├── variables.data-00001-of-00002 └── variables.index 目录0：表示版本号，但不是 url 中的 v1 saved_model.pb：保存的网络模型结构 variables：参数的序列化数据 如果是 keras 保存的 h5 文件，需要转为 tfs 格式的模型文件 # 使用了keras model.save_weights()保存参数的模型文件转换 model.load_weights(bast_model_filepath) model.save('output/tfs/1/', save_format='tf') # 使用了keras model.save()保存全部模型的文件转换 model = tf.keras.models.load_model(model_path.h5, custom_objects=&#123;自定义的loss或者metric&#125;) model.save('output/tfs/1/', save_format='tf') 拉取Docker镜像使用如下命令，拉取 tensorflow serving 镜像 docker pull tensorflow/serving 运行Tensorflow/serving镜像docker run -p 8555:8501 --name demo1 -v 本地模型文件目录:/models/demo1 -e MODEL_NAME=demo1 tensorflow/serving docker run：运行docker 命令执行 tensorflow/serving -p ：将docker 内部的8501端口，映射到外部的8555 ，外部可以通过localhost: ...

Pandas 常用代码 01. 加载库import pandas as pd 02. 读取CSV文件df = pd.read_csv(file) 03. 显示头/尾数据df.head(n) # 显示头n行数据，默认5行 df.tail(n) # 显示尾n行数据，默认5行 04. 查看数值型特征统计信息df.describe() 05. 查看数据表基本信息df.info() 06. 查看列名df.columns 07. 查看空值df.isnull() df.isna() df.isna().any() # 查看是否有缺失值 df.isna().sum(axis=0) # 查看列缺失值数量 df.isna().sum(axis=1) # 查看行缺失值数量 08. 查看某一列的唯一值df[列名].unique() 09. 查看数据表维度df.shape 10. 查看数据表值（转为矩阵）df.values 11. 查看某列值数量df[列名].value_counts() 12. 删除重复数据df[列名].drop_duplicates() # 删除后出现的重复数据 df[列名].drop_duplicates(keep='last') # 删除先出现的重复数据 13. 空值填充df.fillna(value=0) # 使用0填充 df[列名].fillna(df[列名].mean()) # 使用某列均值进行填充 14. 更改列名df.rename(columns=&#123;old: new&#125;) 15. 数据替换df[列名].replace('', '') 16. 判断是否包含某值df[列名].isin(['']) 17. 删除空值df.dropna() # 默认删除含有空值的行 df.dropna(how = 'all') # 删除所有列都是空的行 df.dropna(how = 'any') # 只要包含空值的行就删除 df.dropna(axis = 1) # 删除含有空值的列 df.dropna(axis=1,how="all") # 删除全部为缺失值的列 df.dropna(axis=0,subset = ["Age", "Sex"]) # 删除 Age Sex 两列中有缺失值的行。 18. 将函数做用于数据df.apply(funct ...

介绍SimHash 算法是 Google 出品的一款短小精悍，用来处理海量文本去重的算法。 它的大概思路是，将文本通过 hash 映射到一个低纬向量中，然后使用局部敏感 hash 的思想，将向量映射为二进制向量。最后通过计算文本间的 hamming 距离，从而判断文本是否相同。 SimHash 算法具有实现简单，计算速度快的优点。但是因为是通过 hash 计算，所以会因为 hash 碰撞从而出现误判的问题。并且相比 bloom filter 和 single 去重算法，simhash 的准确率略有不足。 不过由于局部敏感 hash 的原因，simhash 是求两个文本近似相似，而不是像 bloom filter 那样必须完全一致才是相同的。就算两个文档有些许的内容不同，通过 simhash 也可能会得到结果为相同的文档，这个可以通过调节计算 hamming 距离的阀值控制。 算法流程 分词：将文本进行分词处理。 Hash：将每个词进行 Hash 处理成固定长度（一般为 64 位或 128 位）的二进制特征编码，即每一位非 0 即 1。 加权：根据每个词的权重（如 TF-IDF）对特征编码进行加权： $W = Hash * Weight$ 其中，如果对应位的 hash 值为 0，那么 hash 乘上权重的负数 $ W = Hash * -Weight $ 合并：将所有词计算后的 $W$ 进行按位累加。 降维：对于上述累加结果的每一位，如果大于 0 则置 1 ，否则置 0。从而得到每一位都是 0/1 的 SimHash 编码。 计算：通过上述方法得到了两个文本的 SimHash 编码，然后计算两者的汉明距离，得到的距离如果小于等于 n（一般为 3），则表示两个文本是相同的。 详细代码：https://github.com/hiyoung123/simhash 去重算法

BRPC BRPC：better rpc，内部称为baidu-rpc，对 i/o 请求读取，和信息处理，都是并发的。 优点： 更友好的接口 服务更加可靠 更好的延迟和吞吐 接口简单：三大类 Server（服务端），Channel（客户端），Controller（参数调整） bvar 用于多线程环境下的计数类，方便记录和查看用户程序中的各类数值。 本质是将写竞争转移到读上，也就是在自己线程内使用threadlocal记录，等读的时候在累加所有线程的值。 所以不适合用于读写都很频繁的环境下。 bthread 是 brpc 中 M:N pthread 的线程库，提高程序的并发度的同时，降低代码的编写难度。 M:N 是指 M 个 bthread 映射到 N 个 pthread 上，一般情况下 M 比 N 大的多。一个 pthread 只能运行一个 bthread。如果 pthread 挂掉，对应的 bthread 可以等待其他的 pthread 运行他。如果一个 bthread 挂掉，对应的 pthread 可以从其他的 pthread 中拿到一个等待运行的 bthread 去运行。 一个 bthread 阻塞，不会影响其他 bthread。如果是因为 bthread 阻塞，那么对应的 pthread 会运行其他的 bthread，如果是 pthread 阻塞，对应的 bthread 会被其他空闲的 pthread 抢去运行。 所有 bthread 都阻塞的解决办法？ 限制最大并发量，同时请求数小于最大的 worker 数量。 bthread 和异步接口？ 延时不高时使用同步接口，不行的话再使用异步接口，只有在需要多核并行计算的时候才使用 bthread。 延迟判断：qps * latency(in seconds) 结果如果和 cpu 核心处于一个量级，就可以使用同步接口。 优点是：充分利用多核，并且与 pthread 相互兼容。 缺点是：没有优先级，与阻塞 pthread 混用可能会造成死锁。和 thread_local 使用，可能会出错，因为 bthread 不一定一直运行在固定的一个 pthread 上。 ExecutionQueue 异步串行队列，提供了异步函数串行执行的功能。 功能如下 异步有序执行，任务在另一个线程执行，并严格按照提交 ...

Thrift Thrift 是 Facebook 2007 年开发的跨语言 RPC 框架。 服务端使用 IDL 文件（.thrift）定义接口函数和数据类型，客户端可以通过 thrift 的编译环境生成各种语言的 接口文件。这样客户端不管使用 java 语言还是python都可以直接调用服务端的接口函数。 Thrift 为服务端程序提供很多的工作模式，比如线程池模型，非阻塞模型等。 Thrift 协议栈 User Code：开发者自己的逻辑代码 ServiceClient：Processor，TService，ServiceClient TService：服务端，负责接收Client请求，并将请求转发给 Processor 进行处理。支持高并发。 Processor：对Client的请求作出处理，向Message中写入和读出数据。 ServiceClient：客户端。 TProtocol：负责结构化数据组成Message，序列化和反序列化。 TTransport：负责以字节流的方式传输和接收Message，是Thrift对底层I/O模块的封装。每一个I/O对应一个TTransport。如 TSocket，TFileTransport。 底层I/O：实际负责传输数据，包括Socket，文件，等。 Thrift 的工作内容 通过 IDL 定义数据结构和接口函数。 利用代码生成器生成代码。 编写业务逻辑。 IDL （.thrift文件） service（类），struct（结构体），enum（枚举），exception (错误) 生成代码 thrift --gen java test.thrift # 生成java代码 服务端编码基本步骤 实现服务处理接口 impl，需要继承上述命令生成的 iface。 创建Processor，并把 impl 加到 processor 里。 创建Transport 创建Protocol 创建Server 启动Server 客户端编码基本步骤 创建Transport 创建Protocol 基于Protocol 创建 client 打开 Transport 调用服务相应函数 Transport 类型 Tsocket：Socket TFramedTransport：帧 TMemoryTranspo ...

RPC RPC：远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想。将tcp等网络连接访问方式，做成函数调用的方式。 常用 RPC 框架： Google：gRPC FaceBook：Thrift 百度：brpc RPC 核心部分：RPC协议 序列化 协议编码 网络传输 RPC核心功能部分 客户端：调用方 客户端stub：存放服务端地址信息，将客户端的请求数据打包成网络信息，通过网络传输模块发送给服务端 网络传输模块：底层传输，TCP、HTTP 服务端：服务提供者 服务端stub：接受客户端传来的请求信息，并进行解包，调用本地服务处理。 RPC 核心技术 服务寻址 数据流的序列化和反序列化 网络传输 服务寻址： CALL ID ， 服务注册表，将支持的函数注册到表中，并标识唯一ID 客户端通过该表获知服务端支持哪些函数。 序列化和反序列化 本地函数调用，参数通过压栈和出栈的方式获取。 网络中，数据是通过二进制流的方式传输。 RPC客户端需要将参数序列化成二进制流，在服务端再反序列化成参数。 常用的：Protobuf 网络传输 TCP、UDP、HTTP2 RPC使用场景 长链接：不必每次都去3次握手，减少开销 注册发布机制： 安全性，没有暴露资源 微服务 主要用于公司内部服务调用，性能消耗低，传输速率高，实现复杂。

Protobuf Protobuf 是一套类似 json 的数据传输格式和规范，用于不同应用和进程之间进行通信使用。通信时将数据通过 protobuf 定义的 message 进行打包，编译成二进制流进行传输。 优点： 简单 体积小，编码后只有传统的xml 的1/10 解析速度快 多语言支持 更好兼容性 两个版本：v2，v3 使用 定义protobuf文件：my.helloworld.proto package my; message helloworld &#123; required int32 id = 1; required string str = 2; optional int32 wow = 3; &#125; # required 必须且只有一次 # optional 可出现0次或者1次 # repeated 可出现多次包括0次 # 后面的数字为字段编号 使用protoc 编译 // $SRC_DIR: .proto 所在的源目录 // --cpp_out: 生成 c++ 代码 // --python_out：生成 python 代码 // $DST_DIR: 生成代码的目标目录 // xxx.proto: 要针对哪个 proto 文件生成接口代码 protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/xxx.proto 然后就可以在程序中使用该数据结构。