update

adoyle-h · adoyle-h · commit ba519f401240 · 2020-05-12T01:15:42.000+08:00
diff --git a/README.md b/README.md
@@ -107,6 +107,7 @@ See the [LICENSE][] file for the specific language governing permissions and lim
 
 ## Docker
 
+- [Alpine 镜像](docker/alpine.md)
 - [device or resource busy](docker/device-or-resource-busy.md)
 - [docker-compose 启动容器顺序](docker/docker-compose-startup-order.md)
 - [进入 docker for mac 的虚拟机](docker/docker-for-mac-tty.md)
@@ -274,13 +275,16 @@ See the [LICENSE][] file for the specific language governing permissions and lim
 - [rsync 与 scp](linux/rsync-and-scp.md)
 - [在 alpine 中找不到 setup-apkcache 等 setup-* 命令](linux/setup-scripts-in-alpine.md)
 - [shebang](linux/shebang.md)
+- [共享内存](linux/shm.md)
 - [拆分与合并文件](linux/split-and-merge-file.md)
 - [SSH](linux/ssh.md)
 - [strace](linux/strace.md)
 - [sudo and su](linux/sudo-and-su.md)
 - [Linux 系统调用](linux/system-call.md)
 - [systemd](linux/systemd.md)
 - [tailf](linux/tailf.md)
+- [基于内存的虚拟文件系统](linux/temporary-fs-in-memory.md)
+- [UNIX Domain Socket](linux/unix-domain-socket.md)
 - [unlink 是删除任何文件](linux/unlink.md)
 - [/usr/bin/env](linux/usr-bin-env.md)
 - [奇怪的 ESC](linux/weird-esc-key.md)
@@ -308,6 +312,8 @@ See the [LICENSE][] file for the specific language governing permissions and lim
 ## 网络
 
 - [DNS SRV](network/dns_srv.md)
+- [HTTP Request/Response 网络包](network/http-request-and-response-package.md)
+- [TCP Buffer 大小](network/tcp-buffer-size.md)
 
 ## Nodejs
 
@@ -384,6 +390,9 @@ See the [LICENSE][] file for the specific language governing permissions and lim
 ## Python
 
 - [python 环境配置](python/environment.md)
+- [pycache](python/pycache.md)
+- [Python Dockerfile](python/python-dockerfile.md)
+- [Python Virtualenv](python/virtualenv.md)
 
 ## Racket
 
diff --git a/docker/alpine.md b/docker/alpine.md
@@ -0,0 +1,13 @@
+## Alpine 镜像
+
+### apk
+
+- `apk add --no-cache <pkg-name>` 不留缓存安装
+
+### 常用包
+
+搜索: https://pkgs.alpinelinux.org/packages
+
+与 `build-essential` 类似的包，提供编译工具。`alpine-sdk` 或 `build-base`。参考这个 [issue](https://github.com/gliderlabs/docker-alpine/issues/24)
+
+`apk add binutils`
diff --git a/docker/dockerfile.md b/docker/dockerfile.md
@@ -25,3 +25,8 @@ CMD ["/home/user/bin/xxx"]
 等价于 `bash -c /home/user/bin/xxx`。
 
 这样编译出来的镜像，可以用 `docker run -it <image> bash` 方便进入 shell 进行调试。
+
+### 默认 SHELL
+
+在执行 RUN 时，默认 shell 是 sh 而不是 bash。这会导致无法使用 `source` 等 bash 内置命令。
+所以可以使用 `SHELL ["/bin/bash", "--login", "-c"]` 来修改 Dockerfile 执行时的 SHELL。[参考链接](https://docs.docker.com/engine/reference/builder/#shell)。
diff --git a/linux/shm.md b/linux/shm.md
@@ -0,0 +1,23 @@
+## 共享内存
+
+共享内存有两种方式，
+
+- POSIX 共享内存: mmap、shm_open、shm_unlink
+- System V 共享内存: shmget、shmat、shmdt、shmctl
+
+必读
+
+- [认真分析mmap：是什么 为什么 怎么用](https://www.cnblogs.com/huxiao-tee/p/4660352.html)
+- [从内核文件系统看文件读写过程](https://www.cnblogs.com/huxiao-tee/p/4657851.html)
+
+## mmap
+
+mmap 是将文件映射到进程的虚拟空间。
+
+mmap 要和基于内存的文件系统（例如 tmpfs）配合，才能做到最高效的数据传输。
+
+### mmap on socket
+
+> mmap() facility available with the PACKET socket interface on 2.4/2.6/3.x kernels
+
+https://www.kernel.org/doc/Documentation/networking/packet_mmap.txt
diff --git a/linux/temporary-fs-in-memory.md b/linux/temporary-fs-in-memory.md
@@ -0,0 +1,9 @@
+## 基于内存的虚拟文件系统
+
+tmpfs、ramfs、RamDisk
+
+### tmpfs
+
+/dev/shm
+
+http://www.361way.com/dev-shm/4029.html
diff --git a/linux/unix-domain-socket.md b/linux/unix-domain-socket.md
@@ -0,0 +1,16 @@
+## UNIX Domain Socket
+
+UNIX Domain Socket 简称 UDS，又叫 IPC Socket。是一种进程间通信的方法。
+
+UDS 是 POSIX 操作系统的标准组件。
+
+三种类型：
+
+- SOCK_STREAM (compare to TCP) – for a stream-oriented socket
+- SOCK_DGRAM (compare to UDP) – for a datagram-oriented socket that preserves message boundaries (as on most UNIX implementations, UNIX domain datagram sockets are always reliable and don't reorder datagrams)
+- SOCK_SEQPACKET (compare to SCTP) – for a sequenced-packet socket that is connection-oriented, preserves message boundaries, and delivers messages in the order that they were sent
+
+
+看[这篇文章](https://eli.thegreenplace.net/2019/unix-domain-sockets-in-go/) 的 Benchmarking UDS compared to loop-back TCP sockets。
+
+[unix domain sockets vs. internet sockets](https://lists.freebsd.org/pipermail/freebsd-performance/2005-February/001143.html)
diff --git a/network/http-request-and-response-package.md b/network/http-request-and-response-package.md
@@ -0,0 +1,6 @@
+## HTTP Request/Response 网络包
+
+Q: 多个 http 请求可以复用同一个 tcp 连接，那么程序怎么知道它得到的 http response 包是对应它之前发出的哪个 http request 包？
+
+A: http 1.1 虽然是复用同一个 tcp 连接，但是按顺序收发的，意味着会阻塞。所以 http 1.1 的报文结构没有 ID 之类的字段。所以在浏览器对于 http 1.1 会建立多个 tcp 连接，来保证并发 http 请求。
+在 http 2 才有多路复用，利用 Stream ID 来标志的，真正复用同一个 tcp 连接并发 http 请求。https://tools.ietf.org/html/rfc7540#page-21
diff --git a/network/tcp-buffer-size.md b/network/tcp-buffer-size.md
@@ -0,0 +1,6 @@
+## TCP Buffer 大小
+
+Q: HTTP 1.1 协议里没有对 POST Body 的长度进行限制。HTTP 基于 TCP 的，TCP 包的 MSS 最大就 1460 字节（约 1.43 KiB）。那么当我发送一个 HTTP POST 请求，body 是 1 MiB 大小的数据。网络包的拆包和重组的过程是由谁主动控制的，HTTP 还是 TCP ？
+如果是 TCP 负责拆包和重组，那么 TCP 怎么知道何时应该把 buffer 传给应用层处理？比如接收到 500KiB，但完整的 http 包有 1MiB。
+
+A: TCP 滑动窗口的大小一般为 64 KiB，调整 TCP 滑动窗口因子，窗口大小最大可到 1GiB。
diff --git a/python/environment.md b/python/environment.md
@@ -15,17 +15,16 @@ pip 路径注意：
 - pip install
 - pip install --user
 
-### Python 多版本安装和管理
+### 版本管理器 pyenv
 
 一般来说 [pyenv][] 的用户是 python 开发者。一般用户只要用系统包管理器装 python2 和 python3 就够了，因为 python 版本比较稳定，没必要用 pyenv。
 
-### 虚拟环境
-
-https://zhuanlan.zhihu.com/p/81568689
+- 执行 `pyenv install 3.8.2` 安装指定版本。
+- 执行 `pyenv shell 3.8.2` 把当前 shell 切换到指定版本。
 
-如果你使用 Python 2，那就只能选择 [virtualenv][]，你需要额外安装它。
+### 虚拟环境
 
-[venv][] 是 [virtualenv][] 的子集，从 Python 3.3 起，被集成到 Python 标准库中。意味着 Python 3.2 以下的都用不来 venv。且 venv 有缺点，详见 [virtualenv][] 文档。总结，直接用 virtualenv。
+详见 [./virtualenv.md](./virtualenv.md)。
 
 ### pipx
 
@@ -45,6 +44,15 @@ https://zhuanlan.zhihu.com/p/81568689
 - https://stackoverflow.com/a/42989020/4622308
 - https://stackoverflow.com/a/54065289/4622308
 
+
+#### 生成依赖清单
+
+`pip freeze > requirements.txt`
+
+### 包管理器 Pipenv
+
+[Pipenv](https://pipenv-fork.readthedocs.io/en/latest/)
+
 ### 参考文章
 
 - [The right and wrong way to set Python 3 as default on a Mac](https://opensource.com/article/19/5/python-3-default-mac)
diff --git a/python/pycache.md b/python/pycache.md
@@ -0,0 +1,10 @@
+## pycache
+
+### __pycache__
+
+### .pyc 文件包含当前项目的路径
+
+发现 pyc 文件里会包含当前项目的路径，并不是每个文件都有这种现象，只有少部分有。比如 etcd3 和 yaml 这两个包里是有的。
+
+找了一下发现是用来做 traceback 的，不影响代码逻辑。
+详见 https://stackoverflow.com/questions/11191680/why-do-python-pyc-files-contain-the-absolute-path-of-their-source-code
diff --git a/python/python-dockerfile.md b/python/python-dockerfile.md
@@ -0,0 +1,14 @@
+## Python Dockerfile
+
+### 不要使用 Alpine 镜像
+
+不要使用 Alpine 镜像，因为 [Using Alpine can make Python Docker builds 50× slower](https://pythonspeed.com/articles/alpine-docker-python)。
+[编译 grpc 时很慢](https://github.com/grpc/grpc/issues/20493)，一直提示 `Building wheel for grpcio (setup.py): still running...` 等了很久才编译完。
+这个 [issue](https://github.com/grpc/grpc/issues/11125) 说是 `manylinux1` 导致的问题。[解决方案](https://github.com/pypa/pip/issues/3969#issuecomment-247381915)没看懂。
+
+### glibc 与 musl
+
+Alpine 系统里编译代码使用的不是 glibc 而是 musl，就会导致编译出来的包依赖动态链接库 ld-musl-x86_64.so.1。
+如果部署系统上没有它，会报错 `/lib/ld-musl-x86_64.so.1: bad ELF interpreter: No such file or directory`
+
+参考[链接](https://cloud.tencent.com/developer/article/1536308)。
diff --git a/python/virtualenv.md b/python/virtualenv.md
@@ -0,0 +1,132 @@
+## Python Virtualenv
+
+https://zhuanlan.zhihu.com/p/81568689
+
+如果你使用 Python 2，那就只能选择 [virtualenv][]，你需要额外安装它。
+
+[venv][] 是 [virtualenv][] 的子集，从 Python 3.3 起，被集成到 Python 标准库中。意味着 Python 3.2 以下的都用不来 venv。且 venv 有缺点，详见 [virtualenv][] 文档。
+
+- `python -m venv venv` 会创建 venv 目录，默认是把 venv/bin/ 里面的文件都是软链接，指向全局环境的 python。
+- `python -m venv --copies venv` 会创建 venv 目录，`--copies` 把全局环境的 python 全都拷贝到 venv 目录里。
+- `virtualenv -p ~/.pyenv/versions/3.8.2/bin/python --copies venv` virtualenv 可以用 `-p` 指定拷贝哪个路径下的 python。
+
+### virtualenv 没有打包动态链接库
+
+virtualenv 和 python 3 的 venv 都有这问题。
+
+https://github.com/pypa/virtualenv/issues/1015
+https://github.com/pypa/virtualenv/pull/1045
+
+执行 `ldd /usr/local/bin/python` 看 python 依赖哪些动态链接库。
+
+如果目标部署机器上没有对应的动态链接库，首先要把动态链接库拷贝到部署机任意位置（通常是 `/usr/local/lib/`）。然后在 LD_LIBRARY_PATH 加入目录路径即可。例如 `export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib`。
+
+### virtualenv 没有打包 /usr/local/lib/python3.5
+
+这里 python3.5 只是个例子，跟 python 具体版本没关系。
+
+```
+$ python
+Could not find platform independent libraries <prefix>
+Could not find platform dependent libraries <exec_prefix>
+Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
+Fatal Python error: Py_Initialize: Unable to get the locale encoding
+ImportError: No module named 'encodings'
+
+Current thread 0x00007f4dffee0740 (most recent call first):
+Aborted (core dumped)
+```
+
+encodings 这种 python 标准库，都在 /usr/local/lib/python3.5 路径下。
+
+
+### 制作完整的 venv 离线包
+
+两种方式，
+
+1. 从官方 docker 镜像中制作 venv，安装 python 依赖包。
+2. 自己编译 python，制作 venv，安装 python 依赖包。这种情况适用于 venv 拷贝到（跟镜像同一基线的）宿主机上。
+
+#### 方案 1
+
+```Dockerfile
+FROM python:3.8.2-slim
+
+WORKDIR /app
+
+SHELL ["/bin/bash", "-c"]
+
+RUN apt-get update
+RUN apt-get install -y build-essential
+RUN python -m venv --copies venv
+RUN mkdir -p venv/dll && \
+    cp /usr/local/lib/{libpython3.8m.so,libpython3.8m.so.1.0,libpython3.so} venv/dll/ && \
+    cp -rf /usr/local/lib/python3.8/* venv/lib/python3.8/
+
+ADD requirements.txt .
+
+RUN source ./venv/bin/activate && \
+    pip install --upgrade pip && \
+    pip install --no-cache-dir -r ./requirements.txt
+RUN tar -czf ./venv.tgz -C ./venv .
+
+CMD [ "bash" ]
+```
+
+#### 方案 2
+
+```Dockerfile
+FROM centos:7
+
+WORKDIR /app
+
+SHELL ["/bin/bash", "-c"]
+
+# See https://github.com/pyenv/pyenv/wiki/Common-build-problems
+RUN yum install -y @development \
+      zlib-devel bzip2 bzip2-devel readline-devel \
+      sqlite sqlite-devel openssl-devel xz xz-devel libffi-devel findutils
+
+RUN curl https://pyenv.run | bash
+RUN export PATH="/root/.pyenv/bin:$PATH" &&\
+    eval "$(pyenv init -)" &&\
+    eval "$(pyenv virtualenv-init -)" &&\
+    CFLAGS=-I/usr/include/openssl LDFLAGS=-L/usr/lib64 pyenv install -v 3.8.2
+
+RUN export PATH="/root/.pyenv/bin:$PATH" &&\
+    eval "$(pyenv init -)" &&\
+    eval "$(pyenv virtualenv-init -)" &&\
+    pyenv shell 3.8.2 &&\
+    python -m venv --copies venv
+
+RUN mkdir -p venv/dll && \
+    cp /root/.pyenv/versions/3.8.2/lib/{libpython3.8m.so,libpython3.8m.so.1.0,libpython3.so} venv/dll/ && \
+    cp -rf /root/.pyenv/versions/3.8.2/lib/python3.8/* venv/lib/python3.8/
+
+RUN source ./venv/bin/activate && \
+    pip install --upgrade pip
+
+ADD requirements.txt .
+RUN source ./venv/bin/activate && \
+    pip install -r ./requirements.txt
+
+RUN tar -czf ./venv.tgz -C ./venv .
+
+CMD [ "bash" ]
+```
+
+#### docker cp 导出 venv 包
+
+```sh
+main() {
+  local image=$1
+  local venv_file=$2
+
+  local cid
+  cid=$(docker create "$image")
+  docker cp "$cid":/app/venv.tgz "$venv_file"
+  docker rm "$cid"
+
+  # tar -xzf "$venv_file" -C "$output"
+}
+```
