制作镜像与部署代理（来自 Google Cloud 文档摘录与整理）#

本文件整理自 Google Cloud 文档（归档页面）“Creating GKE private clusters with network proxies for controller access” 的 Creating the Docker image 和 Deploying the image and Service 两个部分，便于笔记与直接复用。原始页面： https://cloud.google.com/kubernetes-engine/docs/archive/creating-kubernetes-engine-private-clusters-with-net-proxies

目标（Objectives）#

Create a GKE private cluster with no external access.
Create and deploy a Docker image to run the proxy.
Create a Kubernetes Service to access the proxy.
Test access to the proxy.

一、制作 Docker 镜像（Creating the Docker image）#

使用下面步骤构建一个名为 k8s-api-proxy 的 Kubernetes API 代理镜像（作为到 Kubernetes API server 的正向代理）。

在 Cloud Shell 中创建目录并进入：

1
mkdir k8s-api-proxy && cd k8s-api-proxy

创建 Dockerfile。下面示例以 Alpine 为基础，安装 privoxy、curl、jq，并添加配置文件与启动脚本，暴露端口 8118：

1
FROM alpine
2
RUN apk add -U curl privoxy jq && \
3
    mv /etc/privoxy/templates /etc/privoxy-templates && \
4
    rm -rf /var/cache/apk/* /etc/privoxy/* && \
5
    mv /etc/privoxy-templates /etc/privoxy/templates
6
ADD --chown=privoxy:privoxy config /etc/privoxy/
7
ADD --chown=privoxy:privoxy k8s-only.action /etc/privoxy/
8
ADD --chown=privoxy:privoxy k8s-rewrite-internal.filter /etc/privoxy/
9
ADD k8s-api-proxy.sh /
10
EXPOSE 8118/tcp
11
ENTRYPOINT ["./k8s-api-proxy.sh"]

在 k8s-api-proxy 目录中创建 config 文件，内容示例：

1
#config directory
2
confdir /etc/privoxy
3
# Allow Kubernetes API access only
4
actionsfile /etc/privoxy/k8s-only.action
5
# Rewrite https://CLUSTER_IP to https://kubernetes.default
6
filterfile /etc/privoxy/k8s-rewrite-internal.filter
7
# Don't show the pod name in errors
8
hostname k8s-privoxy
9
# Bind to all interfaces, port :8118
10
listen-address  :8118
11
# User cannot click-through a block
12
enforce-blocks 1
13
# Allow more than one outbound connection
14
tolerate-pipelining 1

创建 k8s-only.action（运行时会由脚本替换 CLUSTER_IP）：

1
# Block everything...
2
{+block{Not Kubernetes}}
3
/
4

5
# ... except the internal k8s endpoint, which you rewrite (see
6
# k8s-rewrite-internal.filter).
7
{+client-header-filter{k8s-rewrite-internal} -block{Kubernetes}}
8
CLUSTER_IP/

创建 k8s-rewrite-internal.filter（运行时会由脚本替换 CLUSTER_IP）：

1
CLIENT-HEADER-FILTER: k8s-rewrite-internal
2
# Rewrite https://CLUSTER_IP to https://kubernetes.default
3
s@(CONNECT) CLUSTER_IP:443(HTTP/\d\.\d)@$1 kubernetes.default:443 $2@ig

创建启动脚本 k8s-api-proxy.sh，脚本会读取 ServiceAccount token 获取集群内部 API 地址并替换 CLUSTER_IP，然后以非守护进程方式启动 privoxy：

1
#!/bin/sh
2
set -o errexit
3
set -o pipefail
4
set -o nounset
5

6
# 获取集群内部 IP
7
export TOKEN=$(cat /run/secrets/kubernetes.io/serviceaccount/token)
8
INTERNAL_IP=$(curl -H "Authorization: Bearer $TOKEN" -k -SsL https://kubernetes.default/api |
9
    jq -r '.serverAddressByClientCIDRs[0].serverAddress')
10

11
# 替换 CLUSTER_IP
12
sed -i "s/CLUSTER_IP/${INTERNAL_IP}/g" /etc/privoxy/k8s-rewrite-internal.filter
13
sed -i "s/CLUSTER_IP/${INTERNAL_IP}/g" /etc/privoxy/k8s-only.action
14

15
# 启动 Privoxy（非守护进程模式）
16
privoxy --no-daemon /etc/privoxy/config

赋予脚本执行权限并构建/推送镜像：

1
chmod +x k8s-api-proxy.sh
2

3
docker build -t gcr.io/$PROJECT_ID/k8s-api-proxy:0.1 .
4
docker push gcr.io/$PROJECT_ID/k8s-api-proxy:0.1

备注：文档中说明为了教程简便，没有为 Kubernetes API server 或代理配置/验证证书。生产环境请正确安装与验证 TLS 证书。

二、部署镜像与 Service（Deploying the image and Service）#

在 Cloud Shell 中 SSH 登录到之前创建的 client VM：

1
gcloud compute ssh proxy-temp

安装 kubectl：

1
sudo apt-get install kubectl

将项目 ID 保存为环境变量：

1
export PROJECT_ID=$(gcloud config list --format="value(core.project)")

获取集群凭证（使用内部 IP）：

1
gcloud container clusters get-credentials frobnitz \
2
  --zone us-central1-c --internal-ip

创建一个 Deployment 来运行你构建的镜像：

1
kubectl run k8s-api-proxy \
2
  --image=gcr.io/$PROJECT_ID/k8s-api-proxy:0.1 \
3
  --port=8118

创建 ilb.yaml（Internal Load Balancer Service）：

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  labels:
5
    run: k8s-api-proxy
6
  name: k8s-api-proxy
7
  namespace: default
8
  annotations:
9
    cloud.google.com/load-balancer-type: "Internal"
10
spec:
11
  ports:
12
  - port: 8118
13
    protocol: TCP
14
    targetPort: 8118
15
  selector:
16
    run: k8s-api-proxy
17
  type: LoadBalancer

部署 Internal LB Service：

1
kubectl create -f ilb.yaml

检查 Service 并等待分配 IP：

1
kubectl get service/k8s-api-proxy

示例输出（当看到 External IP 时代理已准备好）：

1
NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
2
k8s-api-proxy   LoadBalancer   10.24.13.129   10.24.24.3    8118:30282/TCP   2m

保存 ILB IP 至环境变量：

1
export LB_IP=$(kubectl get service/k8s-api-proxy -o jsonpath='{.status.loadBalancer.ingress[].ip}')

保存集群 Controller 的私有端点 IP：

1
export CONTROLLER_IP=$(gcloud container clusters describe frobnitz \
2
  --zone=us-central1-c \
3
  --format="get(privateClusterConfig.privateEndpoint)")

验证通过代理访问 Kubernetes API：

1
curl -k -x $LB_IP:8118 https://$CONTROLLER_IP/version

示例返回（你的输出会不同）：

1
{
2
  "major": "1",
3
  "minor": "15+",
4
  "gitVersion": "v1.15.11-gke.5",
5
  ...
6
}

若需要让 kubectl 命令都走该代理，可临时设置环境变量（完成后记得 unset https_proxy）：

1
export https_proxy=$LB_IP:8118
2
kubectl get pods

三、清理（简要）#

1
# 删除 GKE 集群（示例）
2
gcloud container clusters delete frobnitz

参考来源#

Google Cloud — Creating GKE private clusters with network proxies for controller access（归档页面）
https://cloud.google.com/kubernetes-engine/docs/archive/creating-kubernetes-engine-private-clusters-with-net-proxies