GKE 中配置 ALB 与 NLB 暴露服务方案#

1. 目标与术语#

本文给出一套可直接落地的方案，用于在 GKE 中暴露服务：

ALB（L7）：处理 HTTP/HTTPS，支持基于 Host/Path 的路由、TLS 终止、WAF/CDN 等能力。
NLB（L4）：处理 TCP/UDP，适合数据库、MQ、gRPC/TCP、游戏长连接等场景。

在 GKE 中通常对应为：

ALB：Ingress（gce / gce-internal）或 Gateway API（gke-l7-* GatewayClass）
NLB：Service type: LoadBalancer（external/internal passthrough Network Load Balancer）

2. 选型建议（先定方向）#

维度	ALB（L7）	NLB（L4）
协议	HTTP/HTTPS/HTTP2	TCP/UDP
路由能力	Host/Path/Header 等七层路由	仅四层转发
TLS 终止	支持（证书在 LB）	一般由后端自己处理
典型场景	Web/API 网关、多服务统一入口	Redis/MySQL/MQ、纯 TCP 服务
GKE 资源	Ingress 或 Gateway + HTTPRoute	Service(type=LoadBalancer)

结论：

面向 Web/API 流量，优先 ALB。
面向非 HTTP 协议或只要四层转发，优先 NLB。

3. 前置条件#

已有 GKE 集群（Standard/Autopilot 均可）。
已部署业务 Deployment。
需要固定 IP 时，提前预留静态 IP（ALB 外网通常是 global，NLB 通常是 regional）。
共享 VPC 场景要确认防火墙和 IAM 权限。

4. 方案 A：ALB 暴露 HTTP/HTTPS#

4.1 路径 A1：使用 Ingress（兼容面广）#

关键点：GKE Ingress 仍使用 kubernetes.io/ingress.class 注解，不用 spec.ingressClassName。

Step 1) 服务（Ingress 后端）#

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: web-svc
5
  annotations:
6
    cloud.google.com/neg: '{"ingress": true}'
7
spec:
8
  type: NodePort
9
  selector:
10
    app: web
11
  ports:
12
  - name: http
13
    protocol: TCP
14
    port: 80
15
    targetPort: 8080

Step 2) 外网 ALB Ingress#

1
apiVersion: networking.k8s.io/v1
2
kind: Ingress
3
metadata:
4
  name: web-external-ingress
5
  annotations:
6
    kubernetes.io/ingress.class: "gce"
7
    kubernetes.io/ingress.global-static-ip-name: "web-alb-ip"
8
spec:
9
  rules:
10
  - host: app.example.com
11
    http:
12
      paths:
13
      - path: /*
14
        pathType: ImplementationSpecific
15
        backend:
16
          service:
17
            name: web-svc
18
            port:
19
              number: 80

Step 3) 内网 ALB Ingress（仅内网访问）#

1
apiVersion: networking.k8s.io/v1
2
kind: Ingress
3
metadata:
4
  name: web-internal-ingress
5
  annotations:
6
    kubernetes.io/ingress.class: "gce-internal"
7
    kubernetes.io/ingress.regional-static-ip-name: "web-ilb-ip"
8
spec:
9
  defaultBackend:
10
    service:
11
      name: web-svc
12
      port:
13
        number: 80

4.2 路径 A2：使用 Gateway API（新项目推荐）#

如果你希望后续做更清晰的流量治理（Route 拆分、团队边界、策略扩展），推荐用 Gateway API。

1
apiVersion: gateway.networking.k8s.io/v1
2
kind: Gateway
3
metadata:
4
  name: web-gateway
5
spec:
6
  gatewayClassName: gke-l7-global-external-managed
7
  listeners:
8
  - name: http
9
    protocol: HTTP
10
    port: 80
11
    allowedRoutes:
12
      namespaces:
13
        from: Same
14
---
15
apiVersion: gateway.networking.k8s.io/v1
16
kind: HTTPRoute
17
metadata:
18
  name: web-route
19
spec:
20
  parentRefs:
21
  - name: web-gateway
22
  hostnames:
23
  - "app.example.com"
24
  rules:
25
  - matches:
26
    - path:
27
        type: PathPrefix
28
        value: /
29
    backendRefs:
30
    - name: web-svc
31
      port: 80

内网 ALB 时，将 gatewayClassName 改为 gke-l7-rilb。

5. 方案 B：NLB 暴露 TCP/UDP#

5.1 外网 NLB（External passthrough）#

建议在 Service 创建时就带上 cloud.google.com/l4-rbs: "enabled"，创建 backend service-based NLB。

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: tcp-api-external
5
  annotations:
6
    cloud.google.com/l4-rbs: "enabled"
7
    networking.gke.io/load-balancer-ip-addresses: "tcp-api-nlb-ip"
8
spec:
9
  type: LoadBalancer
10
  externalTrafficPolicy: Local
11
  selector:
12
    app: tcp-api
13
  ports:
14
  - name: tcp-443
15
    protocol: TCP
16
    port: 443
17
    targetPort: 8443

说明：

externalTrafficPolicy: Local 可保留客户端源 IP。
若集群版本较老或不使用新注解，可退回 spec.loadBalancerIP。

5.2 内网 NLB（Internal passthrough）#

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: tcp-api-internal
5
  annotations:
6
    networking.gke.io/load-balancer-type: "Internal"
7
    networking.gke.io/load-balancer-ip-addresses: "tcp-api-ilb-ip"
8
spec:
9
  type: LoadBalancer
10
  selector:
11
    app: tcp-api
12
  ports:
13
  - name: tcp-5432
14
    protocol: TCP
15
    port: 5432
16
    targetPort: 5432

兼容说明：

新版 GKE 推荐 networking.gke.io/load-balancer-type: "Internal"。
老版本也常见 cloud.google.com/load-balancer-type: "Internal"。

6. 推荐上线流程（可直接执行）#

预留静态 IP（按 external/global 或 regional/internal 区分）。
先部署 Deployment + Service，确认 Pod 健康检查通过。
部署 Ingress/Gateway（ALB）或 LoadBalancer Service（NLB）。
等待 IP 分配并做连通验证。
配置 DNS（A/AAAA 记录）并灰度切流。
观察 15~30 分钟再全量切换。

7. 验证与排障命令#

1
# ALB
2
kubectl get ingress -A
3
kubectl describe ingress web-external-ingress
4

5
# Gateway API
6
kubectl get gateway,httproute -A
7
kubectl describe gateway web-gateway
8

9
# NLB
10
kubectl get svc -A
11
kubectl describe svc tcp-api-external
12

13
# 事件排查
14
kubectl get events -A --sort-by=.lastTimestamp | tail -n 50

常见问题：

Ingress 一直不出 IP：检查是否使用了正确 class 注解（gce / gce-internal）。
NLB 端口不通：确认防火墙规则、后端 Pod 就绪、targetPort 是否匹配容器端口。
加了 l4-rbs 注解但没生效：若 Service 已创建为旧类型，通常需要重建 Service。
静态 IP 绑定失败：检查 IP 的作用域（global/regional）是否和 LB 类型匹配。

8. 生产建议#

ALB 场景优先开启 HTTPS，结合证书自动化与最小暴露面。
NLB 场景尽量使用固定 IP，避免变更导致上游白名单失效。
配置可观测性：LB 日志、应用指标、SLO 告警（5xx、延迟、连接失败率）。
对关键流量启用灰度发布和回滚预案。

9. 完整串通案例：使用 Nginx 同时走通 ALB + NLB#

本案例目标：同一个 nginx 工作负载，同时通过以下两种方式对外暴露。

ALB（L7）：Ingress(gce)，验证 Host/Path 七层路由
NLB（L4）：Service(type=LoadBalancer)，验证四层直连

9.1 准备变量与静态 IP#

1
export PROJECT_ID=$(gcloud config get-value project)
2
export REGION=asia-east1
3
export NS=nginx-expose-demo
4

5
# ALB 使用 global 静态 IP（Ingress external）
6
gcloud compute addresses create nginx-demo-alb-ip --global
7

8
# NLB 使用 regional 静态 IP（Service external）
9
gcloud compute addresses create nginx-demo-nlb-ip --region=${REGION}

9.2 一次性部署全部资源#

1
apiVersion: v1
2
kind: Namespace
3
metadata:
4
  name: nginx-expose-demo
5
---
6
apiVersion: apps/v1
7
kind: Deployment
8
metadata:
9
  name: nginx
10
  namespace: nginx-expose-demo
11
spec:
12
  replicas: 2
13
  selector:
14
    matchLabels:
15
      app: nginx
16
  template:
17
    metadata:
18
      labels:
19
        app: nginx
20
    spec:
21
      containers:
22
      - name: nginx
23
        image: nginx:1.27-alpine
24
        ports:
25
        - containerPort: 80
26
        readinessProbe:
27
          httpGet:
28
            path: /
29
            port: 80
30
          initialDelaySeconds: 3
31
          periodSeconds: 5
32
---
33
apiVersion: v1
34
kind: Service
35
metadata:
36
  name: nginx-alb-svc
37
  namespace: nginx-expose-demo
38
  annotations:
39
    cloud.google.com/neg: '{"ingress": true}'
40
spec:
41
  type: NodePort
42
  selector:
43
    app: nginx
44
  ports:
45
  - name: http
46
    protocol: TCP
47
    port: 80
48
    targetPort: 80
49
---
50
apiVersion: networking.k8s.io/v1
51
kind: Ingress
52
metadata:
53
  name: nginx-alb
54
  namespace: nginx-expose-demo
55
  annotations:
56
    kubernetes.io/ingress.class: "gce"
57
    kubernetes.io/ingress.global-static-ip-name: "nginx-demo-alb-ip"
58
spec:
59
  rules:
60
  - host: nginx.demo.local
61
    http:
62
      paths:
63
      - path: /*
64
        pathType: ImplementationSpecific
65
        backend:
66
          service:
67
            name: nginx-alb-svc
68
            port:
69
              number: 80
70
---
71
apiVersion: v1
72
kind: Service
73
metadata:
74
  name: nginx-nlb-svc
75
  namespace: nginx-expose-demo
76
  annotations:
77
    cloud.google.com/l4-rbs: "enabled"
78
    networking.gke.io/load-balancer-ip-addresses: "nginx-demo-nlb-ip"
79
spec:
80
  type: LoadBalancer
81
  externalTrafficPolicy: Local
82
  selector:
83
    app: nginx
84
  ports:
85
  - name: tcp-80
86
    protocol: TCP
87
    port: 80
88
    targetPort: 80

应用资源：

1
kubectl apply -f nginx-expose-demo.yaml

9.3 验证 ALB / NLB 都已打通#

1
kubectl -n ${NS} get deploy,pod,svc,ing
2

3
export ALB_IP=$(kubectl -n ${NS} get ingress nginx-alb -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
4
export NLB_IP=$(kubectl -n ${NS} get svc nginx-nlb-svc -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
5

6
echo "ALB_IP=${ALB_IP}"
7
echo "NLB_IP=${NLB_IP}"

验证请求：

1
# ALB（L7）: 通过 Host 头命中 Ingress 规则
2
curl -H "Host: nginx.demo.local" http://${ALB_IP}
3

4
# NLB（L4）: 直连四层入口
5
curl http://${NLB_IP}

预期两条请求都能返回 Welcome to nginx! 页面内容。

说明：ALB 首次创建通常需要 3~10 分钟；NLB 一般更快。

9.4 内网版本改法（同一套 YAML 快速变体）#

ALB 改成内网：kubernetes.io/ingress.class: "gce-internal"，并使用 regional 内网静态 IP 注解。
NLB 改成内网：为 nginx-nlb-svc 增加 networking.gke.io/load-balancer-type: "Internal"。
验证方式改为在同 VPC 的跳板机上 curl。

9.5 回收资源#

1
kubectl delete ns ${NS}
2
gcloud compute addresses delete nginx-demo-alb-ip --global --quiet
3
gcloud compute addresses delete nginx-demo-nlb-ip --region=${REGION} --quiet