自然语言调用操作k8s

2025-02-22

字数统计: 908字 | 阅读时长≈ 4分

我们常见的操作kubernetes的方式，除了kubectl命令行客户端，api接口调用kubnernetes接口，或者类似于kubnernetes官方的图形客户端dashboard，我自己曾经一直用cient-go 结合 gin框架搭建一套api 的kubernetes接口,操作kubernetes。如何利用大语言模型的agent,以一种用户对话的方式，操作k8s.

工具

硅基流动模型广场 https://cloud.siliconflow.cn/models

Pro/deepseek-ai/DeepSeek-R1

框架：golang gin， Cobra ，go-openai

kubernetes 集群可用简答的 kind 或者 minekube 就可以

Cobra 是golang的一种命令行客户端框架，这里扮演前端用户客户端角色，用户不用在客户端操作kubectl，而是prompt。

创建Ai客户端的，不好科学上网的，我这里用的是硅基流动的模型广场，这样可以选择当下最火的DeepSeek大模型华为云升腾服务器，强烈推荐，当然阿里云百炼也很不错

这里贴出部分代码 https://github.com/Charlie-todream/llmk8s

func NewOpenAiClient() *openai.Client {
	token := os.Getenv("Apikey")
	dashscope_url := "https://api.siliconflow.cn/v1"

	config := openai.DefaultConfig(token)
	config.BaseURL = dashscope_url

	return openai.NewClientWithConfig(config)
}

AGENT开发其实大半只需要更高promot模板，从ReAct下载一个模板并修改

You are a Kubernetes expert. A user has asked you a question about a Kubernetes issue they are facing. You need to diagnose the problem and provide a solution.

Answer the following questions as best you can. You have access to the following tools:
%s

Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of %s.
Action Input: the input to the action, use English
Observation: the result of the action from human feedback

... (this Thought/Action/Action Input/Observation can repeat N times)

When you have a response to say to the Human, or if you do not need to use a tool, you MUST use the format:

---
Thought: Do I need to use a tool? No
Final Answer: the final answer to the original input question
---

Begin!

Previous conversation history:
%s

Question: %s

结合client-go创建增删该差工具

type CreateTool struct {
    Name        string
    Description string
    ArgsSchema  string
}

func NewCreateTool() *CreateTool {
    return &CreateTool{
        Name:        "CreateTool",
        Description: "用于在指定命名空间创建指定 Kubernetes 资源，例如创建某 pod 等等",
        ArgsSchema:  `{"type":"object","properties":{"prompt":{"type":"string", "description": "把用户提出的创建资源的prompt原样放在这，不要做任何改变"},"resource":{"type":"string", "description": "指定的 k8s 资源类型，例如 pod, service等等"}}}`,
    }
}

结合自己gin的api 整个过程如下

func (c *CreateTool) Run(prompt string, resource string) string {
    //让大模型生成yaml
    messages := make([]openai.ChatCompletionMessage, 2)

    messages[0] = openai.ChatCompletionMessage{Role: "system", Content: promptTpl.SystemPrompt}
    messages[1] = openai.ChatCompletionMessage{Role: "user", Content: prompt}

    rsp := ai.NormalChat(messages)

    // 创建 JSON 对象 {"yaml":"xxx"}
    body := map[string]string{"yaml": rsp.Content}
    jsonBody, err := json.Marshal(body)
    if err != nil {
        return err.Error()
    }

    url := "http://localhost:8080/" + resource
    s, err := utils.PostHTTP(url, jsonBody)
    if err != nil {
        return err.Error()
    }

    var response response
    // 解析 JSON 响应
    err = json.Unmarshal([]byte(s), &response)
    if err != nil {
        return err.Error()
    }

    return response.Data
}

进入 Cobra 的交互式命令后，用户可以在 shell 终端输入 prompt，程序会将用户 prompt 以及工具描述等用 sprintf 函数灌入到 ReAct 模板中，将该模板当作新的 prompt 发送给大模型。大模型在第一轮思考后会给出要调用什么工具以及 json 格式的工具参数，此时代码会通过 if else 进行工具名称匹配，匹配到后进行工具调用。最后将工具调用结果拼接到 Obervation 后面，开始下一轮对话。直到得到 Final Answer 后，对话结束。

本文作者： 东方觉主
本文链接： http://www.charon193.com/2025/02/22/k8sllm/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！