XIAOSUO 记录个人学习的足迹

摘要：一、MCP概述 1. MCP协议 我们示例到目前所有的功能都是在项目内部开发完成的，如果一个 AI 应用只能使用内部功能，那它还达不到企业级 AI 的要求。因为企业内部会有各种各样的应用软件，虽然前面我们介绍了通过使用 AI 访问数据库来读取业务数据，但那只能满足简单的读取数据库的需求。 真实业务场景会复杂得多，比如希望在数据库中查找最新的销售报告，并将其通过电子邮件发送给指定的角色用户。这里发送邮件是企业内部邮箱服务的功能，而指定角色是身份服务的功能。这些功能在企业内部对应的应用中已经实现了，我们不可能在 AI 系统中再实现一次，而是需要让 AI 拥有调用其他系统的能力。 类似于 Web 系统中的 API 接口一样，AI 也有专门外部系统接入的协议，它就是 MCP 协议。 关于 MCP 的内容，我已经在前面的文章中详细介绍过了，请跳转到 MCP大模型外挂商店 阅读。 2. MCP 交互流程 我们用前面说的“在数据库中查找最新的销售报告，并将其通过电子邮件发送给指定的角色用户”来举例： 初始化：MCP 客户端连接到 MCP 服务器 LLM推理：查询数据库 + 查询角色 + 发送邮件 工具调用：MCP 客户端负责接受指令，发送给MCP服务器 执行：MCP 服务器负责执行，返给结果给客户端，返回给LLM 生成最终答复 3. MCP 服务生态 官方代码库 ：由 MCP 维护的 GitHub 代码库是首选的起点 。这里包含了许多常用服务的参考实现，例如本地文件系统、GitHub、Git、PostgreSQL 和用于浏览器自动化的 Puppeteer。这些官方服务器是学习和理解 MCP 最佳实践的绝佳范例。 社区精选列表 ：这是一个由社区驱动和维护的 GitHub 列表，它展示了 MCP 生态系统的广度和创造力 。在这里，可以找到从浏览器自动化、数据库交互到智能家居控制和特定应用（如 Bilibili 内容搜索）的各种服务器 。 MCP市场：一个第三方的 MCP 服务器和客户端市场，聚合了大量的服务器和客户端，并提供了分类和搜索功能 。 4. 安装 MCP 文件系统服务 这里我们从 github 中下载 modelcontextprotocol 提供的 filesystem 来做示例。 安装这个文件系统服务提供了很多种方式，细…… 阅读全文

摘要：一、前端环境搭建 1. 技术选型 前端 UI 我们采用 VUE + TS + Vite + Element Plus + ECharts + Pinia + SPA 来实现。 步骤 1，创建 Vue 项目，在 src 目录下执行： npm create vue@latest 项目名称: Qjy.AICopilot.VueUI 功能：TypeScript、Pinia、ESLint、Prettier 步骤 2，安装项目依赖包，我们进入到刚刚创建的 vue 项目，分别执行下面命令 cd Qjy.AICopilot.VueUI npm install npm install element-plus @element-plus/icons-vue npm install echarts npm install markdown-it @microsoft/fetch-event-source npm install -D @types/markdown-it 步骤 3，启用 pinia 和 element-plus //Qjy.AICoplot.VueUI/src/main.ts import { createApp } from 'vue' import { createPinia } from 'pinia' import ElementPlus from 'element-plus' import 'element-plus/dist/index.css' import App from './App.vue' const app = createApp(App) // 创建应用实例 app.use(createPinia()) // 注册状态管理插件 app.use(ElementPlus) // 注册 ElementPlus 插件 app.mount('#app') // 挂载到 index.html 的 #app 节点 2. Aspire 集成 步骤 4，使用 Aspire 启动 vue 项目。先在 Asprise 项目安装 nuget 包：CommunityToolkit.Aspire.Hosting.NodeJS.Extensions //Qjy.AICopilot.AppHost/AppHost.cs bui…… 阅读全文

摘要：NL2SQL（Natural Language to SQL） 是一项将人类自然语言问题自动转换为结构化 SQL 查询语句的技术。简单来说，就是让用户用大白话（如“上个月销售额最高的产品是什么？”）直接查询数据库，无需学习 SQL 语法。 今天我们的任务就是给我们的企业智能助理扩展 NL2SQL 的能力。 一、动态数据源架构 1. 面向多数据库源的架构 一家企业会有很多不同的系统，而各个系统所用的数据库会是各种各样的，它们不仅数据库产品不一样，同产品的数据库可能版本也不一样，查询数据的时候可能存在一些差别。 我们智能助理需要拥有以下这些功能： 动态配置多个业务数据库 通过自然语言，分析全局源数据，定位到需要链接的数据库（如 ERP\HR\OA） 最小权限连接上数据库（只读，禁止使用 DDL、DML） 分析目标库内部的表结构信息 方言适配（不同类型的数据库 SQL 语法差异） ps：只做只读的实现，并不是模型不能生成插入、更新、删除等 SQL，主要是不建议用自然语言来做数据库的操作，主要是： 模型会有幻觉，操作数据库存在风险 无法保证事务 无法触发一些关联任务，比如生成订单后，需要通知扣减库存。如果是直接操作订单表，库存的扣减事件就无法触发 如果需要实现自然语音操作数据，可以使用工具调用或者 MCP 来完成，我们的项目只实现生成 SQL 查询语句。 2. ReAct 认知模型 ReAct 模型就是一个会动脑筋、会动手、还会从错误中学习的超级助理的工作方法！ 它的任务就是听懂你的话，然后从数据库里找到答案。它可聪明了，做事非常有条理，就像一个大侦探，每次破案都遵循三个步骤： 思考（Think - 推理） 当用户说“帮我查一下仓库里还有多少台 iPhone 15？” 助理就会想一想：“这个问题是什么意思呢？我需要去“库存表”里看看，要找“iPhone 15”的数量”。 行动（Act - 行动） 想好之后，它就立刻行动起来！也就是生成 SQL 查询语句去查找。 检查（Observe - 观察）：行动之后，它会仔细检查结果。比如，它可能发现“生成的 SQL ”写错了，它会进行修正。 总之，当你告诉它要什么，它就用这个“思考-行动”的魔法，自己想办法从数据库里把答案给你找出来。 3. 多态数据库设计 全局数据源元数据注册表： 身份标识与路由 语义描…… 阅读全文

摘要：一、理论基础 1. RAG 概述 RAG：检索增强生成技术，我们先用一个例子来介绍一下什么是检索增强生成。 想象一下，你是一个很聪明的小学生，但你的知识都记在脑子里。如果老师问你一个很难的问题，比如：“恐龙是怎么消失的？”。你可能记得一些，但不完整。 这时候老师说：“来，我们开卷考！你可以去书架上查百科全书，然后再回答。” RAG 就是这样： 你有大脑（AI 的记忆）→ 你本来就知道很多事。 但遇到不知道的问题→ 你先跑去“书库”（数据库、网络等）快速查找相关的资料。 把查到的资料和你原来的知识合在一起，用你自己的话给出一个更好的答案。 所以，RAG 就是：先查资料，再结合自己的知识回答问题。这样就不会瞎编，答案更准确、更新鲜！是不是很像写作业时“先翻书，再总结”呢？ 企业应用使用大模型时，至少会遇到下面2个问题： 大模型一旦训练结束，它就不会在知道结束时间之后发生的事了，也就是它有时效性缺失 另外，通用的大模型是使用公共数据来训练的，它没有企业私有的数据，也就是私有领域空白 为了解决上面2类问题，我们可以使用 RAG 技术，为模型提供一个图书馆，也就是通常说的企业知识库。 2. RAG 工作流程 在让 LLM 回答问题之前，先去外部知识库中检索相关的信息，然后将检索到的信息作为参考资料喂给LLM，让它基于资料生成答案。RAG 分为2个阶段： 索引阶段：后台异步运行的数据处理流程，将文本转换为向量，构建语义索引。 检索与生成阶段：能够在线实时响应用户请求的流程 ETL（提取、转换、加载）流： 加载：格式解析、编码标准化、元数据提取； 分割：LLM的上下文窗口有限，所以需要递归字符分割，分割可能造成语义不完整，所以在分割的2段语句通常会添加重叠窗口； 嵌入：人类语言翻译成机器语言，使用嵌入模型，将文本转换为高维向量，即高维的语义空间，后续可以使用余弦相似度 -1 ~ 1进行检索； 存储：将文本块内容、向量数据、元数据，持久化存储到向量数据库。 3. 嵌入模型选型 我们把文本转换成高维向量时，需要使用嵌入模型，那如何选择嵌入模型呢？ 我们先看一下都有哪些选择： 闭源厂商云端模型 API： 优势：接入成本低、弹性扩展 劣势：数据隐私风险、长期成本不可控、网络延迟 开源模型本地私有化： 优势：绝对的数据安全、零增量成本、高性能与低延迟 劣…… 阅读全文

摘要：上一篇我们已经搭建好了 AI 应用的基础设施，今天我们开始创建企业助理智能体。 一、AI 网关集成 Agent 框架 关于 MAF 部分的内容，可以查看 Agent 智能体 ，我们这里直接上代码。 我们在 Qjy.AICopilot.AiGatewayService 项目添加一个 Agents 文件夹。 1. 创建聊天智能体 由于我们是一个多模型聊天应用，聊天模型数据是从数据库动态加载的。因而我们首先要创建一个工厂类，用来根据数据库中的数据来动态创建 Agent。 //Qjy.AICopilot.AiGatewayService/Agents/var httpClientFactory = serviceProvider.GetRequiredServiceIHttpClientFactory();ChatAgentFactory.cs public class ChatAgentFactory(IServiceProvider serviceProvider) { public ChatClientAgent CreateAgentAsync( LanguageModel model, ConversationTemplate template, ActionChatOptions? configureOptions = null, bool isSaveChatMessage = true) { var httpClientFactory = serviceProvider.GetRequiredServiceIHttpClientFactory(); // 创建专属 HttpClient 对象 var httpClient = httpClientFactory.CreateClient(OpenAI); var chatClientBuilder = new OpenAIClient( new ApiKeyCredential(model.ApiKey ?? string.Empty), new OpenAIClientOptions …… 阅读全文

摘要：前面我做了一个使用 LangChain 做的 AI 通用聊天平台的示例，接下来我们回到 .NET 环境，完成一个企业级的 .NET+AI 的项目。目标是为企业通电，完成一个可扩展、可私有化部署的 AI 应用。让企业能用自然语音操作内部其他系统（ERP/CRM/OA）、获取知识、分析报告。 一、项目分析 1. 背景 我们需要完成一个AI企业助理系统，在现有的系统之上，覆盖一层“智能化层”，完成： 智能体和工具调用：赋予 AI 行动能力。 检索增强生成，企业知识中枢：赋予 AI 记忆和知识能力 AI数据分析，一句话生成可视化报表：赋予 AI 分析能力，如 NL2SQL 2. 需求分析 通过背景分析，我们梳理一下大致需要完成的功能： 智能助理（Agent）：AI 交互入口（大脑） 对话与上下文管理：支持多轮上下文 意图识别：准确分析用户的输入，判断命令意图 工具调用：调用通过 MCP 接入的外部插件 富响应生成：响应不能局限于纯文本，包含表格、图表 企业知识中枢（RAG）：处理非结构化知识（记忆） 文档处理流程：支持多种文档格式上传，实现自动解析、自动分块、向量化计算（嵌入）、向量存储 检索与回答：支持语义搜索，结合LLM生成精准、有来源依据的问答 企业级特性：权限控制、数据时效性 数据报表分析（NL2SQL）：处理结构化数据（分析） NL2SQL引擎：自然语言翻译成 SQL 查询 多数据源支持 自动化分析与可视化：自动生成可视化图表，利用LLM总结图表中的趋势 报告导出 MCP 接入管理（Tools）：负责连接外部系统（行动） 服务发现与管理：实现 MCP 服务的注册，注册到AI的能力库 调试与权限：确保操作安全 3. 技术选型 后端框架：ASP.NET Core（.NET 10） AI 框架：Semantic Kernerl（SK）、Agent Framework 知识库：向量数据库（Qdrant）+关系型数据库（PostgreSQL + pgvector） 大模型：兼容 OpenAI 接口、支持私有化部署 安全方案：Jwt + RABC 开发方式：云原生开发 .NET Aspire 部署方案：容器化部署 4. 开发流程 搭建环境与项目骨架 实现核心服务（认证 + AI 网关） 构建知识中枢（RAG …… 阅读全文

摘要：一、MCP概述 MCP（Model Context Protocol）是由Anthropic于2024年底提出并开源的一种协议，旨在为AI系统（如AI编程助手、Agent等）提供安全、标准化的数据访问方式。它采用客户端-服务器架构，使AI工具（如Claude Desktop、IDE插件等）能够通过MCP客户端与MCP服务端交互，访问本地或远程数据源。 1. 基本流程 AI大模型---通过函数调用---函数列表---发送给大模型---判断调用函数+生成调用参数---应用将结果返回给大模型 函数调用---交互模式---调用规范 2. MCP的意义 日常开发中由于接口碎片化，我们可能需要开发搜索、SQL数据库、API调用工具等等。 有了MCP，我们可以将 工具开发，封装成MCP服务器 AI应用开发，连接MCP服务器 数据处理与隐私安全，MCP服务器可以在本地进程中运行，对接本地设备的私有数据 服务集成与扩展效率 MCP服务器可以方便集成 MCP服务器可以复用，配置即接入 AI应用只需要实现一次MCP接入，就拥有了与所有MCP服务器通信的能力 应用场景 企业办公场景 个人AI助手场景 总之：MCP就是AI应用与外部的工具。 3. 基础概念 MCP 是客户端-服务端架构，一个 Host 可以连接多个 MCP Server。 MCP Hosts（宿主程序）：如Claude Desktop、IDE等，通过MCP访问数据。 MCP Clients（客户端）：与服务器建立1:1连接，处理通信。 MCP Servers（服务端）：轻量级程序，提供标准化的数据或工具访问能力。 Local Data Sources（本地数据源）：如文件、数据库等，由MCP服务端安全访问。 Remote Services（远程服务）：如API、云服务等，MCP服务端可代理访问。 6. 协议层与传输层 协议层：负责消息封装（framing）、请求/响应关联、高级通信模式管理。 传输层：支持两种通信方式 Stdio传输（标准输入/输出）：适用于本地进程间通信。 HTTP + SSE传输： 服务端→客户端：Server-Sent Events（SSE） 客户端→服务端：HTTP POST 适用于远程网络通信。 所有传输均采用JSON-RPC 2.0进行消息交换…… 阅读全文

摘要：一、实现多格式文档解析器 1. 通用文档解析接口 我们先在ai文件夹创建一个名为parsers的pathon包，用来实现多格式文档解析器。 接着我们先定义一个解析器接口 # app/ai/parsers/base.py from abc import ABC, abstractmethod from typing import List, Dict, Any from pydantic import BaseModel class DocumentChunk(BaseModel): 文档块 content: str metadata: Dict[str, Any] chunk_index: int class DocumentParser(ABC): 文档解析器抽象基类 @abstractmethod def parse(self, file_path: str, file_content: bytes) - List[DocumentChunk]: 解析文档并返回文档块列表 pass DocumentChunk是文档解析器返回类型。 DocumentParser是抽象基类，通过继承ABC来定义。 2. 实现文本解析器 # app/ai/parsers/txt_parser.py from typing import List from langchain_text_splitters import RecursiveCharacterTextSplitter from app.ai.parsers.base import DocumentParser, DocumentChunk class TextParser(DocumentParser): 文本文件解析器 def __init__(self, chunk_size: int = 1000, chunk_overlap: int = 200): 初始化文本解析器 Args: chunk_size: 文档块大小 chunk_overlap: 文档块重叠大小 …… 阅读全文

摘要：上一篇我们已经实现了该项目的一些非AI功能的基础服务，如提供商、角色、会话等，本篇内容开始来实现AI部分的服务开发。 首先来实现一个AI聊天服务，然后在这些基础上将我们的AI聊天服务实现支持上传知识库。 一、实现AI聊天服务 AI聊天服务的功能很简单：就是通过我们提供的AI角色的信息， 对话的历史记录，已经用户发送过来的最新的信息，与大语言模型进行交互，生成回复内容。 AI聊天服务通过LangChain来实现。 1. 安装LangChain环境 uv add langchain langchain-openai 2. 实现AI聊天服务类 # app/ai/chat.py from typing import List,AsyncGenerator from langchain_core.messages import HumanMessage, AIMessage from langchain_core.output_parsers import StrOutputParser from langchain_openai import ChatOpenAI from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder from app.data.models import Role from app.schemas.message import MessageBase, MessageRole class AIChatService: def __init__(self, role: Role): # 创建ChatOpenAI实例 llm = ChatOpenAI( base_url=role.provider.endpoint, api_key=role.provider.api_key, model=role.provider.model, temperature=role.temperature, streaming=True ) # 构建Prompt模板 promp…… 阅读全文

摘要：一、项目介绍 1. 项目目标 Python + 面向单一用户 + 私有化部署 + 通用AI聊天平台 通过Web界面轻松交互 管理多个自定义AI角色 拥有会话管理能力 自由接入并切换语言模型(兼容OpenAl接口规范) 构建私有化知识库 扩展外部工具：集成MCP服务器 2. 功能性需求 多角色管理功能 对话管理功能 模型管理功能 RAG功能 前端界面(会话、知识库、模型设置、角色设置) MCP 服务器接入 3. 技术选型 包与项目管理工具：NuGet+ dotnet cli == uv 后端API框架与服务器：ASP.NET Core Web APl(Kestrel) == FastAPl + Uvicorn 数据模型与验证：数据注解/FluentValidation == Pydantic ORM + 数据迁移：EF Core == SQLAlchemy + Alembic 前端UI框架：Blazor Server == Gradio 元数据库(关系)：PgSQL 向量数据库：Chroma 嵌入生成服务：云端向量服务 + 本地开源向量模型 AI组件：SK == LangChain 4. 项目架构 该项目采用分层架构（因为是第一个实例项目，没有采用领域驱动设计） 二、项目初始化 安装UV # https://docs.astral.sh/uv/getting-started/installation/#__tabbed_1_2 pip install uv # uv的依赖环境恢复可以使用 uv sync 创建UV项目 项目初始化 创建app和ui文件夹，按下面目录结构分别创建Python软件包和文件： app |--ai |--api |--data |--|--models |--schemas |--service |--.env |--config.py |--main.py ui 安装 fastapi uv add fastapi 安装 uvicorn uv add uvicorn 创建HelloWorld API # app/api/hello.py # 从 fastapi 库中导入 APIRouter 类，用于创建路由模块 from fastapi import APIRouter # 创建一个 …… 阅读全文