讯飞星火认知大模型Java后端接口

2023-09-21 23:18:42

1.免费申请星火大模型套餐

🏠 讯飞星火认知大模型-AI大语言模型-产品套餐

image-20230918131323194

我们选择 “免费试用”。

image-20230918131434278

点击 “确认下单”即可,注意这个免费套餐一个用户只能购买一次。

购买完毕,我们进入控制台界面查看应用信息:讯飞应用控制台

image-20230918131738113

image-20230918132120461

这个“服务接口认证信息”中的 APPIDAPISecretAPIKey 就是我们需要在 Java 后端配置文件 application.yml 中配置中的信息。

2.Java后端接口说明

2.1 项目地址

🏠 Mr-Write/SpringbootDemo: 各种demo案例 (github.com)

我已经写了一个比较完整的 SpringBoot Demo 项目,为了方便理解对代码做了详细注释,已开源在 GitHub。

下载后只需要找到 xfxh-web-simple-demo 模块,在其 application.yml 文件配置你自己的 APPIDAPISecretAPIKey 信息,再以 GET 方式访问接口:http://localhost:8080/test/sendQuestion?question=hello

2.2 项目说明

该后端接口的大致实现逻辑:

  1. 以 GET 方式访问 SpringBoot 后端接口;
  2. 根据你的配置信息生成通用鉴权URL,并携带 question 建立 websocket 连接
  3. 星火大模型流式返回生成的回答;
  4. 当大模型返回给后端的响应中出现 已返回全部回答的标识status 后,后端关闭 websocket 连接;
  5. 后端将生成的完整回答响应给接口调用者。

如果你想了解更详细的与星火大模型之间的参数说明,请参考 星火认知大模型Web文档

该项目后端接口的实现功能:

  • 能回答单个问题,但不支持上下文;
  • 对星火大模型限制的 QPS 做了处理;
  • 通过配置文件可以规定大模型回复问题的最大响应时长;

如果想要使用支持上下文的接口,只需要找到 xfxh-web-support-context 模块,它在 xfxh-web-simple-demo 模块基础上实现了基于上下文的回答,该增强模块的后端接口说明:

  • 将上下文内容信息保存到了内存中,可以通过配置文件设置保存的上下文内容条数以及用户信息数;
  • 一份交互记录指的是两条上下文内容,分别是用户的问题和大模型的回答;
  • 支持了唯一标识的用户必须先等他的上一条问题的回答生成才能发送新的问题;
  • 由于信息存储在内存中,因此设置了定时任务检查用户是否过期并移除,这个过期时间可以在配置文件中设置。

代码还是易懂的,如果想了解如何实现的,建议先看完有完整注释的 xfxh-web-simple-demo 模块,再去看 xfxh-web-support-context 模块。xfxh-web-support-context 模块只是在 xfxh-web-simple-demo 模块进行了补充/增强。

2.3 项目结构

SpringBoot Demo 项目的结构:

image-20230921225551637

2.4 项目代码

🍀 maven 依赖

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.7.0</version>
    <relativePath/> <!-- lookup parent from repository -->
</parent>
<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-configuration-processor</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>cn.hutool</groupId>
        <artifactId>hutool-all</artifactId>
        <version>5.8.18</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.67</version>
    </dependency>
    <dependency>
        <groupId>org.java-websocket</groupId>
        <artifactId>Java-WebSocket</artifactId>
        <version>1.3.8</version>
    </dependency>
    <dependency>
        <groupId>com.squareup.okhttp3</groupId>
        <artifactId>okhttp</artifactId>
        <version>4.10.0</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>

🍀 application.yml 配置文件

xfxh:
  # 服务引擎使用 讯飞星火认知大模型V2.0,如果使用 V1.5 需要将 hostUrl 修改为 https://spark-api.xf-yun.com/v1.1/chat
  hostUrl: https://spark-api.xf-yun.com/v2.1/chat
  # 发送请求时指定的访问领域,如果是 V1.5版本 设置为 general,如果是 V2版本 设置为 generalv2
  domain: generalv2
  # 核采样阈值。用于决定结果随机性,取值越高随机性越强即相同的问题得到的不同答案的可能性越高。取值 [0,1]
  temperature: 0.5
  # 模型回答的tokens的最大长度,V1.5取值为[1,4096],V2.0取值为[1,8192]。
  maxTokens: 2048
  # 大模型回复问题的最大响应时长,单位 s
  maxResponseTime: 30
  # 允许同时连接大模型的 websocket 数,如果是普通(免费)用户为 2,超过这个数连接响应会报错,具体参考官网。
  QPS: 2
  # 用于权限验证,从服务接口认证信息中获取
  appId:
  # 用于权限验证,从服务接口认证信息中获取
  apiKey:
  # 用于权限验证,从服务接口认证信息中获取
  apiSecret:

🍀 config 包

📌 XfXhConfig
/**
 * @author 狐狸半面添
 * @create 2023-09-15 0:46
 */
@Configuration
@ConfigurationProperties(prefix = "xfxh")
@Data
public class XfXhConfig {
    /**
     * 服务引擎使用 讯飞星火认知大模型V2.0,如果使用 V1.5 需要将 hostUrl 修改为 https://spark-api.xf-yun.com/v1.1/chat
     */
    private String hostUrl;
    /**
     * 发送请求时指定的访问领域,如果是 V1.5版本 设置为 general,如果是 V2版本 设置为 generalv2
     */
    private String domain;
    /**
     * 核采样阈值。用于决定结果随机性,取值越高随机性越强即相同的问题得到的不同答案的可能性越高。取值 [0,1]
     */
    private Float temperature;
    /**
     * 模型回答的tokens的最大长度,V1.5取值为[1,4096],V2.0取值为[1,8192]。
     */
    private Integer maxTokens;
    /**
     * 大模型回复问题的最大响应时长,单位 s
     */
    private Integer maxResponseTime;
    /**
     * 用于权限验证,从服务接口认证信息中获取
     */
    private String appId;
    /**
     * 用于权限验证,从服务接口认证信息中获取
     */
    private String apiKey;
    /**
     * 用于权限验证,从服务接口认证信息中获取
     */
    private String apiSecret;

}

🍀 dto 包

📌 MsgDTO
/**
 * 消息对象
 *
 * @author 狐狸半面添
 * @create 2023-09-15 0:42
 */
@Data
@AllArgsConstructor
@NoArgsConstructor
@JsonInclude(JsonInclude.Include.NON_NULL)
public class MsgDTO {
    /**
     * 角色
     */
    private String role;
    /**
     * 消息内容
     */
    private String content;
    /**
     * 响应结果字段:结果序号,取值为[0,10]; 当前为保留字段,开发者可忽略
     */
    private Integer index;

    public static final String ROLE_USER = "user";
    public static final String ROLE_ASSISTANT = "assistant";

    public static MsgDTO createUserMsg(String content) {
        return new MsgDTO(ROLE_USER, content, null);
    }

    public static MsgDTO createAssistantMsg(String content) {
        return new MsgDTO(ROLE_ASSISTANT, content, null);
    }

}
📌 RequestDTO
/**
 * 请求参数
 * 对应生成的 JSON 结构参考 resources/demo-json/request.json
 *
 * @author 狐狸半面添
 * @create 2023-09-15 0:42
 */
@NoArgsConstructor
@Data
public class RequestDTO {

    @JsonProperty("header")
    private HeaderDTO header;
    @JsonProperty("parameter")
    private ParameterDTO parameter;
    @JsonProperty("payload")
    private PayloadDTO payload;

    @NoArgsConstructor
    @Data
    @AllArgsConstructor
    public static class HeaderDTO {
        /**
         * 应用appid,从开放平台控制台创建的应用中获取
         */
        @JSONField(name = "app_id")
        private String appId;
        /**
         * 每个用户的id,用于区分不同用户,最大长度32
         */
        @JSONField(name = "uid")
        private String uid;
    }

    @NoArgsConstructor
    @Data
    @AllArgsConstructor
    public static class ParameterDTO {
        private ChatDTO chat;

        @NoArgsConstructor
        @Data
        @AllArgsConstructor
        public static class ChatDTO {
            /**
             * 指定访问的领域,general指向V1.5版本 generalv2指向V2版本。注意:不同的取值对应的url也不一样!
             */
            @JsonProperty("domain")
            private String domain;
            /**
             * 核采样阈值。用于决定结果随机性,取值越高随机性越强即相同的问题得到的不同答案的可能性越高
             */
            @JsonProperty("temperature")
            private Float temperature;
            /**
             * 模型回答的tokens的最大长度
             */
            @JSONField(name = "max_tokens")
            private Integer maxTokens;
        }
    }

    @NoArgsConstructor
    @Data
    @AllArgsConstructor
    public static class PayloadDTO {
        @JsonProperty("message")
        private MessageDTO message;

        @NoArgsConstructor
        @Data
        @AllArgsConstructor
        public static class MessageDTO {
            @JsonProperty("text")
            private List<MsgDTO> text;
        }
    }
}
📌 ResponseDTO
/**
 * 返回参数
 * 对应生成的 JSON 结构参考 resources/demo-json/response.json
 *
 * @author 狐狸半面添
 * @create 2023-09-15 0:42
 */
@NoArgsConstructor
@Data
public class ResponseDTO {

    @JsonProperty("header")
    private HeaderDTO header;
    @JsonProperty("payload")
    private PayloadDTO payload;

    @NoArgsConstructor
    @Data
    public static class HeaderDTO {
        /**
         * 错误码,0表示正常,非0表示出错
         */
        @JsonProperty("code")
        private Integer code;
        /**
         * 会话是否成功的描述信息
         */
        @JsonProperty("message")
        private String message;
        /**
         * 会话的唯一id,用于讯飞技术人员查询服务端会话日志使用,出现调用错误时建议留存该字段
         */
        @JsonProperty("sid")
        private String sid;
        /**
         * 会话状态,取值为[0,1,2];0代表首次结果;1代表中间结果;2代表最后一个结果
         */
        @JsonProperty("status")
        private Integer status;
    }

    @NoArgsConstructor
    @Data
    public static class PayloadDTO {
        @JsonProperty("choices")
        private ChoicesDTO choices;
        /**
         * 在最后一次结果返回
         */
        @JsonProperty("usage")
        private UsageDTO usage;

        @NoArgsConstructor
        @Data
        public static class ChoicesDTO {
            /**
             * 文本响应状态,取值为[0,1,2]; 0代表首个文本结果;1代表中间文本结果;2代表最后一个文本结果
             */
            @JsonProperty("status")
            private Integer status;
            /**
             * 返回的数据序号,取值为[0,9999999]
             */
            @JsonProperty("seq")
            private Integer seq;
            /**
             * 响应文本
             */
            @JsonProperty("text")
            private List<MsgDTO> text;

        }

        @NoArgsConstructor
        @Data
        public static class UsageDTO {
            @JsonProperty("text")
            private TextDTO text;

            @NoArgsConstructor
            @Data
            public static class TextDTO {
                /**
                 * 保留字段,可忽略
                 */
                @JsonProperty("question_tokens")
                private Integer questionTokens;
                /**
                 * 包含历史问题的总tokens大小
                 */
                @JsonProperty("prompt_tokens")
                private Integer promptTokens;
                /**
                 * 回答的tokens大小
                 */
                @JsonProperty("completion_tokens")
                private Integer completionTokens;
                /**
                 * prompt_tokens和completion_tokens的和,也是本次交互计费的tokens大小
                 */
                @JsonProperty("total_tokens")
                private Integer totalTokens;
            }
        }
    }
}

🍀 listener 包

📌 XfXhWebSocketListener
/**
 * @author 狐狸半面添
 * @create 2023-09-15 1:11
 */
@Slf4j
public class XfXhWebSocketListener extends WebSocketListener {
    private StringBuilder answer = new StringBuilder();

    private boolean wsCloseFlag = false;

    public StringBuilder getAnswer() {
        return answer;
    }

    public boolean isWsCloseFlag() {
        return wsCloseFlag;
    }

    @Override
    public void onOpen(@NotNull WebSocket webSocket, @NotNull Response response) {
        super.onOpen(webSocket, response);
    }

    @Override
    public void onMessage(@NotNull WebSocket webSocket, @NotNull String text) {
        super.onMessage(webSocket, text);
        // 将大模型回复的 JSON 文本转为 ResponseDTO 对象
        ResponseDTO responseData = JSONObject.parseObject(text, ResponseDTO.class);
        // 如果响应数据中的 header 的 code 值不为 0,则表示响应错误
        if (responseData.getHeader().getCode() != 0) {
            // 日志记录
            log.error("发生错误,错误码为:" + responseData.getHeader().getCode() + "; " + "信息:" + responseData.getHeader().getMessage());
            // 设置回答
            this.answer = new StringBuilder("大模型响应错误,请稍后再试");
            // 关闭连接标识
            wsCloseFlag = true;
            return;
        }
        // 将回答进行拼接
        for (MsgDTO msgDTO : responseData.getPayload().getChoices().getText()) {
            this.answer.append(msgDTO.getContent());
        }
        // 对最后一个文本结果进行处理
        if (2 == responseData.getHeader().getStatus()) {
            wsCloseFlag = true;
        }
    }

    @Override
    public void onFailure(@NotNull WebSocket webSocket, @NotNull Throwable t, @Nullable Response response) {
        super.onFailure(webSocket, t, response);
    }

    @Override
    public void onClosed(@NotNull WebSocket webSocket, int code, @NotNull String reason) {
        super.onClosed(webSocket, code, reason);
    }
}

🍀 component 包

📌 XfXhStreamClient
/**
 * @author 狐狸半面添
 * @create 2023-09-15 1:10
 */
@Component
@Slf4j
public class XfXhStreamClient {
    @Resource
    private XfXhConfig xfXhConfig;

    @Value("${xfxh.QPS}")
    private int connectionTokenCount;

    /**
     * 获取令牌
     */
    public static int GET_TOKEN_STATUS = 0;
    /**
     * 归还令牌
     */
    public static int BACK_TOKEN_STATUS = 1;

    /**
     * 操作令牌
     *
     * @param status 0-获取令牌 1-归还令牌
     * @return 是否操作成功
     */
    public synchronized boolean operateToken(int status) {
        if (status == GET_TOKEN_STATUS) {
            // 获取令牌
            if (connectionTokenCount != 0) {
                // 说明还有令牌,将令牌数减一
                connectionTokenCount -= 1;
                return true;
            } else {
                return false;
            }
        } else {
            // 放回令牌
            connectionTokenCount += 1;
            return true;
        }
    }

    /**
     * 发送消息
     *
     * @param uid     每个用户的id,用于区分不同用户
     * @param msgList 发送给大模型的消息,可以包含上下文内容
     * @return 获取websocket连接,以便于我们在获取完整大模型回复后手动关闭连接
     */
    public WebSocket sendMsg(String uid, List<MsgDTO> msgList, WebSocketListener listener) {
        // 获取鉴权url
        String authUrl = this.getAuthUrl();
        // 鉴权方法生成失败,直接返回 null
        if (authUrl == null) {
            return null;
        }
        OkHttpClient okHttpClient = new OkHttpClient.Builder().build();
        // 将 https/http 连接替换为 ws/wss 连接
        String url = authUrl.replace("http://", "ws://").replace("https://", "wss://");
        Request request = new Request.Builder().url(url).build();
        // 建立 wss 连接
        WebSocket webSocket = okHttpClient.newWebSocket(request, listener);
        // 组装请求参数
        RequestDTO requestDTO = getRequestParam(uid, msgList);
        // 发送请求
        webSocket.send(JSONObject.toJSONString(requestDTO));
        return webSocket;
    }

    /**
     * 生成鉴权方法,具体实现不用关心,这是讯飞官方定义的鉴权方式
     *
     * @return 鉴权访问大模型的路径
     */
    public String getAuthUrl() {
        try {
            URL url = new URL(xfXhConfig.getHostUrl());
            // 时间
            SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);
            format.setTimeZone(TimeZone.getTimeZone("GMT"));
            String date = format.format(new Date());
            // 拼接
            String preStr = "host: " + url.getHost() + "\n" +
                    "date: " + date + "\n" +
                    "GET " + url.getPath() + " HTTP/1.1";
            // SHA256加密
            Mac mac = Mac.getInstance("hmacsha256");
            SecretKeySpec spec = new SecretKeySpec(xfXhConfig.getApiSecret().getBytes(StandardCharsets.UTF_8), "hmacsha256");
            mac.init(spec);

            byte[] hexDigits = mac.doFinal(preStr.getBytes(StandardCharsets.UTF_8));
            // Base64加密
            String sha = Base64.getEncoder().encodeToString(hexDigits);
            // 拼接
            String authorizationOrigin = String.format("api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"", xfXhConfig.getApiKey(), "hmac-sha256", "host date request-line", sha);
            // 拼接地址
            HttpUrl httpUrl = Objects.requireNonNull(HttpUrl.parse("https://" + url.getHost() + url.getPath())).newBuilder().
                    addQueryParameter("authorization", Base64.getEncoder().encodeToString(authorizationOrigin.getBytes(StandardCharsets.UTF_8))).
                    addQueryParameter("date", date).
                    addQueryParameter("host", url.getHost()).
                    build();

            return httpUrl.toString();
        } catch (Exception e) {
            log.error("鉴权方法中发生错误:" + e.getMessage());
            return null;
        }
    }

    /**
     * 获取请求参数
     *
     * @param uid     每个用户的id,用于区分不同用户
     * @param msgList 发送给大模型的消息,可以包含上下文内容
     * @return 请求DTO,该 DTO 转 json 字符串后生成的格式参考 resources/demo-json/request.json
     */
    public RequestDTO getRequestParam(String uid, List<MsgDTO> msgList) {
        RequestDTO requestDTO = new RequestDTO();
        requestDTO.setHeader(new RequestDTO.HeaderDTO(xfXhConfig.getAppId(), uid));
        requestDTO.setParameter(new RequestDTO.ParameterDTO(new RequestDTO.ParameterDTO.ChatDTO(xfXhConfig.getDomain(), xfXhConfig.getTemperature(), xfXhConfig.getMaxTokens())));
        requestDTO.setPayload(new RequestDTO.PayloadDTO(new RequestDTO.PayloadDTO.MessageDTO(msgList)));
        return requestDTO;
    }

}

🍀 XfXhApplication 启动类

@SpringBootApplication
public class XfXhApplication {
    public static void main(String[] args) {
        SpringApplication.run(XfXhApplication.class, args);
    }
}
更多推荐

Cython 笔记 (Python/Jython)

目录1.Cython笔记(Python)2.python加速库cython简介2.1.Cython是什么?2.2.如何安装Cython?2.3.简单示例2.4.性能比对2.5.总结3.PYTHON,CYTHON,JYTHON,IRONPYTHON的区别(注意:此篇有误导,表述不一定正确,只提供一个方向)3.1.PYTH

知识管理系统重构,对卡片盒笔记的理解又进了一步 | Obsidian实践

去年4、5月份的时候接触到《卡片笔记写作法:如何实现从阅读到写作》,便被其中知识管理的理念深深吸引,并且在它的推荐下,果断投入到Obsidian的使用中。这期间,我常常自诩为“Obsidian重度用户”和“彩虹屁爱好者”,乐此不疲地分享Obsidian实践经验,并孜孜不倦地向身边每一位“忘性大”的朋友推荐。截至到今天为

实战演练 | Navicat 常用功能之转储与运行 SQL 文件

数据库管理工作中,"转储SQL文件"和"运行SQL文件"是两个极为常见操作。一般来说,用户使用数据库管理工具或命令行工具来完成。Navicat管理开发工具中的“转储SQL文件”和“运行SQL文件”功能具有直观易用的界面、多种文件格式支持、数据备份和恢复功能、SQL编辑器、数据传输功能等多方面的优势,可以帮助用户更方便地

现在进入广告行业好做吗?

广告行业真的很好,大家快来……在这里你可以无限发挥你的创意和想象力,有趣的同事,不刻板的工作内容,与爱豆合作,偶尔见见明星,出入城市CBD,一身名牌,精美PPT挥斥方遒,轻松出几个炸裂的创意,戛纳获奖,满足感爆棚……以上这些,纯属想象!!做广告是很苦滴,这个苦包括精神和身体两个方面。现在如果没做好吃苦准备的,千万别来。

26 WEB漏洞-XSS跨站之订单及Shell箱子反杀记

目录xss平台及工具使用session与Cookie获取问题演示案例某营销订单系统XSS盲打_平台某Shell箱子系统XSS盲打_工具其他参考应用案例-后台权限维持工具Http/s数据包提交Postman使用xss平台及工具使用凡是有数据交互的地方,前端是接收数据的,后端是要把这个数据进行显示的,在这个过程中就符合了x

springmvc之自定义注解-->自定义注解简介,基本案例和aop自定义注解

自定义注解简介自定义注解基本案例aop自定义注解1.自定义注解简介1.基本注解2.元注解3.自定义注解3.1.标记注解3.2.元数据注解3.3.自定义注解语法:@interfaceJDK基本注解@Override重写@SuppressWarnings(value="unchecked")压制编辑器警告JDK元注解@Re

ns2无线局域网隐藏节点仿真实验

ns2无线局域网隐藏节点仿真实验实验内容实验原理实验过程相关模块安装仿真模块问题总结问题一问题二问题三实验内容无线网络与移动技术第二次实验,用ns2完成无线局域网隐藏节点仿真实验。实验原理隐藏节点指在接收节点的覆盖范围内而在发送节点的覆盖范围外的节点。由于听不到发送节点的发送,隐藏节点可能向相同的接收节点发送分组,导致

【动态规划刷题 16】最长等差数列 (有难度) && 等差数列划分 II - 子序列

1027.最长等差数列https://leetcode.cn/problems/longest-arithmetic-subsequence/给你一个整数数组nums,返回nums中最长等差子序列的长度。回想一下,nums的子序列是一个列表nums[i1],nums[i2],…,nums[ik],且0<=i1<i2<…

AOSP Android 系统源码编译出的framework.jar和android.jar之间的区别

简介AOSP(AndroidOpenSourceProject)编译出的android.jar和framework.jar都是Android平台开发中的重要组件,但它们有不同的作用和用途:android.jar:用途:android.jar包含了AndroidAPI的定义,它是Android应用程序开发的核心库。开发者

【Hadoop】HDFS API 操作大全

🍁博主"开着拖拉机回家"带您GotoNewWorld.✨🍁🦄个人主页——🎐开着拖拉机回家_Linux,大数据运维-CSDN博客🎐✨🍁🪁🍁希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!🍁🐥🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁�

多台服务器sessionId共享

目录多台服务器sessionId共享解决方案:ASP.NETCore参考代码(NET7):登录处理登录(请求)过滤器过滤器使用BaseController多台服务器sessionId共享sessionid是服务器首次与浏览器创建连接时,生成的id值,存入浏览器端cookie中,值加密的,下次请求时,浏览器自动带上ses

热文推荐