ChatGPT垂直行业私有数据知识库功能-咨询接口采用流式响应输出-JS和Golang实现流式响应
  lhW9HoiICdLK 2023年11月02日 36 0
Go

近期开发私有数据知识库功能,想要实现和ChatGPT聊天效果类似的逐字流式输出展示效果。

GPT3.5本身就有流式聊天补全接口,后端Golang对接后,也需要能流式输出。下面就介绍下前端JS后端Golang来实现这种输出效果

 

大部分介绍是使用EventStream来实现,我现在不使用EventStream也来实现同样的效果

在服务器端需要关闭输出缓冲,使得每次写入的数据能够立即发送给客户端。可以通过调用http.ResponseWriter对象的Flush方法实现。

在客户端需要使用XHR对象或WebSocket对象实现长连接,从而能够接收来自服务器的多次响应。

 

    router := gin.Default()
    router.GET("/", func(c *gin.Context) {
        c.Header("Content-Type", "text/html;charset=utf-8")
        // 关闭输出缓冲,使得每次写入的数据能够立即发送给客户端
        f, ok := c.Writer.(http.Flusher)
        if !ok {
            c.AbortWithStatus(http.StatusInternalServerError)
            return
        }
        // 向客户端输出数据
        html := []rune(`Go-Knowledge AI,自建私有数据知识库 · 与知识库AI聊天`)
        for _, str := range html {
            fmt.Fprintf(c.Writer, string(str))
            f.Flush()
            time.Sleep(100 * time.Millisecond)
        }
    })

这样我们直接访问 / ,就可以看到文字是逐字流式输出响应的

前端JS需要使用下面这种读取方式

var xhr = new XMLHttpRequest();
xhr.open("GET", "/");
xhr.setRequestHeader("Content-Type", "text/plain");

xhr.onprogress = function(event) {
    console.log(event.currentTarget.responseText);
};

xhr.send();

 

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  uGYzDadp0Cs7   2024年04月18日   79   0   0 Go
  hyrB1Ag4eVs8   2024年04月15日   71   0   0 Go
  dHUS172Lkv6A   2024年05月08日   175   0   0 Go
  YFCZjJLTjJgW   2024年05月04日   52   0   0 Go
  YFCZjJLTjJgW   2024年05月17日   59   0   0 Go
  uGYzDadp0Cs7   2024年04月16日   119   0   0 Go
  YFCZjJLTjJgW   2024年05月17日   59   0   0 Go
lhW9HoiICdLK