当前位置: 首页 > news >正文

招远网站建设今日热点新闻事件及评论

招远网站建设,今日热点新闻事件及评论,网站建设公司东莞,做一回最好的网站解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)
http://www.ritt.cn/news/17318.html

相关文章:

  • 做网站内容图片多大东莞百度推广优化
  • 青海省建设厅网站职称评审表网络营销专业可以干什么工作
  • 湖南网站建设哪家专业北京百度关键词排名
  • 网站错误代码 处理windows优化大师是哪个公司的
  • seo外包团队上海专业seo公司
  • wordpress社交旅游码迷seo
  • 网站的盈利方法seo技术服务外包公司
  • 一般可以在哪些网站做推广考研培训班哪个机构比较好
  • 网站如何集成微信支付今日最新消息
  • 完成一个个人主页网站的制作网站seo系统
  • 好看的单页面网站模板免费下载360手机优化大师下载
  • 山西建立网站营销策划上海百度seo牛巨微
  • 怎样暂停域名指向网站适合成人参加的培训班
  • wordpress 5.1 运行环境在线seo优化
  • 成都流行病毒最新消息河源seo
  • 科技管理信息网站的建设方案快速提升网站关键词排名
  • 交钱做网站对方拿了钱不做该怎么办免费b站推广网站短视频
  • 济南网站建设工作室今天头条新闻100条
  • ps做专业网站电商运营主要负责什么
  • vs做网站开发吗网站制作费用多少
  • 推广网站的方式seo咨询推广找推推蛙
  • 国内新闻最新消息十条摘抄2023徐州新站百度快照优化
  • 中国建设注册管理中心网站首页百度指数爬虫
  • 党建与经济建设网是什么网站近日发生的重大新闻
  • 做文案图片上什么网站百度关键词优化和百度推广
  • 用php做高中数学题库网站百度广告收费标准
  • 简单的网站后台管理系统做市场推广应该掌握什么技巧
  • 做爰视频在线观看免费网站广告软文案例
  • 建设网站项目概述58和百度哪个推广效果好
  • 宁波建设网表格seo品牌优化