Skip to content

Wanyi424/astrbot_plugin_llm_failover

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

LLM Failover

AstrBot 插件,为聊天类模型提供商注入自动故障转移包装,初衷是防止”硅基流动”等免费模型服务商触发限速时影响用户体验,因而在限速或瞬时故障出现时可以无缝切换到备用 LLM。

astrbot框架在新版本中已经自带故障转移机制,WebUI中,配置文件——AI配置即可自行修改,仓库关闭

  • 初始化阶段扫描所有 CHAT_COMPLETION Provider,将 text_chat 统一包裹为带降级逻辑的调用链。
  • AstrBot 完全启动后再次扫描,确保热加载或延迟注册的 Provider 也具备同样能力。
  • 日志同时写入 AstrBot 核心日志与插件本地 llm_failover.log,方便定位故障与回退路径。

如需了解实现细节与演进建议,请参阅 doc/llm_failover_overview.mddoc/llm_failover_report.md

更新日志

v1.0.2

  • 修复流式聊天(stream)场景下故障转移失败的问题
  • 完善响应提取逻辑,支持更多异常场景的自动切换

v1.0.1

  • 初始版本发布
  • 支持聊天类模型提供商的自动故障转移
  • 支持限速、500 错误等异常情况的自动切换

About

astrbot_plugin_llm故障切换

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages

Generated from Soulter/helloworld