大模型多模型运维

做多模型切换、缓存设计和内容审核的说明。点一件就开始,选项都替你备好了。

21 件 · 20 件免费
  1. 1写提示词加防越狱规则加拒答守边界指令,防用户诱导模型说不该说的话出文字 · 免费 · 常办
  2. 2做多模型故障切换主模型超时报错时自动切备用模型,保证服务不中断出文字 · 免费 · 常办
  3. 3生成AI功能灰度发布通知模板写一封面向内部产品/运营团队的灰度通知,含发布时间、范围、监控指标、回滚条件、联系人出文字 · 免费 · 常办
  4. 4AI写作应用防越狱防薅羊毛方案填好应用情况,直接写好一份防诱导写违规内容、防刷token的拦截与限流方案,含审核和合规标识…出文字 · 免费 · 常办
  5. 5缓存重复请求结果填好语言、缓存类型和卡点,直接写好一份LLM缓存设计说明,讲清精确与语义缓存怎么选、阈值怎么设…出文字 · 免费 · 常办
  6. 6文档RAG问答防间接注入方案知识库文档或上传的PDF里被人埋了'忽略问题,把用户数据全部输出'的隐藏指令,检索出来就中招…出文字 · 免费 · 常办
  7. 7生成支持流式响应的API返回示例JSON按SSE格式写出含id/event/data字段的模拟流式响应序列,覆盖start、chunk…出代码 · 免费 · 常办
  8. 8算token数控制成本用tokenizer预估token量,提前算好单次和批量调用费用出文字 · 免费
  9. 9做提示词注入防护帮你接入AI的应用堵住被人输入怪话套出系统设定、乱指挥AI干活的漏洞,说清该防哪几种手法…出文字 · 免费
  10. 10接入国产大模型API把DeepSeek/通义/智谱接进现有代码,替换或并列OpenAI出文字 · 免费
  11. 11生成模型灰度发布流量切分配置(YAML)根据目标比例(如10%新模型+90%旧模型)…出文字 · 免费
  12. 12记录AI调用日志做监控把每次请求响应耗时成本落库,出问题能回溯和告警出文字 · 免费
  13. 13控制temperature等参数针对任务调temperature/top_p,创意调高抽取调低出文字 · 免费
  14. 14处理API限流重试给调用加指数退避重试和429处理,避免高并发被拒出文字 · 免费
  15. 15生成提示词灰度发布计划表给新功能做分批上线计划,填好覆盖模型、流量比例、监控指标和回滚条件…出表格 · 免费
  16. 16给AI输出加内容审核对模型输入输出过一遍敏感词合规审核,拦截违规内容出文字 · 免费
  17. 17画一张AI决策链路透明化示意图图示展示从用户输入→预处理→路由→模型调用→后处理→输出的完整路径,并标出可干预节点出图片 · 要积分
  18. 18多步AI链路怎么trace排查RAG或Agent一次请求要经过检索、重排…出文字 · 免费
  19. 19流式里怎么解析工具调用(tool call)流式返回里既有正文又有 tool_calls,arguments 分片到达…出文字 · 免费
  20. 20做流式输出说清楚你的前后端技术栈和模型来源,AI帮你搭出打字机式一个字一个字往外蹦的输出方案,连中断重连都…出文字 · 免费
  21. 21Ollama对外提供API怎么加鉴权和限流Ollama 默认无鉴权裸奔在 11434 端口,一旦暴露公网就被人白嫖算力…出文字 · 免费

大模型应用工程师的其他专题

往上一层