大模型训练问题集合
关注
分享
扫一扫
文章平均质量分 55
包括大模型的推理、微调、加速和大模型agent相关的代码示例、教程及问题解决分享
炭市街潜水豆浆
简单分享工作中学习的记录和日常读研学习记录，全为原创，不会涉及任何隐私与个人权益
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【大模型】text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比
text-generation-inference TGI项目加速推理的量化实现与使用GPTQ量化实现的对比原创 2025-08-04 16:09:53 · 4918 阅读 · 5 评论 -
【大模型】Autogen使用两个agent基于gpt扮演角色情景对话，包含二者的system_message
【大模型】Autogen使用两个agent基于gpt扮演角色情景对话，包含二者的system_messagev原创 2025-08-04 15:50:06 · 1622 阅读 · 2 评论 -
【大模型】FastChat实现gpt一样流式输出，亲测有效！！！
流式输出就是一边生成一边输出结果，而不需要所有的结果都输出完成。流式传输是一种HTTP协议的特性，它允许服务器在响应数据准备好之前就开始向客户端发送数据。当数据准备好之后，服务器会将其作为一个或多个“块”传输到客户端，直到响应完成。原创 2025-08-04 15:21:57 · 3452 阅读 · 3 评论 -
ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj
ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj 速解原创 2025-08-04 17:02:46 · 7977 阅读 · 2 评论