问题背景：这个2048到底卡住了谁的脖子？
当大模型遇上小水管
在使用ollama做大模型问答时，相信不少朋友都遇到过这样的尴尬场景：当你信心满满地输入一篇万字长文要求总结时，模型突然化身复读机：“抱歉，这个问题超出了我的处理能力”。这种时候请先别怀疑自己的姿势水平，问题很可能出在ollama那个丧心病狂的默认参数设定上！
num_ctx参数的前世今生
这个罪魁祸首num_ctx参数，全称Number of Context Tokens，直接控制着模型的上下
玩转ollama上下文长度：从2048到32k的num_ctx魔改指南
注：本文转载自blog.csdn.net的羊城迷鹿的文章"https://wangjn.blog.csdn.net/article/details/140846446"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
评论记录：
回复评论：