最新文章
用 Ollama 在家用电脑上跑通开源大模型
从下载安装到对话调参的完整流程,记录了显存占用、量化版本选择与常见报错的解决方法,普通游戏本也能流畅跑 7B 级模型。
RAG 入门:让大模型"读懂"你自己的文档
拆解检索增强生成的完整链路:文档切分、向量化、召回重排与生成,对比了三种切分策略在问答准确率上的实测差异。
提示工程的五个实用技巧
角色设定、少样本示例、思维链、结构化输出与自我校验——每个技巧配上前后对比示例,看完就能用到自己的工作流里。
微调还是 RAG?企业落地的选型思路
同样想让模型掌握领域知识,两条路线的成本、周期与效果边界完全不同。本文给出一套简单的决策清单与混合方案。
让大模型学会调用工具:Function Calling 实战
以"查天气 + 写日程"为例,从函数定义、参数校验到异常兜底,讲解一次完整的多轮工具调用是怎么跑起来的。
量化技术入门:INT8 与 INT4 是怎么省显存的
用通俗语言解释模型量化的原理与代价,实测同一模型在不同量化档位下的显存占用、生成速度与效果损失。
关于本站
「大模型手记」是一个个人技术博客,专注于大语言模型(LLM)的学习与实践分享。内容涵盖:
- 开源模型的本地部署与调优
- 检索增强生成(RAG)与知识库应用
- 提示工程与 Agent 工作流
- 推理性能与成本优化
所有文章均为原创笔记,欢迎交流指正。