Posted on ::

— 致谢:本文严格依据上述视频的逐字转录整理与重述,未引入未经视频验证的信息。How I use LLMs

TL;DR

  • 选对模型与“思考模式”(Thinking Models)是提效关键:简单任务用快模型,复杂推理换“思考”版本。
  • 工具使用是 LLM 的“增幅器”:搜索、深研、代码执行、文件上下文、语音/图像/视频多模态显著拓展边界。
  • 将 LLM 融入日常工作流:写作、编程、研究、可视化、记忆与个性化(自定义指令与 GPTs)都能系统提效。
  • 框架化使用:明确任务→选模型→加工具→结构化输出→外部校验(高风险场景)→沉淀记忆与复用。
  • 风险与常见坑:幻觉、过度信任、上下文管理混乱、成本不可控,需建立验证与成本监控机制。

引言 大型语言模型(LLM)正以前所未有的速度渗入知识工作。Andrej Karpathy 在《How I use LLMs》中,以实操视角完整展示了他如何将 LLM 应用于检索、研究、编程、数据分析、多模态处理与个性化工作流中,并给出了“何时选何模型”“如何启用工具链”“如何把 LLM 嵌入日常生产力”的可复用方法论。本文严格基于该视频逐字稿内容,抽取核心路径,力求通俗但不牺牲严谨。

为什么重要

  • 从“聊天机器人”到“可编程工具链”:理解 LLM 的“模型选择 + 工具使用”范式,能直接改变工作方式。
  • 从“临时问答”到“系统化工作流”:通过记忆、自定义与多模态,让你的知识工作具备可持续复用的“第二大脑”能力。
  • 降低试错成本:本文提供可落地的决策框架与防坑清单,帮助你高效上手与进阶。

一、先认知生态:模型与层级能力

  • 生态多元:OpenAI(ChatGPT/4 系列)、Anthropic(Claude)、Google(Gemini)、xAI(Grok)等提供不同能力与价格层级。
  • 模型能力与价格:要“意识到你在用的模型”,不同梯度在语言理解、推理、多模态、速度和成本各异。
  • 三段式训练观:预训练(知识)、后训练/指令微调(助理风格)、强化学习(发展“思考策略”)。
  • “思考模型”(Thinking Models):在复杂数学、代码等任务上显著提升正确率,但输出更慢;日常问答不一定值得等待。

常见坑

  • 只用一个“默认模型”:忽视任务-模型匹配,导致要么“杀鸡用牛刀”,要么性能不足。
  • 追求“最强模型”而不控成本:忽略任务分层与混合策略带来的成本/延迟优化空间。

二、从基础互动到结构化任务

  • 基础互动:清晰描述、给定上下文、要求结构化输出(如 JSON/要点/步骤),降低幻觉与歧义。
  • 高效提问范式:指明角色/目标/约束/格式,必要时给样例,逐步式(step-by-step)分解任务。
  • 结构化产出:把输出约束成“可验收对象”(要点、表格字段、代码块),便于后续自动化与复核。

为什么重要

  • 把“对话”变成“协议”:明确输入输出与验收标准,才能把 LLM 稳定纳入流水线。

三、何时开启“思考模式”(Thinking models)

  • 适用场景:数学推理、复杂代码、需要回溯/假设检验/多路径探索的问题。
  • 使用策略:先尝试非思考模型(更快),若效果不佳再切换思考模型;不同提供商有显式开关(如 Grok 的“Think”)。

常见坑

  • 为简单任务也启用“思考”,徒增等待与成本。

四、工具链:把 LLM 从“文本引擎”变成“工作引擎”

H2 1. 网络搜索与“深度研究”

  • 即时搜索:在时效性、事实核验上,为模型接通互联网工具;要求引用来源与多源交叉验证。
  • 深度研究(Deep Research):搜索 + 归纳 + 长链思考,生成文档级综述与报告。

为什么重要

  • 模型知识有“截止日期”;高风险事实必须“外部验证”。

常见坑

  • 把搜索结果当权威,不做多源比对与引用审查。

H2 2. 文件上下文与长文档处理

  • 上传文档作为上下文:让模型在你的材料上检索、摘要、抽取、比较。
  • 让模型“先读后答”:先让模型产出逐段摘要,再汇总为全局结论,降低长文幻觉。

H2 3. 代码执行与数据分析

  • Python 工具/沙盒:用于计算、数据处理、绘图;把“可执行结果”与“语言解释”结合。
  • 可视化:让模型一体化生成图表与解释,快速探索数据。

常见坑

  • 仅凭自然语言“心算”高风险结论;不调用代码工具进行严谨计算与复核。

H2 4. 多模态:语音、图像与视频

  • 语音输入/输出:口述草稿、转录访谈、生成有声内容;系统级转写工具可形成“随时记录—再总结”的工作流。
  • 图像输入:OCR、表格截图抽取、图像理解与批注。
  • 图像输出:草图到海报/草图到图标,辅以迭代说明优化视觉稿。
  • 视频输入/输出:点选讲解、镜头级理解到摘要;新兴视频生成模型用于视觉原型。

为什么重要

  • 把非结构化媒体“转译”为可搜索、可推理的文本/结构数据,打通信息流。

五、高级能力:记忆、指令与自定义 GPTs

  • 记忆(Memory):保存偏好、风格、上下文,减少重复说明,提高连续性。
  • 自定义指令:为模型设置长期的角色与规范,让每次对话“开箱即用”。
  • 自定义 GPTs:将特定工作流打包(指令+文件+工具),用于团队或个人复用。

常见坑

  • 记忆内容堆砌、无治理:应定期维护、精炼,避免冲突与漂移。

六、成本与性能:理性治理

  • 模型混用:把昂贵模型留给高价值环节,其他用轻量模型,必要时再升级。
  • Token 预算与结构化提示:减少冗余上下文,复用“摘要/提纲”代替全文灌注。
  • 监控与告警:关注调用量、费用、延迟,建立预算与审计流程。

常见坑

  • 不做监控:成本在暗中叠加;上下文不控导致响应变慢且更不稳。

七、把一切串成工作流:一套通用蓝图

  • 步骤化框架:
    1. 明确目标与约束
    2. 选模型与是否启用“思考”
    3. 接入工具(搜索/代码/文件/多模态)
    4. 结构化输出与格式验收
    5. 外部验证(对高风险事实/计算/引述)
    6. 沉淀记忆与自定义工作流
  • 核心心法:用最小闭环快速迭代;必要时升级模型与工具;把成功范式打包复用。

关键要点

  • 明确“任务—模型—工具”的三元匹配,别只用默认聊天范式。
  • 对复杂推理再启用“思考模型”,优先保证速度与性价比。
  • 工具是“能力放大器”:搜索、代码、文件上下文、多模态会成倍提升效果。
  • 高风险输出必须外部验证,建立“证据链意识”与计算复核。
  • 把成功对话固化为记忆/指令/自定义工作流,实现复用与可维护。

行动清单

  • 建立你的模型选型表:按“任务类型—速度—成本—质量”归档可选模型。
  • 为三类高频任务各写一个“结构化提示模板”(写作、研究、编程)。
  • 打通三件工具:搜索核验、Python/数据分析、文件上下文(PDF/长文)。
  • 设定“思考模型”开关的启用准则(何种难度/价值才切换)。
  • 配置使用监控/预算告警,月度回顾一次“提示/上下文/模型搭配”的性价比。
  • 建立“记忆与指令”基线文档,每两周精炼一次,移除冲突与冗余。
  • 将稳定流程打包为自定义工作流或自定义 GPT,用于团队复用。

致谢

  • 本文依据 Andrej Karpathy《How I use LLMs》视频逐字稿归纳整理,感谢其对 LLM 实用方法的系统讲解与示范。