文章目录
- 一、下载
- 二、核心功能
- 1、流式传输 streaming
- 三、LCEL
- 四、组成部分
- 1、Promp template
- 2、Example selectors (示例选择器)
- 3、Chat models (聊天模型)
- 4、Messages (消息)
- 5、LLMs (大语言模型)
一、下载
二、核心功能
其中包括以下内容:
- 从模型中返回结构化的数据
- 使用模型调用工具
- 流式可运行对象
- 调试 LLM 应用
1、流式传输 streaming
在大语言模型中,流式传输 streaming 通常指的是一种数据处理方式,其中数据是 连续不断地 传输和处理,而不是一次性批量传输。这种方法有以下几个关键特征和应用:
- 实时处理,流式传输允许模型 实时处理输入数据,而不是等待所有数据都传输完毕后再进行处理。这对于需要即时响应的应用非常重要,如在线翻译、语音识别、实时聊天机器人等。
- 减少延迟,通过流式传输,数据可以 分块处理,每个块的数据可以在接收到后立即进行处理,从而 减少整体延迟,提高响应速度。
- 资源管理,流式传输可以更有效地利用资源,因为它 不需要在内存中一次性加载所有数据,适合处理大规模数据或内存受限的场景。
- 适应动态数据,在一些应用中, 数据是 不断变化和更新的,如社交媒体流、传感器数据等。流式传输能够动态适应这些数据的变化,提供持续的模型推理和输出。
三、LCEL
LCEL 是一种创建任意自定义链的方法。它基于 Runnable 协议。LCEL cheatsheet:快速概览如何使用主要 LCEL 原语。
四、组成部分
1、Promp template
提示模板负责将用户输入格式化为可以传递给语言模型的格式。
2、Example selectors (示例选择器)
示例选择器负责选择正确的几个短示例传递给提示。
3、Chat models (聊天模型)
聊天模型是一种较新的语言模型,可以接收消息并输出消息。
4、Messages (消息)
消息是聊天模型的输入和输出。它们有一些 content内容 和一个 role角色,描述了消息的来源。
5、LLMs (大语言模型)
LangChain 所称的 LLMs 是语言模型的 旧形式,它以字符串为输入,以字符串为输出。
- 如何缓存模型的相应
- 如何创建自定义LLM类
- 流式地传输响应回来
- 跟踪令牌使用情况
- 使用本地LLM工作