文章目录
- 一、下载
- 二、核心功能
- 1、流式传输 streaming
- 三、LCEL
- 四、组成部分
- 1、Promp template
- 2、Example selectors (示例选择器)
- 3、Chat models (聊天模型)
- 4、Messages (消息)
- 5、LLMs (大语言模型)
一、下载
二、核心功能
其中包括以下内容：
- 从模型中返回结构化的数据
- 使用模型调用工具
- 流式可运行对象
- 调试 LLM 应用
1、流式传输 streaming
在大语言模型中，流式传输 streaming 通常指的是一种数据处理方式，其中数据是 连续不断地 传输和处理，而不是一次性批量传输。这种方法有以下几个关键特征和应用：
- 实时处理，流式传输允许模型 实时处理输入数据，而不是等待所有数据都传输完毕后再进行处理。这对于需要即时响应的应用非常重要，如在线翻译、语音识别、实时聊天机器人等。
- 减少延迟，通过流式传输，数据可以 分块处理，每个块的数据可以在接收到后立即进行处理，从而 减少整体延迟，提高响应速度。
- 资源管理，流式传输可以更有效地利用资源，因为它 不需要在内存中一次性加载所有数据，适合处理大规模数据或内存受限的场景。
- 适应动态数据，在一些应用中， 数据是 不断变化和更新的，如社交媒体流、传感器数据等。流式传输能够动态适应这些数据的变化，提供持续的模型推理和输出。
三、LCEL
LCEL 是一种创建任意自定义链的方法。它基于 Runnable 协议。LCEL cheatsheet：快速概览如何使用主要 LCEL 原语。
四、组成部分
1、Promp template
提示模板负责将用户输入格式化为可以传递给语言模型的格式。
2、Example selectors (示例选择器)
示例选择器负责选择正确的几个短示例传递给提示。
3、Chat models (聊天模型)
聊天模型是一种较新的语言模型，可以接收消息并输出消息。
4、Messages (消息)
消息是聊天模型的输入和输出。它们有一些 content内容 和一个 role角色，描述了消息的来源。
5、LLMs (大语言模型)
LangChain 所称的 LLMs 是语言模型的 旧形式，它以字符串为输入，以字符串为输出。
- 如何缓存模型的相应
- 如何创建自定义LLM类
- 流式地传输响应回来
- 跟踪令牌使用情况
- 使用本地LLM工作
