令牌分割器节点#
令牌分割器节点通过首先将文本转换为 BPE 令牌来分割原始文本字符串，然后将这些令牌分割成块，并将单个块内的令牌转换回文本。
在此页面上，您将找到令牌分割器节点的节点参数以及更多资源的链接。
子节点中的参数解析
子节点在使用表达式处理多个项目时，与其他节点的行为不同。
大多数节点（包括根节点）接受任意数量的项目作为输入，处理这些项目，并输出结果。您可以使用表达式引用输入项目，节点会依次为每个项目解析表达式。例如，给定五个 name 值的输入，表达式 {{ $json.name }} 会依次解析为每个名称。
在子节点中，表达式始终解析为第一个项目。例如，给定五个 name 值的输入，表达式 {{ $json.name }} 始终解析为第一个名称。
节点参数#
- 块大小: 输入每个块中的字符数。
- 块重叠: 输入块之间的重叠量。
模板和示例#
相关资源#
有关该服务的更多信息，请参阅 LangChain 的令牌文档和 LangChain 的文本分割器文档 。
查看 n8n 的高级 AI 文档。
此页面是否
微信
🚀 与作者交流
关注公众号
n8n实战笔记
📚 教程 💡 案例 🔧 技巧
📚 教程 💡 案例 🔧 技巧
添加微信
1对1 专业指导
⚡ 快答 🎯 定制 🚀 支持
⚡ 快答 🎯 定制 🚀 支持