利用 json_repair 修复大模型的 json 生成错误

有些 LLM 在返回格式正确的 JSON 数据时会有些问题,有时会漏掉括号,有时会在数据中添加一些单词。不至于这种错误每次都要丢弃,再次生成太浪费时间了,因此能修复错误时还是要尽量修复。这就是 json_repair
的主要目的:修复 LLM 在生成 json 数据时的错误。
- 修复 JSON 中的语法错误
- 缺少引号、逗号位置错误、未转义的字符以及不完整的键值对。
- 缺少引号、格式不正确的值(true、false、null)以及修复损坏的键值结构。
- 修复格式错误的 JSON 数组和对象
- 通过添加必要的元素(例如逗号、括号)或默认值(null、””)来修复不完整或损坏的数组/对象。
- 该库可以处理包含额外非 JSON 字符(例如注释或位置不正确的字符)的 JSON,并在保持有效结构的同时进行清理。
- JSON 缺失值自动补全
- 使用合理的默认值(例如空字符串或 null)自动补全 JSON 字段中的缺失值,确保有效性。
安装
1 | !pip install json-repair |
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple/, https://mirrors.aliyun.com/pypi/simple/, https://pypi.mirrors.ustc.edu.cn/simple/
Requirement already satisfied: json-repair in /home/guest/anaconda3/envs/xprepo/lib/python3.11/site-packages (0.41.1)
使用
以常见的字段内部的多余””为例
1 | import json |
Attempting to fix the JSON string...
{
"title": "Daily Thoughts",
"mood": "relaxed",
"content": "Today I felt really \"productive\" and relaxed."
}
这个库虽然能修改部分错误,但是还有些错误无法解决,会有 fixed error 报错,所以还是得用两层 try 语句包裹住。
Comments