feat: 优化NER和分类的格式化结果

.gitignore

@@ -0,0 +1,162 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+#   For a library or package, you might want to ignore these files since the code is
+#   intended to run in multiple environments; otherwise, check them in:
+# .python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# poetry
+#   Similar to Pipfile.lock, it is generally recommended to include poetry.lock in version control.
+#   This is especially recommended for binary packages to ensure reproducibility, and is more
+#   commonly ignored for libraries.
+#   https://python-poetry.org/docs/basic-usage/#commit-your-poetrylock-file-to-version-control
+#poetry.lock
+
+# pdm
+#   Similar to Pipfile.lock, it is generally recommended to include pdm.lock in version control.
+#pdm.lock
+#   pdm stores project-wide configurations in .pdm.toml, but it is recommended to not include it
+#   in version control.
+#   https://pdm.fming.dev/#use-with-ide
+.pdm.toml
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow and github.com/pdm-project/pdm
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+# PyCharm
+#  JetBrains specific template is maintained in a separate JetBrains.gitignore that can
+#  be found at https://github.com/github/gitignore/blob/main/Global/JetBrains.gitignore
+#  and can be added to the global gitignore or merged into this file.  For a more nuclear
+#  option (not recommended) you can uncomment the following to ignore the entire idea folder.
+#.idea/
+data/
+doc/

README.md

@@ -1,13 +1,7 @@
----
-title: Auto Anno
-emoji: 🚀
-colorFrom: indigo
-colorTo: red
-sdk: gradio
-sdk_version: 3.29.0
-app_file: app.py
-pinned: false
-license: mit
----
+# 项目介绍
+一个基于大模型的将输入文本做文本分类，实体抽取并翻译成中文的AI辅助自动标注项目。
+
+其中，文本分类包括：情感分类、新闻分类、意图识别；实体抽取包括：name, type, start~end。
+
+# 体验地址
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

utils/anno/cls/text_classification.py

@@ -1,33 +1,38 @@
 import openai
 import sys
+import re
 sys.path.append('.')
 from local_config import openai_key
+from utils.format.txt_2_list import txt_2_list
 
 # Set up your API key
 openai.api_key = openai_key
 
 def text_classification(src_txt, type_arr):
-    system = f"你是一个聪明而且有百年经验的文本. 你的任务是从一段文本里面提取出相应的分类结果签。你的回答必须用统一的格式。文本用```符号分割。分类类型保存在一个数组里{type_arr}"
-    user = f"输入|```这个商品真垃圾```输出|"
-    assistant = "差评"
-    input = f"输入|```{src_txt}```输出|"
+    user = f"你是一个聪明而且有百年经验的文本分类器. 你的任务是从一段文本里面提取出相应的分类结果签。你的回答必须用统一的格式。文本用```符号分割。分类类型保存在一个数组里{type_arr}\n输入|```{src_txt}```输出|"
     # Call the OpenAI API
     completion = openai.ChatCompletion.create(
                     model="gpt-3.5-turbo",
                     messages=[
-                        {"role": "system", "content": f"{system}"},
                         {"role": "user", "content": f"{user}"},
-                        {"role": "assistant", "content": f"{assistant}"},
-                        {"role": "user", "content": f"{input}"}
                     ]
                 )
 
     # Extract the output and parse the JSON array
     content = completion.choices[0].message.content
-    return content
+    # Check out in type_arr
+    result = []
+    for type in type_arr:
+        if type in content:
+            result.append(type)
+            # 删去已经匹配的type
+            content = content.replace(type, '')
+    return result
 
 if __name__ == '__main__':
-    type_arr = ['好评', '差评']
+    # type_arr = ['好评', '差评']
+    type_arr_txt = "是差评、不是差评"
+    type_arr = txt_2_list(type_arr_txt)
     txts = [
         '这个商品真不错',
         '用着不行',

utils/anno/ner/entity_extract.py

@@ -7,6 +7,9 @@ from local_config import openai_key
 # Set up your API key
 openai.api_key = openai_key
 
+def get_ready_key(name, type, start):
+    return f'{name}-{type}-{start}'
+
 def extract_named_entities(src_txt, type_arr):
     system = f"你是一个聪明而且有百年经验的命名实体识别（NER）识别器. 你的任务是从一段文本里面提取出相应的实体并且给出标签。你的回答必须用统一的格式。文本用```符号分割。输出采用Json的格式并且标记实体在文本中的位置。实体类型保存在一个数组里{type_arr}"
     user = f"输入|```皮卡丘神奇宝贝```输出|"
@@ -27,21 +30,31 @@ def extract_named_entities(src_txt, type_arr):
     content = completion.choices[0].message.content
     print(content)
     j = json.loads(content)
-    return j
+    result = []
+    j.sort(key=lambda x: x['start']*1000+x['end'])
+    ready_keys = set()
+    for item in j:
+        s = item['start']
+        e = item['end']
+        # 修正标注错误的实体坐标
+        if src_txt[s:e] != item['name']:
+            for i in range(len(src_txt)):
+                if src_txt[i:i+len(item['name'])] != item['name']:
+                    continue
+                # 跳过匹配过的实体，防止重复匹配
+                ready_key = get_ready_key(item['name'], item['type'], i)
+                if ready_keys.__contains__(ready_key):
+                    continue
+                item['start'] = i
+                item['end'] = i + len(item['name'])
+                break
+        # 将在实体类型里的放入结果
+        result.append(item)
+        ready_key = get_ready_key(item['name'], item['type'], item['start'])
+        ready_keys.add(ready_key)
+    return result
 
 if __name__ == '__main__':
     # extract_named_entities("```汤姆每天都被杰瑞欺负，皮卡丘越来越想帮忙，竟然还总是被拒绝，心想难道我“皮大仙”这点能力都没有？而且，这货不是被虐狂吧```", ["Person", "物种"])
-    extract_named_entities('老百姓心新乡新闻网话说这几天新乡天气还好吧偷笑', ['代称', '行政区'])
-    # Tags: PER(人名), LOC(地点名), GPE(行政区名), ORG(机构名)
-    # Label   Tag Meaning
-    # PER PER.NAM 名字（张三）
-    # PER.NOM 代称、类别名（穷人）
-    # LOC LOC.NAM 特指名称（紫玉山庄）
-    # LOC.NOM 泛称（大峡谷、宾馆）
-    # GPE GPE.NAM 行政区的名称（北京）
-    # ORG ORG.NAM 特定机构名称（通惠医院）
-    # ORG.NOM 泛指名称、统称（文艺公司）
-    # 原始标注 老百姓PER.NOM 新乡GPE.NAM
-    # gpt-3.5-turbo [{"name": "老百姓", "type": "代称", "start": 0, "end": 4}, {"name": "新乡新闻网", "type": "组织机构", "start": 4, "end": 10}, {"name": "新乡", "type": "行政区", "start": 12, "end": 14}, {"name": "天气", "type": "自然现象", "start": 14, "end": 16}]
-    # ERNIE-UIE {"text":"老百姓心新乡新闻网话说这几天新乡天气还好吧偷笑","result":[{"行政区":[{"text":"新乡","start":4,"end":6,"probability":0.589552328738506}]}]}
-
+    result = extract_named_entities('老百姓心新乡新闻网话说这几天新乡天气还好吧偷笑', ['代称', '行政区'])
+    print(result)

utils/format/txt_2_list.py

@@ -0,0 +1,11 @@
+import re
+
+def txt_2_list(txt):
+  split_token = r'[ ,、，;；《》<>]'
+  rm_token = r'["\'”“‘’。.！!？? 【】\[\]]'
+    
+  arr = re.split(split_token, txt)
+  arr = [re.sub(rm_token, '', item) for item in arr if item != '']
+  # 从大到小排序
+  arr.sort(key=lambda x: len(x), reverse=True)
+  return arr

utils/prompts/cls/CYFee.md

@@ -0,0 +1,5 @@
+你的任务是实现以下操作：\n1 – 对用<>作为分隔符的一段文本进行情感分类。\n2 – 情感分类标签：{类别} 。\n\n使\nJSON格式，包含以下字段：\ntext：<需要进行分类的文本>\nlabel：< {类别} 中选择一个> \ntext: <{原文}>
+你的任务是实现以下操作：\n1 – 对用<>作为分隔符的一段文本进行分类。\n2 – 情感分类标签： {类别} 。\n使用JSON格式，包含以下字段：\ntext：<需要进行分类的文本>\nlabel：< {类别} 中选择一个> \ntext: <{原文}>
+你的任务是实现以下操作：\n1 – 对用<>作为分隔符的一段文本进行分类。\n2 – 情感分类标签： {类别} 。\n使用JSON格式，包含以下字段：\ntext：<需要进行分类的文本>\nlabel：<列出所有满足条件的类别>\n\ntext: ：<{原文}>
+# 情感分类 0.75
+# 评论分类 0.83

utils/prompts/cls/S13D.md

@@ -0,0 +1,4 @@
+【{原文}】，用括号内的一个选项（{类型}）概括上述文本态度，不需要其它字符。
+【{原文}】，只输出这段话符合的类型（{类型}），不要多余字符
+【{原文}】，只输括号内符合这段话的选项（{类型}），不要多余字符
+# 新闻分类 0.9

utils/prompts/cls/Wal-le.md

@@ -0,0 +1 @@
+你是一个聪明而且有百年经验的文本分类器. 你的任务是从一段文本里面提取出相应的分类结果签。你的回答必须用统一的格式。文本用```符号分割。分类类型保存在一个数组里{类别}\n输入|```{原文}```输出|

utils/prompts/cls/の男.md

@@ -0,0 +1,2 @@
+以下文本表明哪一种意图（{类别}）请用简短的格式回答例如 {类别1}。文本：{原文}。
+# 意图识别 0.8/0.6 4.0/bing

utils/prompts/ner/Ken.md

@@ -0,0 +1 @@
+你是一个聪明而且有百年经验的命名实体识别（NER）识别器. 你的任务是从一段文本里面提取出相应的实体并且给出标签。你的回答必须用统一的格式。文本用```符号分割。输出采用Json的格式并且标记实体在文本中的位置。实体类型保存在一个数组里{类别}\n输入|```皮卡丘神奇宝贝```输出|[{"name": "皮卡丘", "type": "Person", "start": 0, "end": 3}, {"name": "神奇宝贝", "type": "物种", "start": 4, "end": 8}]\n输入|```{原文}```输出|

utils/prompts/ner/村头小卖部王老板.md

@@ -0,0 +1 @@
+请忘记前面的对话\n请对文本进行NER，并找到每个实体在原文本中的起始位置。文本之间会用"""分隔。\n要求:只保留实体列表中"type"在选项中给出的实体，选项形式为 (选项:"type")\n对每一个在筛选后实体列表中的实体，请按照我的要求来推断出它们的起始位置。要求1: 我们将句子的第一个字认为是位置0，其后的位置依次递增。要求2: 请你逐步找到每个位置的字，直到找到跟实体的第一个字匹配的位置为止。要求3: 实体在原文本中的起始位置的计算直接使用第一个字在原文中的位置即可，不需要往后数出实体的长度。要求4: 逐步思考后的最终结果以json格式呈现，比如[["name":"奥巴马","type":"人物","start":0,"end":3},["name":"美国","type":"国家","start":4,"end":6}]。\n输入:"""{原文}"""(选项:{类别})\n让我们开始逐步思考，并输出最终结果