该项目集成了基于 transformers 库实现的多种 NLP 任务。

huggingface transformers 是一个非常棒的开源框架，支持非常方便的加载/训练 transformer 模型，你可以在这里看到该库的安装方法和入门级调用，该库也能支持用户非常便捷的微调一个属于自己的模型。

在该项目中我们集成了一些主流的NLP任务，你可以找到对应的任务，将代码中的训练数据集更换成你自己任务下的数据集从而训练一个符合你自己任务下的模型。

目前已经实现的NLP任务如下（更新中）：

计算文本间的相似度，多用于：搜索召回、文本检索、蕴含识别 等任务。

在给定的文本段落中抽取目标信息，多用于：命名实体识别（NER），实体关系抽取（RE） 等任务。

通过设计提示（prompt）模板，实现使用更少量的数据在预训练模型（Pretrained Model）上得到更好的效果，多用于：Few-Shot，Zero-Shot 等任务。

对给定文本进行分类，多用于：情感识别，文章分类识别 等任务。

RLHF（Reinforcement Learning from Human Feedback）通过人类的反馈，将强化学习（RL）用于更新语言生成模型（LM），从而达到更好的生成效果（代表例子：ChatGPT）；通常包括：奖励模型（Reward Model） 训练和 强化学习（Reinforcement Learning） 训练两个阶段。

文本生成（NLG），通常用于：小说续写，智能问答，对话机器人 等任务。

构建大模型（LLM）zero-shot 解决多种任务所需的 prompt pattern(s)。

大模型训练相关，涵盖预训练，指令微调，奖励模型，强化学习。

一些常用工具集合。