基于 Transformers 的 NER 一个基于Transformers的中文命名实体识别任务的示例。模型结构选择ModelForTokenClassification。数据集选择peoples_daily_ner,模型选择hfl/chinese-macbert-base。 2024-08-09 Huggingface Transformers-实战篇
HuggingFace Transformers 显存优化策略 本篇给出了占用显存的几个因素,并对应的给出了优化策略示例。 2024-07-31 Huggingface Transformers-实战篇
HuggingFace Transformers 基础组件之Trainer Trainer内部封装了完整的训练以及评估逻辑,搭配TrainingArguments可以对训练过程中的各项参数进行配置。对文本分类示例代码进行了部分优化。 2024-07-31 Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Evaluate Evaluate库包含各种机器学习模型的评估函数,可以很方便的加载各种任务的评估函数。对文本分类示例代码进行了部分优化。 2024-07-31 Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Datasets 本篇介绍了Datasets在线加载数据集、离线加载数据集的方式,对文本分类示例代码进行了部分优化。 2024-07-31 Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Model(下) 本篇给出了一个基于Bert的文本分类模型实例,涵盖了训练、验证、预测的全过程。 2024-07-26 Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Model(上) 本篇补充了transformers的背景知识,给出了现在预训练语言模型三种不同的堆叠方式及相关代表模型,介绍了model的相关参数及model head。 2024-07-26 Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Tokenizer 本篇介绍tokenizer()的基本使用方式,它主要用于数据预处理。Transformer模型不能直接处理原始文本,只接受张量作为输入。 2024-07-26 Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Pipeline 本篇介绍pipeline()的创建与使用方式,并给出了目标检测的实例代码,解析了pipeline实现的各个步骤。 2024-07-24 Huggingface Transformers-入门篇