卷卷
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  • 六楼
Transformers PEFT库支持的高效微调方法介绍

Transformers PEFT库支持的高效微调方法介绍

本篇是对于主流参数高效微调(PEFT)方法的简要介绍,包含简单的代码实践。涉及到的方法有BitFit、Prompt-Tuning、P-Tuning、Prefix-Tuning、LoRA、IA3、Adapter。
2024-10-21
Huggingface Transformers-实战篇
基于 Transformers 的 NER

基于 Transformers 的 NER

一个基于Transformers的中文命名实体识别任务的示例。模型结构选择ModelForTokenClassification。数据集选择peoples_daily_ner,模型选择hfl/chinese-macbert-base。
2024-08-09
Huggingface Transformers-实战篇
HuggingFace Transformers 显存优化策略

HuggingFace Transformers 显存优化策略

本篇给出了占用显存的几个因素,并对应的给出了优化策略示例。
2024-07-31
Huggingface Transformers-实战篇
Python nlp 简单的数据处理

Python nlp 简单的数据处理

简单总结一些常见的数据预处理、词性标注方式。
2024-07-31
NLP
HuggingFace Transformers 基础组件之Trainer

HuggingFace Transformers 基础组件之Trainer

Trainer内部封装了完整的训练以及评估逻辑,搭配TrainingArguments可以对训练过程中的各项参数进行配置。对文本分类示例代码进行了部分优化。
2024-07-31
Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Evaluate

HuggingFace Transformers 基础组件之Evaluate

Evaluate库包含各种机器学习模型的评估函数,可以很方便的加载各种任务的评估函数。对文本分类示例代码进行了部分优化。
2024-07-31
Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Datasets

HuggingFace Transformers 基础组件之Datasets

本篇介绍了Datasets在线加载数据集、离线加载数据集的方式,对文本分类示例代码进行了部分优化。
2024-07-31
Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Model(下)

HuggingFace Transformers 基础组件之Model(下)

本篇给出了一个基于Bert的文本分类模型实例,涵盖了训练、验证、预测的全过程。
2024-07-26
Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Model(上)

HuggingFace Transformers 基础组件之Model(上)

本篇补充了transformers的背景知识,给出了现在预训练语言模型三种不同的堆叠方式及相关代表模型,介绍了model的相关参数及model head。
2024-07-26
Huggingface Transformers-入门篇
HuggingFace Transformers 基础组件之Tokenizer

HuggingFace Transformers 基础组件之Tokenizer

本篇介绍tokenizer()的基本使用方式,它主要用于数据预处理。Transformer模型不能直接处理原始文本,只接受张量作为输入。
2024-07-26
Huggingface Transformers-入门篇
12

搜索

Hexo Fluid
总访问量 次 总访客数 人