人工智能领域常见名词解释

830次阅读
没有评论

共计 2118 个字符,预计需要花费 6 分钟才能阅读完成。

常见名词

Tokenization

人工智能领域的 Tokenization 是指将输入的文本分割成一个个最小的语义单元,也叫做 token 或者词元 [1]。这是为了方便后续的数据处理和模型计算。不同的语言和任务可能需要不同的 Tokenization 方法,比如英文可以按照空格来分割单词,中文则需要用一些分词算法来划分词语。Tokenization 的难点是如何平衡词表的大小和语义的表达能力,以及如何处理生僻词和歧义问题 [2]。目前有三种主流的 Tokenization 方法,分别是基于词粒度、基于字符粒度和基于子词粒度的方法 [3]

P-Tuning

P-Tuning 是一种用于提升超大规模语言模型下游能力的方法,它通过使用连续的向量来替换离散的 token,构建一个可训练的模板,然后利用少量的标注数据来优化模板的参数。这样可以发现更适合下游任务的模板,而不受语言模型词表的限制。P-Tuning 在 SuperGLUE 等 NLU 任务上取得了很好的效果,甚至超过了同等级别的 BERT 模型 [4][5]

Fine-Tuning

Fine-Tuning 是一种迁移学习的方法,它指的是在一个预训练的模型的基础上,对模型的部分或全部参数进行微调,以适应新的任务或数据集。Fine-Tuning 可以利用预训练模型已经学习到的知识和特征,提高模型的性能和泛化能力。Fine-Tuning 的难点是如何选择合适的层和参数进行微调,以及如何避免过拟合或欠拟合。Fine-Tuning 在图像分类、自然语言处理等领域都有广泛的应用 [6][7][8]

Transformer

Transformer 是一种基于自注意力机制的神经网络模型,它可以用于机器翻译、文本生成、语言理解等自然语言处理任务。Transformer 不使用传统的循环神经网络或卷积神经网络,而是完全依赖自注意力来计算输入和输出的表示。Transformer 由编码器和解码器两部分组成,每部分包含多个模块,每个模块又包含多头自注意力、前馈神经网络、残差连接和层归一化等组件。Transformer 在 2017 年由论文《Attention is All You Need》提出,开创了自然语言处理的新时代 [9][10][11][12]

Pretraining

Pretraining 是一种机器学习的方法,指的是先用一个大规模的数据集或任务来训练一个模型,然后用这个模型的参数或部分参数来初始化另一个模型,以提高后者在新的数据集或任务上的性能。Pretraining 可以利用已有的知识和特征,加速模型的收敛,提高模型的泛化能力,节省计算资源。Pretraining 常用于深度学习领域,尤其是自然语言处理和计算机视觉领域 [13][14][15]

pipeline

人工智能领域的 pipeline 是指将一个人工智能任务分解为多个步骤,并将这些步骤按照一定的顺序连接起来,形成一个自动化的流程。pipeline 的目的是简化和优化人工智能的开发和部署,提高效率和性能 [16][17]

人工智能领域的 pipeline 一般包括以下几个步骤:

  • 数据准备(Data Preparation):收集、清理、标注和划分数据,使其适合后续的处理和分析。
  • 特征工程(Feature Engineering):从原始数据中提取、选择、构造和提取有用的特征,增强数据的表达能力和可区分性。
  • 模型生成(Model Generation):选择或搜索合适的模型结构,并设置或优化模型的超参数,如学习率、批量大小等。
  • 模型评估(Model Evaluation):使用测试数据或其他指标来评估模型的性能和泛化能力,如准确率、召回率、F1 值等。
  • 模型部署(Model Deployment):将训练好的模型部署到实际的应用场景中,如云端、边缘设备等,并进行监控和更新。

资料推荐

  1. NLP 领域中的 token 和 tokenization 到底指的是什么?
  2. NLP 中的 Tokenization.
  3. 6 种 Tokenization 的独特方法 .
  4. P-tuning:自动构建模版,释放语言模型潜能.
  5. GitHub – THUDM/P-tuning: A novel method to tune language.
  6. Fine-tune a pretrained model – Hugging Face.
  7. Transfer learning and fine-tuning | TensorFlow Core.
  8. Fine-tuning 是什么意思?
  9. Transformer 模型详解(图解最完整版)
  10. Transformer – Wikipedia.
  11. Transformer – Definition, Types, Working Principle, Diagram.
  12. 详解 Transformer(Attention Is All You Need)
  13. What Does Pre-training a Neural Network Mean? – Baeldung.
  14. 预训练(pre-training/trained)和微调(fine-tuning)
  15. 使用 Pre-training 的方法與時機 | by Jia-Yau Shiau | 軟體之心 ….
  16. 机器学习 tips:什么是 pipeline?
  17. AI 综述专栏 | AutoML 自动机器学习:最新进展综述.
正文完
 0
历史的配角
版权声明:本站原创文章,由 历史的配角 于2023-07-03发表,共计2118字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)
验证码

您无法复制此页面的内容

了解 未来日记 的更多信息

立即订阅以继续阅读并访问完整档案。

Continue reading