自然语言处理

  • NLP基础
    • NLP概述
    • NLP环境
    • NLP流程
  • NLP语料库
    • 语料库概述
    • 语料库分类
    • 语料库获取
  • NLP文本预处理
    • 概述
    • 分词
    • 词表示
  • NLP传统序列模型
    • RNN模型
    • LSTM模型
    • GRU模型
    • 综合案例
  • NLP序列到序列模型
    • Seq2Seq概述
    • Seq2Seq结构
    • Seq2Seq训练
    • Seq2Seq案例
  • NLP注意力机制
    • 注意力机制概述
    • 注意力机制原理
    • 注意力评分函数
    • 注意力机制案例
  • NLP变换器模型
    • Transformer概述
    • Transformer架构
    • Transformer编码器
    • Transformer解码器
    • Transformer训练
    • Transformer语法
    • Transformer案例
  • NLP预训练模型
    • 预训练模型概述
    • 预训练模型分类
    • GPT预训练模型
    • BERT预训练模型
    • T5预训练模型
    • 预训练模型案例

1 自然语言简介

自然语言指人类日常使用的语言,如中文、英文等。


2 自然语言处理简介

自然语言处理(全称Natural Language Processing, 简称NLP),旨在使计算机能够理解、处理和生成人类语言。


3 自然语言处理目标

(1) 理解:让计算机能够理解人类语言的含义
(2) 处理:对文本和语音进行分析、转换和操作
(3) 生成:让计算机能够产生自然、流畅的人类语言
注意:NLP目标是实现人机之间的自然语言交流。


4 自然语言处理发展


5  自然语言处理应用

(1) 文本分类:对整段文本进行判断或归类,常见应用:情感分析(判断评价是正面还是负面)、垃圾邮件识别、新闻主题分类等。


(2) 序列标注:对一段文本中的每个词或字打上标签,常见应用:命名实体识别(找出人名、地名、手机号码等)。


(3) 文本生成:根据已有内容生成新的自然语言文本,常见应用:自动写作、摘要生成、智能回复、对话系统等。


(4) 信息抽取:从文本中提取出结构化的信息,常见应用:给出一段文本和一个问题,从中抽取答案。


(5) 文本转换:将一种文本转换为另一种形式,常见应用:机器翻译,摘要生成等。