当前位置:首页 > 乒乓球资讯 > 正文内容

中文自然语言处理时,英文单词和数字怎么处理?

杏彩体育1年前 (2022-12-23)乒乓球资讯23

这是一个基础的工程性问题。

目前所有的中文自然语言处理任务大致可以归结为「分」、「抽」、「审」、「写」。

「分」指词法分析(Lexical Analysis)、句子分析(Sentence Analysis)、语义分析(Semantic Analysis)、文本分类(Text Classification)、文本聚类(Text Clustering)。

「抽」指信息抽取(Information Extraction)。

「审」指文本纠错(Text Correction)、文本比对(Text Comparison)。

「写」指文本生成(Text Generation),机器翻译(Machine Translation)。

那么,主要在文本纠错、文本分类、文本聚类中需要对英文单词和数字处理。

在文本纠错中,实际需要对英文单词和数字处理,检查日期、单词拼写,这些可以借助正则表达式和词典等方式来处理。

在文本分类中,对于短文本分类,可以选择保留,用于提供额外的文本特征。

对于长文本分类,需要结合实际情况,例如在预测案件的刑期中,可以将涉案金额按照刑法中的规定进行归一化,譬如小于1千元的归一化到「_1000_」,大于1千元小于2000的归一化到「2000_」,英文单词可以直接归一化为「_E_」。

在文本情感分类中,则需要将英文单词保留,像sad,happy这类词和任务相关。

在文本聚类中与文本分类的处理方式类似。

扫描二维码推送至手机访问。

版权声明:本文由财神资讯-领先的体育资讯互动媒体转载发布,如需删除请联系。

本文链接:http://www.tengj.cn/?id=17354

分享给朋友:

“中文自然语言处理时,英文单词和数字怎么处理?” 的相关文章

从“翻译大国”到“翻译强国”翻译专业学位博士培养标准正在抓紧研究制定

从“翻译大国”到“翻译强国”翻译专业学位博士培养标准正在抓紧研究制定

年会现场。 上海外国语大学供图   中新网上海11月26日电 (记者 许婧)记者从26日在沪举行的全国翻译专业学位研究生教育2022年年会上获悉,全国翻译专业学位研究生教育指导委员会(以下简称“教指委”)正抓紧研究制定翻译专业学位博士培养标准。   当天,由“教指委”和中国...

接发球|不可不读!专业乒乓球队的接发球秘籍

接发球|不可不读!专业乒乓球队的接发球秘籍

  在乒乓球比赛中,接发球往往被视作比较被动的环节。即使在采取无遮挡发球规则后,接发球的一方仍然有如覆薄冰的感觉。是后发先至还是先机尽失;是以静制动还是受制于人,很大程度上取决于运动员二、四板衔接严谨与否。本文就发球的每个环节通过一定的科研手段对国内外高水平的技术分析研...

全国少年乒乓球锦标赛落幕!5项冠军名花有主,小荷才露尖尖角

全国少年乒乓球锦标赛落幕!5项冠军名花有主,小荷才露尖尖角

全国少年乒乓球锦标赛(11.17-24)今天在辽宁沈阳落下了帷幕,本次赛事共设五个项目:男子团体、女子团体、男子单打、女子单打、混合双打。 全少锦由乒协主办,针对的是年龄11-15岁的少年,属于国内少年乒乓球最高水准的比赛,更是关系到国乒未来之星的选拔赛。 经过8...

省第十二届残运会|乒乓球比赛开赛

省第十二届残运会|乒乓球比赛开赛

打开凤凰新闻,查看更多高清图片...

8月乒乓球女单世界排名,孙颖莎冲进前10,刘诗雯名次下滑

8月乒乓球女单世界排名,孙颖莎冲进前10,刘诗雯名次下滑

2019年8月1日国际乒联公布八月份女子单打世界排名,中国小将孙颖莎职业生涯第二次冲进世界前十名位列第七,因腰伤没有参加T2的刘诗雯名次下滑至第五名。这样中国乒乓球女队选手共有六人进入世界排名前十,随着孙颖莎不断...

乒乓球女单5月世界排名,中国继续包揽前5,朱雨玲与队友差距拉大

乒乓球女单5月世界排名,中国继续包揽前5,朱雨玲与队友差距拉大

随着4月份的世乒赛大幕落下,国际乒联也随后发布了五月份最新女单世界排名。中国队再次包揽世界排名前5位,显示出强大的统治力。世乒赛刘诗雯、陈梦、丁宁、王曼昱胜利包揽前四名,她们也是最新女单世界排名的前四位。...