当前位置：首页 > 网球资讯 > 正文内容

语料库-北大计算机辅助翻译原理与实践摘记

杏彩体育1年前 (2022-12-12)网球资讯23

文章完成中.

语料库地址: 经典的是 COCA等, 美国杨百翰大学语料库列表

重要章节:

- 08. 语料库检索工具 Corpus Searching Tools (06:46)09.

01. 语料库与翻译研究导言 Introduction to Corpus and Translation Research (05:20)

本节内容:

# 如何翻译"制定政策" 1. google 方法: 搜索关键字: "the government * a policy" 2. 语料库 kwic 方法(Key Word in Context) 示例杨百翰大学语料库以及英国 https://www.english-corpora.org/iweb/

02. 语料库产生的背景 Emerging Backgroud of Corpus (15:01

语料库这种想法，可以说产生的很早，因为任何人对认知总是从观察开始的，当他对现象有了一个积累之后才能升华成理性。如果想研究语言的话，显然要对语言进行观察。

那么在具体讨论语料库之前，我给出语料库的定义，请各位仔细阅读。

那么特别要注意其中画红色字体的部分，

What is a corpus?

A collection of machine-readable, authentic texts (including transcripts of spoken data) which is sampled to be representative of a particular language or language variety.

第一个，语料库一定是机读的，不是为人准备的，刚才我也说过了，因为它统计非常地繁杂，分析非常地繁杂，

第二个语料库是一个有限集合特别强调的就是语料库语言学一定是依据的是语料库的分析结果，而不是其它.

03. 语料库的发展历史 Development History of Corpus (12:33)

柯林斯词频

BNC 同时提供了搜索引擎. xaira 在网上可以获得

美国国家语料库:

http://www.americannationalcorpus.org http://en.wikipedia.ora/wiki/American National Corpus

中文语料库

计算机发展滞后

04. 语料库的概念方法及问题思考 Concepts and Methods of Corpus and Thoughts on Problems (10:18)

注意成本

语料库建设如果全凭计算机，带来的后果就是错误很多;全靠人成本太高。那么这个像杨百翰大学的语料库，就做得挺好的，诸位可以去看看。如果对于一个研究机构来说，一个网站式的这样的管理系统可能就要复杂的更多一些。比如说诸位可以看看schedule engine，它的对语料库的选择方式。

北大的中文语料库是做的最好的.

05. 语料库的优缺点 Advantages and Disadvantages of Courpus (05:58)

可以解决诸如不符合语法规则的句子, 被不同的人使用多少次后可以作为正常的使用?

所以在语料库研究，有了这样的一个支撑工具之后，有了计算机，现代计算机的强大计算能- 力之后，我们对语言的发生发展这样的一个规律性会有了更好的掌握。而语料库研究天生所具有的定量的这种特性，它必然带来科学研究的科学性。通用性就不说了，因为它是语料库本身是一种方法。那么语料库可以对任何一种子语言，比如说：某一个领域的某一个人的同一个时期所有人的，或者说特定人的，那么这一些特定的人在所有历史时期的各种各样的抽样方法。那么抽样决定了我们研究的目的，研究决定了抽样，而抽样之后，它的统计处理的方法却大致可以是相同的。带来了这种研究方法的通用性。

前面我们讨论了语料库建设所面临的一些困难，那么这些建设中的困难直接就是，也可以就认为是语料库使用上面的一些麻烦，或者说不好的地方。

06. 语料库的类型及用途 Types of Corpus and Their Uses (13:02)

语言研究必然是倒金字塔结构, 需要统计方法的支持

抽象的这种自然元处理，那么在北大的课程中呢 ,是在长虹???老师的自然语言处理

计算机辅助翻译，原理与技术，这个课程中呢去讨论的

在除了这个语料库，因为它天生的是为，是由计算机

来处理的，那么自然呢我首先讲了用语料库方法来处理自然语言处理问题，那么事实上呢语言学才是我们今天讨论的重点，那么在语言学领域语料库能做什么事呢？主要是帮助我们、支撑我们进行语言学研究，发现、验证语言学的规律、规则。语言规则的发现和验证，这里我不多讨论，那么其中这个语体的语体风格的研究，是最近大概十多年以来在很多跟我们翻译有关的一些语料库研究中间呢最重要的一个门类。

07. 语料库支持的翻译研究和实践 Corpus-based Translation Research and Translation Practice (10:31)

句对齐的语料库事实上也可以直接作为翻译记忆库

概念: 可比语料库对比.

如果我们把两种文字或者收集来的语料，都是讨论同一个领域的事情的话，或者同一个问题的事情的话，这样的语料库，双语料库，我们认为它就是一种可比语料库。

例子: 比如说有一个前辈学者，他提出来，说他在做奥运会翻译的时候，要翻译一个排球的文件。那么他本人对排球这件事情并不是很在行，他不是体育爱好者。那么就算打排球，也没有。虽然他是一个非常有成就的翻译家，但他也没有想过用英语怎么去说排球。他接到这个翻译任务之后，他首先去，在世界范围内去找排球的规则，排球的网站，讨论排球规则的网站，讨论排球战术的网站，然后把这里面的文章全部收集了下来。然后又去了中国的体育网站，把讨论中文的，中国的这个排球的术语，规则的文章都收集下来。然后他建立了一个小型的，自己的可比，排球运动的可比语料库。于是他开始进行这个翻译。那么他翻译垫球，扣球，知道这个意思，先在中文中找到这个词汇，这些词汇的意义，明白它是什么事情之后，再去阅读相关的英语文本。虽然这两种文本不是对应翻译过来的，但他依然很准确的找到了所有词汇的答案。他不需要去借助于所谓的什么体育词典，因为他觉得这些体育词典也是人编纂出来的，那么一旦出了错，他连验证的余地都没有。而从真正的排球网站上面找来的语料，找来的这些规则才是真正合理，真正最恰当的，最反应西方人是怎么使用语言来描述排球运动的这样的事情。所以他，那么这位，我相信啊，这位很有成就的翻译家，他为什么，之所以别人公认他是有成就的翻译家，和他这种工作方法也是完全分不开的。

建立一个可比语料库, 这个可以是对应的这个文本。那么如果是对应的文本，或者叫对齐的文本的话，我们管它叫做平行语料库，双语平行语料库。

1. 也就是说如果我们是篇章对齐的，就这篇文章是翻译到这篇文章，我们叫篇章对齐；

2. 如果是这个自然段对应于这个自然段是翻译过来的，那么叫段落对齐；

3. 如果要是这个句子和这个句子是对应上的，我们管它叫做句对齐的；

4. 如果要是亚句集对齐，词汇对齐，当然就做的更深入一些。

那么对我们翻译说来，句对齐的是一个比较重要的一个语料库，因为这个句对齐的语料库事实上也可以直接作为翻译记忆库存在。

对翻译过程最有用的是单语语料库

很多同学可能直觉的就认为只有双语的才能对翻译有帮助，否则我怎么去找到翻译呀？实际上不是。

基于做翻译的绝大多数都是单母语的, 外语想达到跟母语一样的表达能力，这个路还真的是很长。

那么怎么解决这个问题呢？单语语料库，更严格的说，就是诸位所不擅长的外语单语语料库。对翻译研究，或者说对翻译过程帮助是最大的，外语的单语语料库是相当重要的一个资源。

原因: 这个外语单语语料库之重要，与语料库研究方法本身的重要性是紧密联系在一起。我们一直在讨论，整个儿一节课都在跟大家反复的说，语料库是语言的一个抽样。那么语料库统计出来的结果可以用来表达这个语言，它使用的一些状况，一些规则，规律。那个语料库为我们翻译工作者提供了观察这种语言，一种特定的，比如说词汇，某一种搭配，某一种句型规则，使用的最鲜活的这些例子。那么这些语用知识的获取，有的时候是从任何一本语法书，词典中所难以取得的。那么，诸位可能不相信这一点，那么我们会用实例来向大家证明。如果有了语料库，所谓的一些辨析词典，所谓的一些语法规则书，其实都不是那么的重要了。我们可以靠自己的分析，对用语料库方法的这种统计来进行，找到答案，自行找到答案，而且速度并不慢，而且最准确，最可靠.

08. 语料库检索工具 Corpus Searching Tools (06:46)

Paraconc 对分析平行语料特别有帮助

那么Corpus Workbench是发展历史比较长，使用也有点复杂，因为它是多种语言混合编写而成的, 法国的一个教育机构, 把CWB进行了一个包装，然后推出了一个新版本，诸位也可以去搜索下，那个封装之后的版本用起来就感觉容易多了，而且很容易的就能把从一个单机版变成一个在线的版本.

国内外语料库研究学者概览:

John Sinclair, Geoffrey Leech, Douglas Biber, Mona Baker Lancaster university

Lynne Bowker, Sylviane Granger, Michael Barlow, Mike Scott

北京大学计算语言所俞士汶、詹卫东、常宝宝等上海交通大学杨惠中等

北京外国大学顾日国、王克非等.

建议大家实际去使用下语料库

09. 语料库在翻译中的作用之一 Role of Corpus in Translation-Part1 (13:56)

那么这一小节呢我想着重把它放在语料库的作用和功能上面。

语料库的检索，或者说语料库的对于语言学研究的这个帮助，

那么主要是在这个，体现在它的检索功能和频率统计，和一些这个相关性的这些计算上面。

作用:

举例: 这个有人这个被委托，这个翻译盲人的这个指引，他们是把中国这个盲人这个协助的工作交给了这个译员，然后用在一个国际化的这个活动中间。而这个译员呢没有盲目的按照中国的这个盲人这个生活指引来翻译，而是去找了这个西方的盲人协会出版的一些刊物，把他们这个西方的这个做法，这个直接拷贝，改写过来，然后提交了一份新的中文版的，这个中文的盲人工作指引，交给了这个活动的组织方，告诉他们说，这些做法才是真正可靠的。这个尊重这个文化，有文化差异的时候，如何尊重对方的这个生活习惯的。那么像这样子的译员，在我看来就属于最高阶，最有成就的这个译员了。

翻译实践可用语料库类型- 最相关的是双语对齐

1,双语对齐语料库

对齐层级:篇率、段落、句子、词组/语块、词汇句对齐话料库-翻译记忆库的主要形式

2.可比语料库

3.单语语料库

- 从更多的句子、语境中理解待翻译原文

- 从更多句子、语境及统计分析结果中选择合适的译文单语语料库是现实翻译中实践性最强的语料库, 自己需求的双语语料库几乎找不到.

单语语料库在翻译实践中的使用

英语单语语料库特点:

免费、量大、质高、检索方便,对翻译实务可用性较强

关健点:掌握语料库的检索表达式、显示、统计功能

1, 检索表达式、检索功能的运用,从翻译的需求, 转变成检索的需要,丹约束为形式化的表达

2, 显示模式的灵活运用(如果有的话) ,便于快建有效的分析和理解, 统计功能: 进阶使用,基础的数学知识+对比分析

4, 语言学家+计算语言理论+程序员》更深人的,更自动化的加工分析过程

Sketch Engine http://www.sketchengine.co.uk/

BYU语料库检索系统http://corpus.byu.edu

美国英语: COCA. COHA. TIME, google book corpus.

英国英语语料库: BYU-BNC the British National Corpus

10. 语料库在翻译中的作用之二 Role of Corpus in Translation-Part2

本节分享语料库的核心概念, 所有语料库必须拥有的功能, 也是诸位必然用到的核心的关键点检索范围(原数据来源的时间,地点,文章, 杂志,书籍)词频 (涉及统计学的规划问题)下一个概念是所谓的共现检索表达式的构建

示例杨百翰以及 sketch engineer 的一些截图.

11.

http://corpus.byu.edu 会自动跳转到杨百翰大学扩展语料库,

选择 Browse:

输入 fight, 点击回车即可.

点击动词的 fight, 或者名词的 fight, 得到 kwic 显示的方式:

12. 专题1：在检索中使用高级检索式 Special Topic1: Advanced Search Formula

语料库查询语法查询页面-CQP syntax链接为语法 pdf 文档

可以使用 ? 和 *号等通配符

比如 c?t, su星号 t.

fight against星号, 能看到这个词组后面长跟的是哪些变化.例如查询以 .And 开头的

3. 输入 [fight] 可以查询到所在的动词形态

4. 查询近义词 [=fight], 当时出现共 29 个结果, 只取频率大于五万的词汇.

需要注意的是, 这里的单词并不能完全取代, 比如 box 是因为取拳击的意思所以出现在这里.

5. 从 fight 的近义词 box 中筛选 verb, 应该是付费用户可以查询

在查询页面左侧选择动词这个选项即可.查看它的使用语境,发现 quick 区给出的语句其实是 box 的全部词义,大量的结果是 box "盒子"相关的意思如果我们只想查看 box 做动词的意思,应该怎么做呢?这就涉及到左侧检索区选择词性的功能单击 part of speech list 本身,显示出一个下拉菜单, 再次单击可以将它隐藏起来,这个菜单的内容是各种各样的词性单击它右侧的问号,右下区域显示出帮助信息, 单击这里的超链接,在新页面中就可以查看全部的标签集, 例如我们看到 ing 分词的标签是 vvg 现在我们回到检索界面,我们来搜索方括号 vvg, 单击 search,看到的结果都是动词的现在分词英语中最常用的现在分词是 going,注意一点通配符星号也可以使用在这里,例如我们把检索表达式换成了方括号 v 星号, 这就可以代表标签集页面下面所有 v 开头的标签, 也就是说检索所有的动词然后回到检索界面,单击 search,看到搜索结果是各种形态下的动词

变通的方法: 在 search 界面, 选择 brows 选项查询单词, 然后可以看到 box 查询出的词性 verb

6. 查看词性缩写列表:

语料库标签集链接

7. 搜索所有 ing 的动词, 标签使用 vvg

在搜索框 list 中输入 [vvg]

8. 查询 box 的所有动词形态

# 在搜索框中输入 box.[v*] ## 把所有的动词形式都包含在内.

9. 如果想形容一个人的眼睛, 看看有哪些形容词

1. 先查询缩略语表, 发现所有的形容词都是以 j 开头的 2. 因此输入以 j 开头的所有词性 [j*] eyes

9.1 选中部分形容词 blue, brown, dark 观看语境

只需要玄宗多项, 点击 context 按钮即可.

9.1.2 使用命令行与查询, 效果与 9.1 中的鼠标选中效果相等

black|blue|green eyes

9.1.3 使用命令行非查询

pretty -[nn*] ## 查询所有 pretty 修饰的词汇, 排除所有的名词. 可以看到结果为 pretty much, pretty well 等.

13. 专题1：BYU中的COLLACATES Special Topic1: Introduction to COLLOCATES in BYU Corpus (09:20)

BYU 中的 Collacates 如何选择-官方视频链接

概念: 语料库中的collocates

在语料库语言学中 collocation 是指两个单词以高于偶然的概率共同出现，通俗地讲我们可以理解为所谓的搭配.

本节将略过, 因和主题相关度不大.

几个点:

collocates 的选项是在 browse 选项后的加号+ , 点击之后才会出现.

Collocates 查询示例 1

1. 本次搜索的目的是找出 into v.ing 的所有搭配.

2. [v?g*]表示所有的 ing 动词形态

3. 数字表示在 into[]这个选项之前的所有 4 个单词范围之内. 后面的 0 表示只查看出现在它之前的词.

4. relevance 表示相关度排序. 大意应该是和 into v..ing 可以组成固定搭配的所有选项.

5. 没有标记出来的 Minimum 排序默认会选择 MI 大于 3 的值.

6. 上图中 sorting 的选项 Relevance 非常重要, 大致示意是决定词语搭配是偶然出现, 还是属于英语的固定搭配的标准.

Collocates 查询示例 2

01234 表示只查询 figh + [] 之后的词Sorting 的 Alphabetical 表示按照字母排序Minimum 选择 Frekquency,并且值为 10. 表示选择最小选择词频为 10 的单词.

14. 专题1：Compare视图 Special Topic1: Display format COMPARE and the Comparative Function (09:10)

查询界面中, 浅灰色的 POS 是词性, 选中以后会自动标记词性. POS意思是 postion list.

如何查询一个单词的单独词性

方法: 关闭附加选项中的 Group BY. 选择 NONE

结果共 43 个词性, 见下图. 通过英国兰卡斯大学词性对照表对照查看所需的词性.

Grouped By 选择 Lehmans 按照词目分类.出现所有词性的用法

示例使用动词 swim.

数据统计的呈现结果

Raw Freq 是在语料库中出现的频数

PER MIL 是每百万字出现的频数

带加号 + 的选项都表示两个全部显示, 不过是哪个那一项在前面显示不同而已.

#### kwic 模式下颜色区分单词词性

在KWIC 查询结果页面右上角的 RE-SORT后的问号, 点击可以查询词性.

#### 查询结果前后单词的次第排序

查询 kwic 模式的 fight

查询结果是以上面为准, 显示为 fight 右边的第一个单词为第一排序, 第二个单词为第二排序,

第三个单词为第三排序.

查询次数到了, 明天截图. 按照左边还是右边排序, 如何排序, 结果是可以更改的.

Video: Lecture15. 专题1：BYU语料库中的高级设置 Special Topic1: Advanced Settings in BYU Corpus (05:16) [ac]

对比 fast 和 quick 两个单词的区别

图片中的选项:

1. 在 fast 和 quick 后跟一个名词.

2. 尽量选择 relevance 选项, 这个是最常用的单词排序

查询结果示意

表头出现的 FAST 数值 1.28 和 Quick 数值 0.78, 表示它们各自在语料库出现的频率数量比值

也就是说 fast 是 quick 的 1.21 倍, 反过来, quick 是 fast 的 0.78.第一列 W1 是 word 搭配单词出现的频率, 比如 fast food 出现了 3454 次. W2是 quick 搭配出现的频次, 可见 quick food 几乎没人用.第三列 w1/w2 是 w1 除以 w2, 表示word 1 比 word 2 的使用频率高低比, 越大说明用的越多第四列 Score 分值是第三列 w1/w2 的值除以 1.28(或者 0.78), 表示一个单词超出平均差距的程度. 越大说明这个单词更加倾向于被 fast 修饰.搜索结果通过颜色来区别使用倾向, 比如绿色表示强势, 接近白色表示二者半斤八两

示例 hard 在Magazine 和 Academic 中,倾向于形容什么单词

注意: section 不要打钩

搜索结果如下:

Green 修饰的名词, 在 1990-1999 和 2000-2009 这两个十年间发生了什么变化

结果如下:

Video: Lecture16. 专题1：若干范例作回顾 Special Topic1: Some Examples as Review (04:58) [se]

# 作业1: 检索 strike 作动词出现的情况 strike.[v*] # 作业2: 检索 strike 所有动词形态的情况 [strike].[v*] # 作业3: 检索 beat 动词的近义词的情况 [=beat].[v*] ## output: 1 HIT [S] 150948 2 BREAK [S] 73025 3 BEAT [S] 61601 4 OVERCOME [S] 20061 5 STRIKE [S]