第277章 比骄傲更重要的（2/3）

认识的。

一个相关领域的博士居然还有此前没认识到位的东西？

听起来似乎有些不可思议，但事实如此。

正所谓闻道有先后，术业有专攻。

一时的落后于人也没什么不可承认的。

而且尹芙·卡莉敢肯定她这种情况绝对不会是孤例。

尹芙·卡莉觉得林灰所补充的内容未必只是她本人没想到。

很多其余的研究者或许也是没想到的。

林灰提出的一些新的见解不止是相对于传统的文本摘要这方面的研究

甚至是对于整个nlp方向来说林灰鼓捣的东西都可以称得上是全新的思路。

反正尹芙·卡莉是觉得这些思路很奇妙，甚至有可以让人有一种醍醐灌顶之功效。

之所以会有这样的功效，很大程度上是因为在此之前多数文本摘要的研究人员都是研究抽取式文本摘要的。

抽取式文本摘要和生成式文本摘要虽然都是文本摘要。

但从前者到后者的转变涉及到一个思路上转换的过程。

很多时候多数传统文本摘要方面的研究人员亦即研究抽取式文本摘要的研究人员受先入为主的影响对生成式文本摘要认识不到位也是常有的事情。

举个例子，就比如说林灰在搞定生成式文本摘要时所提出的预训练。

按说，这个东西并不算什么高深的概念。

所谓的预训练倒是不难理解，无非就是对训练模型的数据进行粗处理而已。

但这玩意就比较难想到。

以前尹芙·卡莉在进行抽取式文本摘要这方面的调校时候就没用到预训练。

多数情况下都是直接进行训练的。

而没有应用预训练这一步骤。

按照林灰在论文中进行的补充。

预训练的通常做法一般是将大量低成本收集的训练数据放在一起。

而后以某一种或者某一类特定预训方法去学习这些训练数据其中的共性。

然后将其中的共性移植到特定任务的模型中。

再使用相关特定领域的少量标注数据进行更细致的调校。

完成这一过程之后，今后用于实际应用的模型模型只需要从共性出发。

再去学习特定任务的特殊部分即可。

大概类似于对于部分方程先求通解再去找特解的过程。

听起来似乎蛮抽象的。

实际上也没多么高深。

涉及到机器学习这方