第278章 当之无愧的强者（2/3）

按照林灰在论文中补充内容进行的阐述。

传统的训练机制下，文本摘要模型的产生思路是：

语料训练→模型

而按照林灰的思路引入预训练机制后。

文本摘要模型的产生思路是：

语料预训练→预训练模型→微调→模型

这个思路的本身是没问题的。

但尹芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。

具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率？

什么样的预训练模型才是预训练的目标？

对于预训练模型的“微调”究竟应该如何理解呢？

前两个问题是就林灰鼓捣的理论而产生的疑问。

第三个问题是因为语言方面的阐述而产生的一些疑问。

尽管尹芙·卡莉最近在向米娜·卡莉努力地学习汉语了。

但汉语显然并不是短时期内能够速成的。

对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢？

只是一点点小小的调整么？

还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。

尹芙·卡莉觉得应该是后者。

不太可能是微小的调整。

为什么尹芙·卡莉这样想呢？

尹芙·卡莉觉得涉及到文本摘要方面的模型往往都是极其复杂的。

一个正式模型所涉及到的参数都是极其繁多的。

更何况是预训练产生的预训练模型呢？

这种先于正式模型产生的粗模型可能参数要更加复杂。

当然，这只是尹芙·卡莉的一点猜测。

涉及到这些问题只有林灰本人才可能有真正的答桉。

自从来到林灰的身边之后。

原本尹芙·卡莉以为自己的问题会逐渐变少。

但实际却是问题愈发变得多了起来。

至少刚才的那几个问题在美国的时候尹芙·卡莉就从来没疑惑过。

但对此尹芙·卡莉并没有灰心丧气。

科研方面从来都是提出问题比解决问题更重要。

尹芙·卡莉很清楚，虽然此时她的疑惑比在美国时候的疑惑还要多。

但这无关紧要，至少她现在提出的问题相比于以往那些问题现在才更接近技术的本质了。

而这就是学术方面的成长。

尹芙·卡莉也不是一无所获。