第169章 你渴望推开那扇门么(6)（1/5）

在尹芙·卡莉陈述完成后。

林灰领略到了她的意思。

不过却并没有正面回答尹芙·卡莉的问题。

而是反问尹芙·卡莉：“关于使用向量介入进行语义文本相似度计算你怎么看？”

虽然这是林灰在这次交流中提出的第一个问题。

但这个问题让尹芙·卡莉多少有点措手不及。

尹芙·卡莉不太清楚林灰为什么提出这个问题。

莫非可以不依靠向量来进行语义文本相似度计算吗？

可这怎么能做到呢？

机器识别文本时为了要机器识别自然语言，往往将自然语言数值化。

而将这些数值进行属性区分则必须进行向量化。

这种方法已经有很长时间历史了，尹芙·卡莉记得在1977年这个时空就有研究人员首次提出向量空间模型v了。

一经提出这种研究方法就比较受欢迎。

虽然很快这种方法就被发现了有不小的漏洞。

利用v方法的话，当文本量很大时，生成的文本向量是非常稀疏的，这就导致了空间和计算资源的浪费;

另外v为达到简化模型的效果忽略了词语间的关系，而在很多情况下词语之间是存在联系的，因此简单地认为词语间相互独立是不合理的。

尽管有着明显的漏洞，但在之后近四十年的历史中，人们仍然要引入向量进行语义文本相似度分析。

以尹芙·卡莉先前的团队，虽然他们在先前用的是基于网络知识计算文本相似度的方法。

但本质上也只是将wk百科中的网页内容映射为高维向量，

再通过基于向量空间的方法进行语义文本相似度计算。

可以说依旧没能离开向量空间的壳子。

虽然四十年后，当年遇到的所谓的“空间和计算资源浪费”某种程度上可以通过硬堆计算力可以暴力解决。

但这仅仅是能解决当年遇到的难题而已。

现在文本处理时面对的信息量复杂程度和当年完全不可同日而语。

此时的向量化面对着全新的困难——维度爆炸！

维度灾难又名维度的诅咒是一个最早由理查德·贝尔曼在考虑优化问题时首次提出来的术语，用来描述当数学空间维度增加时，分析和组织高维空间通常有成百上千维，因体积指数增加而遇到各种问题场景。

当在数学空间上额外增加一个维度时，其体积会呈指数级的增长。

这样的难