第395章 会议结束（1/2）

trasforr在不断的学习中能知道文本中某个词与其他词的关联性有多强，然后注意到文本中最重要的部分。

trasforr具体该如何实现呢，其实没有想象中的难。

两个核心组成部分就是编码器和解码器。

编码器首先会把输入的文本转化为toke，这是模糊处理文本中的最小单元，类似于一块拼图。

每个被拆分的toke会用一串数字表示，也就是tokeID。

因为计算机只能处理数字，所以必须要进行这一步。

文本的词转化为toke后，编码器会继续把每个toke用向量来表示，向量包含了toke的语法、语意，相当于给每个toke一个多维空间坐标。

相似的词在向量空间中的位置更加接近，会有利于模型用数学方式计算两个坐标之间的距离，从而捕捉到两个词是否相似，相似在哪里。

值得一提的是，这个向量空间的维度特别大，GPT-3的向量空间维度是12288，而我们身处的只是三维空间而已……

有了坐标，就要对向量进行位置编码，也就是把词向量和坐标向量相加，再把结果交给解码器。

这样，解码器就能明白文本中每个词的意义还能知道这些词在文本中的位置顺序。

而解码器在明白了这一点后，利用注意力机制捕捉文本中最关键的核心，然后根据上下文不断的调整各个词的向量。

一个简单的例子，“人要是行，干一行行一行，一行行行行行。”（有兴趣的同学可以用起点的读书功能试试这句话有没有读对。）

这时候解码器就必须利用注意力机制，不断的调整每个“行”的向量，才可能得到最正确的结果。

从解码器开始，就必须通过一系列办法到最终的输出结果了。

输出虽然是一个非常复杂的过程，但本质上还是概率的问题。

既然是概率，那就存在有可能不符合事实的可能性，比如典型的胡言乱语，这就需要后续不断的强化学习，来逐渐提升AI的能力。

从trasforr到chatGPT，中间最重要的就是训练过程。

chatGPT是一种自监督模型，给它答案，它自己根据输入调参，直到达到想要的答案。

训练过程往往是你问它“1+1等于几”，正确答案是2，如果它回答的不对，那就一直重复训练，直到它回答了正确的答案。

当接受的参数足够多，他会根据权重去做出最标准的回答和方案。

问题和答案统称为训练集，当这种训练集大到无法形象的程度，比如亿这个单位后，就有了这个逆天的人工智能。

但这也证实了目前为止的人工智能的确是没有感情的，一切为了最正确的概率。

如果按照这个方向继续下去，比如世界末日真的要来了，可能真的会发生电影中那种为了人类这个种族的延续，发展出机械生命或者选择牺牲大部分人类这种结果。

……

文韬抛出方向，当然不会连trasforr一起抛出，这是大语言模型最根本的东西。

鲍尔继续发问：

“文，这个方向的确十分诱人，但问题是，黑洞有实现的架构了吗？”

“当然没有，如果有的话，黑洞即便是砸锅卖铁，也会去实现的。要实现大语言模型乃至于真正的AI聊天机器人，需要资金、人才以及大量的时间，黑洞只能说有了某种架构的方向。”

鲍尔倒吸一口凉气，黑洞这是要逆天？

AI识图也就算了，结果今天他说已经有了实现大语言模型的架构方向？

本章未完，点击下一页继续阅读。