剩饭炒炒还能吃——chatGPT
想必各行各业的大家对 chatGPT 都有所耳闻了吧。有拿它编论文的有拿它写剧本的有拿它改代码的，还有打算拿它代替搜索引擎的，总之被玩出了花。谁看了不惊呼机器早晚反抗人类暴政呢？
聪明的你是否会好奇这背后藏着么大秘密？为什么她会有如此惊人的效果。
顾名思义，chatGPT由两个部分组成，chat和GPT。看到这里，读者想必有了一些猜测。没错，chat是它的训练手段，GPT是它的本质。
那么什么是GPT呢？GPT是一个语言模型，它的初代诞生时间稍早于BERT，然后在之后的很长一段时间内被BERT掩盖住了光芒。原因大概是不管GPT几，对于一般人来说train起来实在是太困(烧)难(钱)了。GPT和BERT一样，都是基于Transformer的，不同的地方在于前者是用decoder train的，后者是用encoder train的。因为encoder和decoder看到的序列的差异导致了decoder train起来更难一些，但是一旦train好的话上限其实是更高的。
再简单说一下语言模型的运作方式，就是你先喂一小段文字进去，模型会根据你喂进去的文字去预测下一个最有可能出现的词(token)，再把这个词跟之前的文字一起喂进去，吐出下一个最有可能出现的词。就这样一直循环。所以理论上你让它吐得越多它就会越离谱……
所以你以开始喂进去的那一小段话我们就可以把它叫做prompt，提示语。模型在做的事就是不断地续写。根据prompt的类型的不同，续写的内容可以是问题的答案，也可以是一个命题作文。
然后就到了chat的部分。openAI应该是专门写了一个chatbot用来给数据标注人员做交互。可能这样比较有参与感，写出来的语料质量也更高吧。整个训练过程叫做Reinforcement Learning from Human Feedback (RLHF)，由3个步骤组成：
-第一步是准备一个prompts的数据集，标注人员给prompts写desired outputs，模型也会产生一些辅助的outputs给人修修改改。用这样的prompts-outputs数据对就可以先finetune一下GPT了。
-第二步：经过第一步之后模型已经能吐出一部分回答了，但是不是所有的回答都特别理想，这时候标注人员可以对拿到模型对同一个prompt生成的不同回答打分。根据prompt-output-score这样的数据，又可以train一个reward model（RM）来代替人工打分的这个过程。
-有了自动生成答案和自动打分的模型之后我们就可以让语言模型自己去优化了，这就是第三步。这是一个强化学习的过程，目标是让RM打的分越高越好。
总结一下，GPT这样的模型想要train到一个比较好的程度，本身就需要海量的数据和机器。再加上设计得比较精妙的训练过程和产生高质量训练数据的方式，两者一结合就达到了非常惊人的效果。他们十个月之前做的InstructGPT虽然训练过程也大差不大但是缺了个chatbot所以导致labeler标数据标得太枯燥了，质量不佳，产量也不佳，所以模型效果也就一般般了（无端猜测）。有钱真好啊……
================
Ref:
https://openai.com/blog/chatgpt/
@fluecarrier 求教下象友，謝謝` 
如下這位象友貼出來的和ChatGPT的聊天，ChatGPT能回答史料類的知識問題，應該説明它有個可以檢索和訪問的數據庫吧？（畢竟純知識點問題，不可能經過邏輯推演獲得結果
https://m.cmx.im/@zshowing/109478116068849796
可是我直接詢問ChatGPT關於它可以訪問和調用數據庫的問題，它說只是一個運算程式，不具有數據庫。
https://m.cmx.im/@lutetium/109489054900189631
這是ChatGPT開發者寫的代碼有問題，導致AI發生了自相矛盾矛盾和欺騙嗎？
@lutetium 不是的，是用来训练模型的数据里包含了类似这样的内容，它是可以根据上文去猜测后面最有可能出现哪些内容，并不需要通过检索，它做的就是续写而已。
训练好之后可能只有参数没有完全原本的内容了 只能重新生成 生成的只会是新的不会是原来的
我猜的
