ChatGPT各项能力的起源最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是我们自然就有一个问题：ChatGPT是怎么变得这么强的？它的各种强大的能力到底从何而来？在这篇文章中，我们试图剖析ChatGPT的突现能力（EmergentAbility），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明GPT-3.5模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。我们希望这篇文章能够促进大型语言模型的透明度，成为开源社区共同努力复现GPT-3.5的路线图。致国内的同胞们：在国际学术界看来，ChatGPT/GPT-3.5是一种划时代的产物，它与之前常见的语...