迪伦·帕特尔、杰拉德·黄2023/7/11揭秘GPT‑4：导致OpenAI架构的工程权衡。www.semianalysis.com/p/gpt‑4‑architecture‑infrastruction数据集、成本、愿景、MoEGPT‑4架构、基础设施、培训如果您将前往夏威夷参加ICML，请告诉我们，我们一起出去玩吧！在过去的6个月里，我们意识到培训成本无关紧要。我们从许多来源收集了大量有关GPT‑4的信息，今天我们想分享一下。这包括模型架构、训练基础设施、推理基础设施、参数计数、训练数据集组成、令牌计数、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实施技术以及它们如何减轻一些问题他们最大的瓶颈与巨型模型的推理有关。请参阅我们在GPT‑4公告之前关于即将推出的AI砖墙的培训成本讨论从训练成本的角度来看，对于密集模型。在那里，...