ChatGPT 从网络、书籍等来源获取大量人类创作的文本样本进行训练，其神经网络由简单元素组成，虽操作简单，但包含数十亿个元素和 1750 亿个连接及权重。每次生成新 token 时，都需进行涉及所有权重的计算，可在 GPU 上高度并行完成，但生成长段文本仍需时间。
ChatGPT 最终从积累的“传统智慧统计数据”中提取“连贯的文本线索”，其生成的文本结果非常接近人类所产生的。这表明人类语言及背后思维模式的结构比想象中更具“法律属性”，ChatGPT 已隐含发现，或许我们能通过语义语法、计算语言等明确揭示。
ChatGPT 的基本人工神经网络结构基于大脑的理想化模型，人类生成语言时的许多方面与其工作可能相似。但至少在能使用外部工具之前，ChatGPT 只是提取文本线索，且目前没有“终极理论”能预见其设计对自然语言问题必然有效，不过它在生成语言方面确实表现出色，这可视为一项潜在惊人的科学发现。
