6月19日消息，据“中国电信”官微发文，中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T，成为国内首批发布稠密万亿参数大模型的机构。
面对大规模模型训练过程中算力消耗巨大的挑战，TeleAI与智源通过深入研发，结合模型生长和损失预测等关键技术，成功推出了Tele-FLM系列模型。这一系列模型在算力资源的使用上，仅消耗了业界普通训练方案的9%，展现出极高的算力能效。
通过使用112台A800服务器，TeleAI团队在仅仅4个月的时间内成功完成了3个模型的训练，总计训练了2.3T个tokens。这一成就充分证明了模型训练的稳定性和收敛性，而且在整个训练过程中没有出现任何需要调整和重试的情况。
值得一提的是，Tele-FLM-1T版本即将开源，这意味着它将向社区开放，供大家使用和参考。这一举措的目的是为了帮助社区解决训练万亿参数的密集模型时遇到的问题，例如训练收敛困难等，从而进一步推动大模型技术的发展。
TeleAI不仅在技术创新上不断突破，还积极通过开源方式推动大模型技术的普及和国产化进程。他们连续发布了7B、12B、52B参数规模的大模型，这些模型在开源社区中引起了广泛的讨论和使用，开源模型的下载量已经超过了一万次，吸引了超过四十万用户。
