智能体的感知能力包括以下方面：
听觉输入：能够利用 LLM 作为控制中心，调用现有的音频处理模型库来感知音频信息。通过音频频谱图的转换，将音频信号有效编码，实现对音频信息的理解和处理。 文本输入：通过文本输入与人类交流，能理解用户文本中明确的内容以及隐含的信念、愿望和意图。利用强化学习技术，能感知并推断用户的偏好，实现个性化和准确的回应。此外，具有零样本学习能力，能处理全新任务，无需针对特定任务微调。 视觉输入：为智能体提供丰富的环境信息，包括物体的属性、空间关系和场景布局。能通过生成图像的文本描述（图像标题）来理解图像内容。Transformer 模型的应用使其能直接对视觉信息进行编码和整合，提高视觉感知能力。通过在视觉编码器和 LLM 之间添加可学习的接口层，能更好地对齐视觉和语言信息。 其他输入：除了文本、视觉和听觉输入，智能体还可能配备更丰富的感知模块，如触觉、嗅觉以及对环境温湿度的感知能力。指向指令的引入使得智能体能够通过用户的手势或光标与图像交互。此外，通过集成激光雷达、GPS、IMU 等硬件设备，智能体能够获得更全面的三维空间和运动感知能力。感知模块的设计初衷在于极大地拓展智能体的感知视野，融合多种模态，使其能够以更接近人类的方式感知和理解周围世界。