跳转至

大语言模型文本交互

大语言模型文本交互是指用户与大语言模型之间通过文本形式进行信息交流和互动的过程。

原理

  • 语言理解：大语言模型基于 Transformer 架构等深度学习技术，通过对海量文本数据的学习，能够理解文本中的语义、语法和逻辑关系等。模型将输入文本转换为向量表示，在多层神经网络中进行特征提取和分析，以捕捉文本的深层含义。
  • 生成回复：在理解输入文本的基础上，根据其学习到的语言知识和模式，通过预测下一个单词或字符的概率分布来生成回复文本。模型会综合考虑上下文信息、语言习惯和语义连贯性等因素，生成合理、流畅且有意义的回复内容。

交互方式

  • 对话式交互：用户以文本的方式向大语言模型提出问题、请求建议或进行讨论等，模型则以对话的形式给予回答和反馈，就像人与人之间的对话一样。例如用户问 “如何提高写作能力”，模型会给出相关的方法和建议。
  • 文本生成任务：用户可以给模型设定特定的主题或要求，让模型生成各种类型的文本，如文章、故事、诗歌、代码等。比如用户要求 “创作一篇关于春天的散文”，模型会根据对 “春天” 的理解和文学创作的一般规律生成相应的散文内容。
  • 知识查询与获取：用户将模型作为一个知识宝库，输入特定的查询内容，获取相关的信息和知识。比如查询 “历史上的今天发生了什么重大事件”，模型会依据其学习到的历史知识进行回答。

运行实例

OriginMan使用到的交互实现方式是大模型网关技术，并在后台使用了知识库进行内容捕获和知识库解析，最后将涵盖知识库的信息发给用户。

开启OriginMan电源，然后在MoboXterm或者Vscode中启动如下指令：

ros2 run originman_llm_chat llm_chat_node
运行后可以看到终端有如下日志输出：

root@ubuntu:/userdata/dev_ws/src/originman# ros2 run originman_llm_chat llm_chat_node 
[INFO] [1740719979.314563770] [openai_interaction_node]: OpenAI 交互节点已启动，等待输入/text_input话题数据...
[INFO] [1740719979.316873645] [openai_interaction_node]: 使用示例：ros2 topic pub --once /text_input std_msgs/msg/String "data: '你好，今天天气如何？'"

另起一个终端运行如下指令：

ros2 topic pub --once /text_input std_msgs/msg/String "data: '你好，今天天气如何？'"

image-20220923124819442

Attention

需要先完成联网操作，联网步骤请参考网络配置与远程开发方法

图片1