ai模型使用的两个建议

随着对话的深入，对话内容会自然增长。建议切换话题时始终新建对话。

新建对话时，相当于清空上下文窗口并重置分词计数。若现有分词对后续查询不再有用，建议重置。因为维护这些分词的代价很高。这种代价主要体现在以下两个方面：

1. 大量分词，可能导致模型注意力分散。这些前置的分词，相当于模型的工作记忆。当分词过多时，模型可能会被历史标记分散注意力，特别是在后续需要采样标记时。当注意力被分散时，会降低模型的准确性和表现。
2. 上下文窗口中的标记越多，计算成本就会越大。虽然这个计算成本的增幅程度很低，但仍会影响生成序列中下一个标记的生成速度。因此模型速度实际上会轻微下降。计算下一个标记的成本变高。且标记数量越多，

事实上，可以把上下文窗口中的标记当做珍贵资源。这相当于模型的工作内存。因此不要用无关信息过度加载，尽量保持简洁。这样模型运行的会更快更好。

务必注意，当前使用的具体模型版本。

大模型的计算成本更高，因此提供方会对大模型收取的费用也更高。请根据自身的大语言模型使用需求权衡利弊，评估是否可以使用更经济的方案。如果基础模型的智能程度不够，而你又是专业用途，就应该考虑购买顶级模型。