正确答案是:B: APE 使用 LLMs 作为黑盒优化问题的解决方案来生成和搜索候选解。
专业分析:
A: 选项A不正确,因为APE并不是依赖于人工设计的提示生成候选解,而是使用更为自动化的方法来生成候选解。
B: 选项B正确。APE(自动提示工程师)框架利用大型语言模型(LLMs)作为黑盒优化问题的解决方案,来生成和搜索候选解。LLMs可以生成多样化的提示,并通过优化算法选择最佳的提示。
C: 选项C不正确,因为APE需要评估分数来选择最合适的指令。评估分数是确定哪一个候选解最优的关键步骤。
D: 选项D不正确,因为APE的提示确实提升了MultiArith和GSM8K基准测试的性能。这是其有效性的一个重要证明。
总结:APE框架的核心在于利用LLMs生成多样化的提示,并通过评估分数选择最优解,从而提升基准测试的性能。