别低估Prompt的上限
- 记得ChatGPT刚发布的时候,大家都惊呼,觉得未来的工程师都可以不用编程语言了,以后直接写Prompt就可以完成工作了。但是后来我们又很快发现,只写Prompt好像也没那么神,只靠Prompt解决问题既不稳定也不可靠,其实不是Prompt is all your need,而是Prompt is all you have 。那么Prompt的上限到底有多高呢
- 微软前几天发布了一篇文章,标题是The Power of Prompting,讲的是他们在医疗领域,只使用Prompt就让GPT-4的准确率首次超过90%,超越了一众微调方法加持的大模型。而且他们还发现这种方法是通用的,不仅适用于医学,还可以推广到电气工程、机器学习、法律等专业中。看来是出色的提示策略可以甩微调一大截,看来不是Prompt不行,可能是我们写的Prompt不大行
- 另外从很早的时候,大家就发现了,可以通过暗示大模型,说他是一个行业专家,它的输出结果非常重要,来让大模型的输出更有质量。还有在大模型做逻辑推理的时候,让它先做个深呼吸,也似乎可以提升推理的准确度。最近人们又发现,暗示它的方式还有很多,比如有人就发现,对大模型装可怜也能让它表现更好,或者你使用比较强烈的语气,比如直接用脏话,也能让模型输出质量更高。更扯的是最近还有人告诉模型,要给他小费,发现承诺给20美刀小费,可以提升6%的水平,如果承诺给200美刀,几乎可以提升11%的水平,只不过不知道大模型一直收不到这笔钱,会不会以后对画饼就免疫了
- 从最早的结构化Prompt,到后来类似PromptScript这样的Prompt DSL,从最早的让AI扮演专家,再到给小费,Prompt作为现在大模型应用很重要的手段,看来还有很多可以探索的方向,如果把它比作一种编程语言的话,我觉得可能也就是相当于1980年的编程语言的发展水平,未来还有很多可以探索的领域
