转发自“量子位”公众号
刚刚OpenAI宣布,允许用户创建自定义版的GPT-3。
而且步骤非常简单,只需一行命令就能实现!
经过微调(fine-tuned),定制版的GPT-3在不同应用中的提升非常明显。
OpenAI表示,它可以让不同应用的准确度能直接从83%提升到95%、错误率可降低50%。
解小学数学题目的正确率也能提高2-4倍。
这样一来,踩在巨人的肩膀上、直接在1750亿参数的大模型上微调,不少研发人员都可以不用再重头训练自己的AI模型了。
这让网友们大呼:
现在我能直接训练我的聊天机器人了,这可节省太多时间和费用了!
加之前不久OpenAI才取消GPT-3接口的等待机制,让所有满足条件的开发人员都可快速申请使用它。
显然,在把GPT-3开放给更多人用这件事上,OpenAI真的是不遗余力。
微调好处多
微调好处多,这一点OpenAI早有证明。
今年6月,他们就曾只用80个文本的数据集进行训练,让GPT-3说话的危险性大幅降低,而且表达也更有人情味。
(下图中蓝线表示训练后模型,红线表示基础模型,分数越高意味着表现越好)
事实上,已经有不少应用已经用上了定制版的GPT-3,并且表现都不错。
比如这个税收应用——Keeper Tax。
它能通过定制版的GPT-3来识别账单上的各种数据,以帮助用户找到可以免税的费用。
Keeper Tax表示,在用上微调后的GPT-3后,应用识别的准确率每周都会提高约1%,准确率已经从过去的85%提升到了93%。
再来看这个人工智能检索工具——Elicit。
它可以根据用户搜索的问题来智能给出结果。
在用上定制版GPT-3后,Elicit给出的结果在易懂性上提高了24%、准确性上提高了17%、整体方面则提升了33%。
还有这个可智能读取用户评论的应用——Viable。
它能够从大量评论中读取用户的重要建议,比如投诉、疑问等。
定制化GPT-3使该应用在识别用户反馈的准确率上从66%提升到了90%。
事实上,不只是准确率上的提升。
在输出结果的用时、多样性上,定制化GPT-3都有着更明显的优势。
如何食用?
OpenAI表示,想要微调GPT-3大致需要3个步骤:
准备和上传训练数据;训练微调模型;最后使用。
其中,训练数据必须是JSONL文档,这一步是让GPT-3在哪方面表现突出的关键。
创建微调模型是在OpenAI CLI上进行,步骤也很简单,只需上传数据文件、创建微调作业、再等待几分钟或几小时等待作业完成。
最后,使用微调模型时,只需将命令行中fine_tuned_model字段换成模型名称即可。
具体步骤OpenAI已在官方网页上给出,可参看文末链接2。
当然,想要用更加强大的GPT-3,所需费用也会有些提升。
微调后模型每1K token的费用,将比基础版高出50%。
OpenAI技术人员在采访时表示:“我们开发此功能时,希望能够让没有AI研究背景的人也能使用它。
不少网友也纷纷留言表示,自己用GPT-3写出了很多有意思的应用。
比如有人就写了一个睡眠播客,可以讲童话故事的那种:
参考链接:
[1] https://openai.com/blog/customized-gpt3/
[2] https://beta.openai.com/docs/guides/fine-tuning
[3] https://news.ycombinator.com/item?id=29554116
http://www.edrawsoft.cn/search/%E6%B1%9F%E8%8B%8F%E9%80%9A%E5%B7%9E%E7%BD%91%E4%B8%8A%E9%BE%99%E8%99%8E%E6%8E%A8%E8%8D%90TL262%C2%B7C%EF%BC%AFM%E5%90%95%E6%A2%81%E7%94%9F%E6%B4%BB%EF%BC%91%EF%BC%A2%EF%BC%92/ https://quanmin.baidu.com/wise/growth/querypage?keyword=%E7%BC%85%E7%94%B8%E6%96%B0%E7%99%BE%E8%83%9C%E7%94%B5%E8%AF%9D%E7%9B%B4%E8%90%A5%E5%BC%80%E6%88%B7%3AB2024.CN%E6%B0%B8%E5%B7%9E%E6%96%B0%E9%97%BB%EF%BD%8D%EF%BD%90%EF%BC%8D http://m.v.baidu.com/search?word=%E7%99%BE%E8%83%9C%E5%B8%9D%E5%AE%9D%E7%BD%91%E4%B8%8A%E6%80%8E%E4%B9%88%E7%8E%A9%E7%9B%B4%E8%90%A5%E5%BC%80%E6%88%B7%3AB2024.CN%E5%BA%86%E9%98%B3%E5%B9%BF%E6%92%AD%EF%BD%97%EF%BC%AE https://search.dxy.cn/?age=1&words=%E9%91%AB%E7%99%BE%E5%88%A9%E5%A8%B1%E4%B9%90%E9%85%92%E5%BA%97%E7%94%B5%E8%AF%9D%E7%9B%B4%E8%90%A5%E7%BD%91B2024.CN%E6%89%AC%E5%B7%9E%E8%81%94%E9%80%9A%EF%BC%8D%EF%BC%90%EF%BD%97 https://www.apple.com.cn/search/%E8%80%81%E8%A1%97%E5%8D%8E%E7%BA%B3%E5%9B%BD%E9%99%85%E5%A8%B1%E4%B9%90%E8%81%94%E7%B3%BB%E7%94%B5%E8%AF%9D%E6%B8%B8%E6%88%8F%E7%BD%91%E5%9D%80B2024%C2%B7CN%E7%BB%A5%E5%8C%96%E5%8D%AB%E7%94%9F%E5%B1%80%EF%BC%95%EF%BD%84%EF%BD%8D
可以去看看源码,说不定有惊喜
这是通过什么实现的
别啊,小小年纪就秃了,不划算啊,这是亲生的啊
以后我让儿子也学代码。做程序员,
感觉很不错。
太牛了,比不了比不了!!!
openai还是牛的