斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！

量子位2023-03-14

作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...

Source Link

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Comments

小可爱0958
2023-03-15
小可爱0958
😁😁
嘞撸虎7
2023-03-14
嘞撸虎7
閱

Leave a comment

{"i18n":{"language":"en_US"},"isChannel":false,"data":{"share":"https://ttm.financial/m/news/1156607844?lang=en_US&edition=fundamental","thumbnail":"https://static.tigerbbs.com/1e088ec4276659e187dfdd2bf1451142","is_english":false,"pubTime":"2023-03-14 22:05","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"1156607844","market":"us","top_or_hot":-1,"title":"斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！","media":"量子位","content":"<div>\n<p>作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A\">Source Link</a>\n\n</div>\n","source":"lsy1569318700471","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-03-14 22:05 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A\">Source Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":null,"symbol_name":null,"start_time":0,"source_url":"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A","article_id":"1156607844","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/1e088ec4276659e187dfdd2bf1451142"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=1156607844","pubTimestamp":1678802744,"sourceInfo":{"source_id":"lsy1569318700471","name":"量子位"},"weMediaInfo":null,"summary":"手机都能运行的那种。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{},"translate_title":"Stanford's \"grass mud horse\" is on fire: $100 can match GPT-3. 5!","themeId":"","isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/f09ac86918f68c08f5951c507a66c5f2","symbols_score_info":{},"content_text":"作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜，很容易，还很小。而且团队还把数据集（秒省500刀）、代码统统都给开源了，这下子人人都能去微调个效果炸裂的对话AI：项目在GitHub发布才半天时间，便已经狂揽1800+星，火爆程度可见一斑。Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容：不仅如此，斯坦福团队还搞了个demo，在线可玩的那种。话不多说，我们现在就来看看这个“草泥马”的效果。比肩davinci-003的草泥马Aplaca什么是羊驼？它和美洲驼的区别是什么？草泥马Aplaca给出的答案较为干练：羊驼是一种小型骆驼科动物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。而后又简单的介绍了二者群居生活的不同。同样的问题若是交给ChatGPT（GPT3.5-turbo），则答案就不会像草泥马Aplaca那般简洁：对此，团队给出的解释是：Alpaca的答案通常比ChatGPT短，反映出text-davinci-003的输出较短。而后团队演示了让草泥马Alpaca写邮件：写一封e-mail祝贺被斯坦福大学录取的新生，并提到你很高兴能亲自见到他们。草泥马Alpaca对于这个任务也是信手拈来，直接给出了一个像模像样的邮件模板：难度再次进阶，团队这次提出了让草泥马Alpaca写论文摘要的需求：写一篇经过深思熟虑的机器学习论文摘要，证明42是训练神经网络的最优seed。草泥马Alpaca给出的答案从内容上来看，非常符合大多数论文的摘要形式：试图回答什么问题、用了什么方法、结果如何，以及未来展望。当然，也有迫不及待的网友亲自下场试验，发现草泥马Alpaca写代码也是不在话下。不过即便草泥马Alpaca能够hold住大部分问题，但这并不意味着它没有缺陷。例如团队便演示了一个例子，在回答“坦桑尼亚的首都是哪里”的问题时，草泥马Alpaca给出的答案是“达累斯萨拉姆”。但实际上早在1975年便被“多多马”取代了。除此之外，若是亲自体验过草泥马Alpaca就会发现，它……巨慢：对此，有网友认为可能是使用的人太多的原因。笔记本、手机、树莓派都能跑Meta开源的LLaMA大模型，刚发布几周就被大家安排明白了，单卡就能运行。所以理论上，基于LLaMA微调的Alpaca同样可以轻松在本地部署。没有显卡也没关系，苹果笔记本甚至树莓派、手机都可以玩。在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp，使用纯C/C++做推理，还专门对ARM芯片做了优化。作者实测，M1芯片的MacBook Pro上即可运行，另外也支持Windows和Linux系统。还是这个C++移植版本，有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。虽然速度非常慢，大约10秒生成一个token（也就是一分钟蹦出4.5个单词）。更离谱的是仅仅2天之后，有人把LLaMA模型量化压缩（权重转换成更低精度的数据格式）后成功在Pixel 6安卓手机上运行（26秒一个token）。Pixel 6使用谷歌自研处理器Google Tensor，跑分成绩在骁龙865+到888之间，也就是说新一点的手机理论上都能胜任。微调数据集也开源斯坦福团队微调LLaMA的方法，来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。以175个问题作为种子任务，让AI自己从中组合出新的问题以及生成配套答案实例，人工过滤掉低质量的，再把新任务添加到任务池里。所有这些任务，之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。套娃几圈下来，相当于让AI自己指导自己。斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。这些数据同样开源了出来，并且比原论文的数据多样性更高。同时还给出了生成这些数据的代码，也就是说如果有人还嫌不够，可以再去自行扩充微调数据，继续提高模型的表现。微调代码也会在HuggingFace官方支持LLaMA后放出。不过Alpaca最终的模型权重需要Meta许可才能发布，并且继承了LLaMA的非商用开源协议，禁止任何商业用途。并且由于微调数据使用了OpenAI的API，根据使用条款也禁止用来开发与OpenAI形成竞争的模型。One More Thing还记得AI绘画的发展历程吗？2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让成本下降到可用，并由此产生爆炸式的工具创新，让AI绘画真正进入各类工作流程。语言模型的成本，如今也下降到了个人电子设备可用的程度。最后还是由Django框架创始人Simon Willison喊出：大语言模型的Stable Diffusion时刻到了。","kind":"news","is_publish_news":false,"is_publish_highlight":true,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[{"id":9949488283,"gmtCreate":1678830260442,"gmtModify":1678830264238,"author":{"id":"3586239565205948","authorId":"3586239565205948","name":"小可爱0958","avatar":"https://community-static.tradeup.com/news/0b23a224c6451f227f187f04e04dffa9","vip":1,"hat":"https://static.tigerbbs.com/b073a07f77dbe6b3bec6b12311fde6bd","crmLevel":5,"crmLevelSwitch":1,"idStr":"3586239565205948","authorIdStr":"3586239565205948"},"htmlText":"😁😁","listText":"😁😁","text":"😁😁","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://ttm.financial/post/9949488283","repostId":1156607844,"repostType":4,"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"EN"},{"id":9949496815,"gmtCreate":1678803520338,"gmtModify":1678803523466,"author":{"id":"4092032122452460","authorId":"4092032122452460","name":"嘞撸虎7","avatar":"https://static.tigerbbs.com/451ff62190f624c13c07b54476dd5930","vip":1,"hat":"https://static.tigerbbs.com/4c5ceab71416b120bab4604c0754b52a","crmLevel":2,"crmLevelSwitch":1,"idStr":"4092032122452460","authorIdStr":"4092032122452460"},"htmlText":"閱","listText":"閱","text":"閱","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://ttm.financial/post/9949496815","repostId":1156607844,"repostType":4,"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"}],"isCommentEnd":false,"newsSizeData":{"likeSize":54,"commentSize":2,"repostSize":0,"favoriteSize":2,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":true,"deviceId":"web-server-community-laohu8-v3","version":"4.29.3","shortVersion":"4.29.3","platform":"web","vendor":"web","appName":"ttm","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/1156607844"}