重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！

15
Comment
1

重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！

AIGC开放社区2023-04-13

用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）...

Source Link

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Report

Comment

benben82
·2023-04-13
Good
Reply
Like
Report

Most Discussed

7x24

All

Terms and Conditions·Privacy Policy

Company: TTMF Limited. Tech supported by Xiangshang Yixin.

Email：uservice@ttm.financial

{"i18n":{"language":"en_US"},"data":{"share":"https://ttm.financial/m/news/2327971959?lang=en_US&edition=fundamental","thumbnail":"https://static.tigerbbs.com/3b52764921272100b8f755870954f0a5","is_english":false,"pubTime":"2023-04-13 08:40","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2327971959","market":"hk","top_or_hot":-1,"title":"重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！","media":"AIGC开放社区","content":"<div>\n<p>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）...</p>\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd\">Source Link</a>\n\n</div>\n","source":"lsy1680749794970","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-04-13 08:40 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd><strong>AIGC开放社区</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）...</p>\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd\">Source Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4535","symbol_name":"淡马锡持仓","start_time":0,"source_url":"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd","article_id":"2327971959","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/3b52764921272100b8f755870954f0a5"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2327971959","pubTimestamp":1681346445,"sourceInfo":{"source_id":"lsy1680749794970","name":"AIGC开放社区"},"weMediaInfo":null,"summary":"用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Dee","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4535":"淡马锡持仓","IE00BZ1G4Q59.USD":"LEGG MASON CLEARBRIDGE US EQUITY SUSTAINABILITY LEADER \"A\"(USD) INC (A)","LU0011850046.USD":"贝莱德全球长线股票 A2 USD","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","BK4538":"云计算","BK4577":"网络游戏","BK4527":"明星科技股","LU0061474705.USD":"THREADNEEDLE (LUX) GLOBAL DYNAMIC REAL RETURN \"AU\" (USD) ACC","LU0097036916.USD":"贝莱德美国增长A2 USD","IE0004445239.USD":"JANUS HENDERSON US FORTY \"A2\" (USD) ACC","IE00B1BXHZ80.USD":"Legg Mason ClearBridge - US Appreciation A Acc USD","LU0198837287.USD":"UBS (LUX) EQUITY SICAV - USA GROWTH \"P\" (USD) ACC","BK4503":"景林资产持仓","IE00BFSS8Q28.SGD":"Janus Henderson Balanced A Inc SGD-H","LU0289941410.SGD":"AB FCP I Dynamic Diversified AX SGD","LU0061475181.USD":"THREADNEEDLE (LUX) AMERICAN \"AU\" (USD) ACC","IE00BKVL7J92.USD":"Legg Mason ClearBridge - US Equity Sustainability Leaders A Acc USD","LU0079474960.USD":"联博美国增长基金A","LU0127658192.USD":"EASTSPRING INVESTMENTS GLOBAL TECHNOLOGY \"A\" (USD) ACC","BK4581":"高盛持仓","IE00BJTD4N35.SGD":"Neuberger Berman US Long Short Equity A1  Acc SGD-H","IE00BSNM7G36.USD":"NEUBERGER BERMAN SYSTEMATIC GLOBAL SUSTAINABLE VALUE \"A\" (USD) ACC","LU0289739343.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"A\" (SGD) ACC","BK4585":"ETF&股票定投概念","IE00BLSP4239.USD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis USD Plus","IE00BLSP4452.SGD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis SGD-H Plus","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H","BK4548":"巴美列捷福持仓","IE00B775SV38.USD":"NEUBERGER BERMAN US MULTICAP OPPORTUNITIES \"A\" (USD) ACC","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","LU0109391861.USD":"富兰克林美国机遇基金A Acc","LU0170899867.USD":"EASTSPRING INVESTMENTS WORLD VALUE EQUITY  \"A\" (USD) ACC","LU0053666078.USD":"摩根大通基金-美国股票A（离岸）美元","BK4528":"SaaS概念","IE00BJTD4V19.USD":"NEUBERGER BERMAN US LONG SHORT EQUITY \"A1\" (USD) ACC","LU0289961442.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"AX\" (SGD) ACC","BK4516":"特朗普概念","IE00BJJMRX11.SGD":"Janus Henderson Balanced A Acc SGD","LU0082616367.USD":"摩根大通美国科技A（dist）","BK4554":"元宇宙及AR概念","MSFT":"微软","BK4532":"文艺复兴科技持仓","IE00B19Z9505.USD":"美盛-美国大盘成长股A Acc","LU0080751232.USD":"富达环球多元动力基金A","BK4588":"碎股","BK4534":"瑞士信贷持仓","BK4533":"AQR资本管理(全球第二大对冲基金)","BK4576":"AR","LU0234572021.USD":"高盛美国核心股票组合Acc","LU0061474960.USD":"天利环球焦点基金AU Acc","BK4525":"远程办公概念"},"translate_title":"Heavy! Microsoft Open Source Deep Speed Chat, everyone has ChatGPT!","themeId":"","isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/b08ed743dcd64a3d084e8094723b0673","symbols_score_info":{"MSFT":0.9},"content_text":"用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed） 据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。简单来说，用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。微软为什么开源Deep Speed ChatChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难。例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5%。现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。Deep Speed Chat技术简单介绍ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。简化 ChatGPT 类型模型的训练和强化推理：只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。Deep Speed-RLHF 模块：DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。DeepSpeed-RLHF系统：将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。高效且节省成本：在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。卓越扩展性：能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型，使用Deep Speed Chat进行训练也只需不到一天的时间。注意：在Azure上训练时由于GPU不同，所以训练时间和费用也各不相同。全民ChatGPT时代来了做个不太恰当的比喻，微软此次开源Deep Speed Chat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用，使得人人都能拥有自己的ChatGPT。目前，ChatGPT处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。","kind":null,"is_publish_news":null,"is_publish_highlight":null,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"symbols":[],"gpt_button":1},"commentList":[{"id":9945946651,"gmtCreate":1681359170074,"gmtModify":1681359173556,"author":{"id":"3548412292431483","authorId":"3548412292431483","name":"benben82","avatar":"https://community-static.tradeup.com/news/3d5066411f8c70a09959487fa1c126ab","vip":1,"hat":"https://static.tigerbbs.com/b0a2963eb37c60c5d6d4a8dbcd266952","crmLevel":3,"crmLevelSwitch":1},"htmlText":"Good","listText":"Good","text":"Good","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://ttm.financial/post/9945946651","repostId":2327971959,"repostType":2,"repost":{"id":"2327971959","pubTimestamp":1681346445,"share":"https://www.laohu8.com/m/news/2327971959?lang=&edition=full","pubTime":"2023-04-13 08:40","market":"hk","language":"zh","title":"重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！","url":"https://stock-news.laohu8.com/highlight/detail?id=2327971959","media":"AIGC开放社区","summary":"用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Dee","content":"<html><head></head><body><blockquote>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。</blockquote><p>4月12日，<a href=\"https://laohu8.com/S/MSFT\">微软</a>宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed） </p><p>据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。</p><p>简单来说，<strong>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。</strong></p><h2>微软为什么开源Deep Speed Chat</h2><p>ChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。</p><p>即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，<strong>仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难</strong>。</p><p>例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。</p><p><strong>即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5%</strong>。</p><p>现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。</p><h2>Deep Speed Chat技术简单介绍</h2><p>ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。</p><p><strong>Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。</strong></p><p><strong>简化 ChatGPT 类型模型的训练和强化推理：</strong>只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。</p><p><strong>Deep Speed-RLHF 模块：</strong>DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。</p><p><strong>DeepSpeed-RLHF系统：</strong>将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。</p><p>例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行<a href=\"https://laohu8.com/S/5RE.SI\">智能</a>的内存管理和数据缓存。</p><p>此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。</p><p><strong>高效且节省成本：</strong>在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。</p><p><strong>卓越扩展性：</strong>能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型，使用Deep Speed Chat进行训练也只需不到一天的时间。</p><p>注意：在Azure上训练时由于GPU不同，所以训练时间和费用也各不相同。</p><h2>全民ChatGPT时代来了</h2><p>做个不太恰当的比喻，微软此次开源Deep Speed Chat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。</p><p>只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用，使得人人都能拥有自己的ChatGPT。</p><p>目前，ChatGPT处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。</p></body></html>","source":"lsy1680749794970","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-04-13 08:40 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd><strong>AIGC开放社区</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）...</p>\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/3b52764921272100b8f755870954f0a5","relate_stocks":{"LU0082616367.USD":"摩根大通美国科技A（dist）","BK4532":"文艺复兴科技持仓","BK4554":"元宇宙及AR概念","LU0080751232.USD":"富达环球多元动力基金A","LU0053666078.USD":"摩根大通基金-美国股票A（离岸）美元","LU0061474960.USD":"天利环球焦点基金AU Acc","BK4585":"ETF&股票定投概念","BK4534":"瑞士信贷持仓","BK4533":"AQR资本管理(全球第二大对冲基金)","IE00BSNM7G36.USD":"NEUBERGER BERMAN SYSTEMATIC GLOBAL SUSTAINABLE VALUE \"A\" (USD) ACC","LU0234572021.USD":"高盛美国核心股票组合Acc","BK4576":"AR","BK4525":"远程办公概念","MSFT":"微软","IE00BZ1G4Q59.USD":"LEGG MASON CLEARBRIDGE US EQUITY SUSTAINABILITY LEADER \"A\"(USD) INC (A)","BK4535":"淡马锡持仓","LU0011850046.USD":"贝莱德全球长线股票 A2 USD","LU0061474705.USD":"THREADNEEDLE (LUX) GLOBAL DYNAMIC REAL RETURN \"AU\" (USD) ACC","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","BK4527":"明星科技股","BK4538":"云计算","LU0097036916.USD":"贝莱德美国增长A2 USD","BK4577":"网络游戏","BK4588":"碎股","LU0198837287.USD":"UBS (LUX) EQUITY SICAV - USA GROWTH \"P\" (USD) ACC","IE00B1BXHZ80.USD":"Legg Mason ClearBridge - US Appreciation A Acc USD","LU0289961442.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"AX\" (SGD) ACC","BK4503":"景林资产持仓","LU0061475181.USD":"THREADNEEDLE (LUX) AMERICAN \"AU\" (USD) ACC","IE00BFSS8Q28.SGD":"Janus Henderson Balanced A Inc SGD-H","IE00BKVL7J92.USD":"Legg Mason ClearBridge - US Equity Sustainability Leaders A Acc USD","BK4528":"SaaS概念","LU0127658192.USD":"EASTSPRING INVESTMENTS GLOBAL TECHNOLOGY \"A\" (USD) ACC","BK4581":"高盛持仓","IE00BJTD4N35.SGD":"Neuberger Berman US Long Short Equity A1  Acc SGD-H","BK4516":"特朗普概念","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","LU0289739343.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"A\" (SGD) ACC","LU0289941410.SGD":"AB FCP I Dynamic Diversified AX SGD","IE00BLSP4239.USD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis USD Plus","IE00BLSP4452.SGD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis SGD-H Plus","IE00B775SV38.USD":"NEUBERGER BERMAN US MULTICAP OPPORTUNITIES \"A\" (USD) ACC","BK4548":"巴美列捷福持仓","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H","LU0109391861.USD":"富兰克林美国机遇基金A Acc","LU0170899867.USD":"EASTSPRING INVESTMENTS WORLD VALUE EQUITY  \"A\" (USD) ACC","IE00BJJMRX11.SGD":"Janus Henderson Balanced A Acc SGD","IE00B19Z9505.USD":"美盛-美国大盘成长股A Acc","IE0004445239.USD":"JANUS HENDERSON US FORTY \"A2\" (USD) ACC","IE00BJTD4V19.USD":"NEUBERGER BERMAN US LONG SHORT EQUITY \"A1\" (USD) ACC","LU0079474960.USD":"联博美国增长基金A"},"source_url":"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2327971959","content_text":"用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed） 据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。简单来说，用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。微软为什么开源Deep Speed ChatChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难。例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5%。现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。Deep Speed Chat技术简单介绍ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。简化 ChatGPT 类型模型的训练和强化推理：只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。Deep Speed-RLHF 模块：DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。DeepSpeed-RLHF系统：将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。高效且节省成本：在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。卓越扩展性：能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型，使用Deep Speed Chat进行训练也只需不到一天的时间。注意：在Azure上训练时由于GPU不同，所以训练时间和费用也各不相同。全民ChatGPT时代来了做个不太恰当的比喻，微软此次开源Deep Speed Chat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用，使得人人都能拥有自己的ChatGPT。目前，ChatGPT处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"EN"}],"hasMoreComments":true,"newsSizeData":{"likeSize":15,"commentSize":0,"repostSize":1,"favoriteSize":1,"likeStatus":false,"favoriteStatus":false}}