财经 financial
您现在的位置:首页 > 财经 > Meta加入AI军备竞赛:发布开源大语言模型,号称优于ChatGPT

新闻

央视网《超级工厂》解析皇派门窗:高端隔音门窗助力消费者美好人居 央视网《超级工厂》解析皇派门窗:高端隔音门窗助...

2024年3月19日,央视网《超级工厂》走进皇派门窗,由央视网主持人常婷亲自带队,深入探访其智造之道。此...

财经

金融支持文化产业复苏主攻六方面 金融支持文化产业复苏主攻六方面

21日,北京市文化改革和发展领导小组办公室印发《关于加强金融支持文化产业健康发展的若干措施》,这是...

创新

发挥技术优势 主动参与抗疫 发挥技术优势 主动参与抗疫

传递信息助力抗疫,支持企业线上运营,开放直播与行业融合……快手科技第一时间投身疫情防控阻击战,向武...

  • 智能无人开采:能源供应的硬核力量

    “知道它厉害,没想到这么厉害!”4月9日,谈及智能化无人采矿,国家能源集团宁夏煤业枣泉煤矿党委书记、矿长翟文,对着记者连说几个“没想到”。 大年初三,枣泉煤矿收假复工的日子,不料新冠疫情将一部分回老家过...

Meta加入AI军备竞赛:发布开源大语言模型,号称优于ChatGPT

发布时间:2023/02/28 财经 浏览:120

继微软、谷歌之后,脸书(Facebook)母公司Meta(Nasdaq:META)也加入AI军备竞赛。

当地时间2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数规模来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行训练。

Meta首席执行官马克·扎克伯格表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。

怎么理解人工智能大型语言模型的参数?

据悉,AIGC(利用人工智能技术来生成内容)形成的学习能力在一定程度上取决于参数的规模。OpenAI推出的ChatGPT是通过其AI大模型GPT-3的基础上通过指令微调后得到的,参数量达1750亿,谷歌推出的Bard使用的是轻量级LaMDA模型,相比标准版本,轻量化版本模型所需要的运算能力较小,能面向更多使用者开放,使其参与体验,有报道指出LaMDA模型参数量在1370亿。百度文心大模型参数量达到2600亿,阿里则表示,从过往实践来看,其具备支撑超万亿参数大模型研发的技术实力。

Meta此次推出的大模型实力如何呢?

Meta首席AI科学家杨立昆(YannLeCun)表示,在一些基准测试中,LLaMA130亿参数规模的模型性能优于OpenAI推出的GPT3,且能跑在单个GPU上;650亿参数的LLaMA模型能够和DeepMind700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。

法新社称,按照Meta的表述,LLaMA是一套“更小、性能更好”的模型,且不同于谷歌的LaMDA和OpenAI的GPT机密训练资料和演算,LLaMA是基于公开资料进行训练。

Meta在官网表示,在大型语言模型中,像LLaMA这样的小型基础模型是可取的,因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练,这使得它们非常适合于各种任务的微调。与其他大型语言模型一样,LLaMA的工作原理是将一系列单词作为输入,并预测下一个单词以递归生成文本。

Meta称将致力于这种开源模型的研究,新模型会开源给整个AI研究社区使用,并授予大学、非政府组织和行业实验室访问权限。另外,Meta表示其还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险。

Meta披露的2022年第四季度财报显示,该公司已连续第三个季度出现营收同比下滑,四季度营收312.54亿美元,同比下降4%。广告为Meta的支柱业务,为第四季度的总营收贡献超97%,报告期内,尽管广告展现量增长了23%,但单位广告价格下滑了22%。

截至美东时间2月24日,Meta股价跌0.96%报170.390美元/股,总市值4418亿美元。

 

姓 名:
邮箱
留 言: