【智能前线】第9期：Meta最强开源模型Llama 3.1，扎克伯格致辞
发布时间：2024-07-31 16:08 浏览量：61
2024年7月23日，Meta正式发布最新开源大模型Llama 3.1系列，包含8B、70B、450B三个参数规模；450B参数模型，在多项基准测试中表现，媲美OpenAI GPT-4o、Claude 3.5 Sonnet等头部闭源模型；Meta官方表示，迄今为止，Llama系列所有版本总下载量，已超过3亿次。
Meta创始人、CEO扎克伯格，在Meta官网发布文章，详谈开源AI策略，为这次发布造势。扎克伯格表示，Llama 3.1版本将成为AI行业转折点，大多数开发人员将开始主要使用开源模型，开源AI是未来发展方向。
扎克伯格与科技评论家Rowan Cheuang，进行一场对谈，深入探讨开源AI未来，对社会与商业深远影响等。扎克伯格强调，开源AI不仅是确保AI未来发展关键，也是提升全球生产力与创造力的重要工具。
本期智能前线，选择扎克伯格致辞、扎克伯格与科技评论家Rowan Cheuang对谈、开源大模型Llama 3.1信息梳理，Meta、有新Newin、智东西发布，六合商业研选精校，分享给大家，Enjoy！
正文：
全文11,921字
预计阅读24分钟
扎克伯格致辞：开源AI是未来发展方向Open Source AI Is the Path Forward
时间：2024年7月23日
字数：3,805
开源AI是未来的发展方向
在高性能计算的早期，当时主要科技公公司都大力投资开发自己闭源Unix版本。当时很难想象其他任何方法，能够开发出如此先进的软件。最终，开源Linux变得流行起来，最初是它允许开发人员随意修改代码，更加经济实惠，随着时间推移，它变得更加先进、更加安全，拥有比任何闭源Unix更多功能的更广泛生态系统支持。如今，Linux是云计算与运行大多数移动设备操作系统的行业标准基础，我们都受益于更优质的产品。
Llama 2Llama 3我相信AI会以类似方式发展。如今，有几家科技巨头正在开发领先的封闭模型，开源很快在缩小差距。
2023年，Llama 2只能与边缘之后的旧一代模型相提并论。2024年，Llama 3在一些领域具有竞争力，甚至在某些方面领先于最先进模型。
2025年开始，我们预计未来Llama模型，将成为行业中最先进的。即使在那之前，Llama已经在开放性、可修改性、成本效益方面处于领先地位。
今天，我们正在迈出迈向开源AI成为行业标准的下一步。我们发布Llama 3.1 405B，这是第一个前沿级别开源AI模型，新的与改进的Llama 3.1 70B与8B模型。除了相对封闭模型具有显着更好的成本/性能之外，405B模型是开源的事实，将使其成为微调与提炼较小模型的最佳选择。
除了发布这些模型外，我们还与一系列公司合作，以发展更广泛生态系统。
亚马逊、Databricks、Nvidia正在推出一整套服务，以支持开发人员微调与提炼自己模型。
Groq这样创新者，已为所有新模型构建低延迟、低成本的推理服务。
这些模型将在包括AWS、Azure、Google、Oracle等在内所有主要云上提供。
Scale.AI、戴尔、德勤等公司，已准备好帮助企业采用Llama，并使用自己数据训练定制模型。
随着社区壮大与更多公司开发新服务，我们可以共同将Llama打造成行业标准，将AI好处带给每个人。
Meta致力开源AI。我将概述为什么我相信开源是最适合你的开发堆栈，为什么开源Llama对Meta有好处，为什么开源AI对世界有益，因此是一个长期存在的平台。
开源AI之于开发者的益处
当我与世界各地开发人员、CEO、政府官员交谈时，通常会听到一些共同的主题：
我们需要训练、微调与提炼我们自己的模型。每个组织都有不同需求，最好使用不同尺寸的模型来满足这些需求，这些模型是通过特定数据进行训练或微调。设备上的任务与分类任务需要小型模型，更复杂任务需要更大的模型。
现在，你可以使用最先进的Llama模型，继续使用你自己数据对其进行训练，将其提炼为你理想尺寸的模型，无需我们或其他人看到你的数据。
我们需要掌控自己命运，不要被困在封闭的供应商中。许多组织不愿意依赖他们无法运行与控制的模型，他们不希望封闭的模型提供商能够改变他们模型，修改使用条款，甚至完全停止为他们提供服务，他们不想被锁定在一个拥有模型独家权利的单一云中。开源使得有兼容工具链的广泛公司生态系统成为可能，你可以轻松在它们之间移动。
我们需要保护我们数据。许多组织处理敏感数据，需要保护不能将其发送到云API上的封闭模型，其他组织简单不信任封闭模型提供商处理他们的数据。开源通过使你能够在任何地方运行模型来解决这些问题，开源软件往往更安全，它的开发更加透明。
我们需要一个高效、价格实惠的模型来运行。开发者可以在他们自己基础设施上运行Llama 3.1 405B上的推理，成本大约是使用像GPT-4o这样封闭模型的50%，适用于用户界面与离线推理任务。
我们希望投资于将成为长期标准的生态系统。许多人认为开源发展速度比封闭模型快，他们希望在能够为他们提供最大长期优势的架构上构建自己系统。
为什么开源AI对Meta有益
Meta商业模式，是致力为人们打造最佳体验与服务。为实现这一目标，我们必须确保始终能够获得最先进技术，避免陷入竞争对手的封闭生态系统，他们可能会限制我们构建。
我一次重要经历，是我们推出服务受到苹果平台限制时。在他们对开发者征税方式、他们施加的武断规则，阻止我们推出的所有产品创新之间，很明显，如果我们能够构建我们产品的最佳版本，竞争对手无法限制我们构建，Meta与许多其他公司将能够为人们构建更好服务。哲学层面上说，这是我坚信在AI与AR/VR开放生态系统中构建下一代计算的重要原因之一。
人们经常问我是否担心通过开源Llama而失去技术优势，我认为这样做忽略更重要的一些方面：
首先，为了确保我们能够获得最好技术，长远看，不会被锁定在封闭生态系统中，Llama需要发展成为一个完整的生态系统，包括工具、效率改进、硅优化、其他集成。
如果我们公司是唯一使用Llama的公司，这个生态系统不会发展，我们表现也不会比封闭的Unix更好。
其次，我预计AI的发展，将继续保持竞争激烈，意味着在某一特定时间点，开源任何模型，不会给予比下一个最佳模型更大优势。Llama要成为行业标准，关键在于一代又一代保持竞争力、高效性、开放性。
第三，Meta与封闭模型提供商之间一个关键区别是，出售AI模型访问权限，不是我们商业模式。这意味着公开发布Llama，不会损害我们收入、可持续性或研究投资能力，就像对封闭提供商那样。这也是几家封闭提供商，一直在游说政府反对开源的原因之一。
最后，Meta拥有悠久的开源项目与成功历史。通过与Open Compute Project共享我们的服务器、网络与数据中心设计，让供应链标准化我们设计，我们节省数十亿美元。我们通过开源领先工具，如PyTorch、React等，受益于生态系统创新。长期坚持这种方法，对我们一直有效。
开源AI之于世界的益处
我相信开源对于积极的AI未来是必要的。AI拥有比任何其他现代技术更大潜力，可以提高人类生产力、创造力、生活质量，加速经济增长，在医学与科学研究领域推动进展。开源，将确保全球更多人能够分享AI好处与机会，避免权力过度集中在少数公司手中，可以更均衡、更安全在社会各个领域推广这项技术。
目前存在关于开源AI模型安全性的辩论，我认为开源AI将比其他选择更安全。我认为各国政府会得出结论，支持开源，符合他们利益，这将使世界更加繁荣与安全。
我对安全的理解框架是，我们需要保护免受两类伤害：无意与有意。
无意伤害，是指当AI系统可能造成伤害，即使运行它的人并非有意这样做。例如，现代AI模型可能无意中给出错误健康建议。或者，在更具未来感场景中，一些人担心模型可能无意中自我复制或过度优化目标，对人类造成损害。
有意伤害，是指恶意使用AI模型的坏人以造成伤害。
值得注意的是，大多数人对AI的担忧主要集中在无意造成的伤害上，从AI系统对将使用它们的数十亿人的影响，到人类大部分真正灾难性的科幻场景。这方面，开源应该更安全，这些系统更加透明，可以被广泛审查。
历史上看，出于这个原因，开源软件更安全。使用带有Llama Guard等安全系统的Llama，可能比封闭模型更安全、更可靠。
大多数关于开源AI安全的讨论，都集中在有意造成的伤害上。
我们的安全流程，包括严格测试与红队评估，以评估我们模型是否有造成实质性危害的能力，目标是在发布之前减轻风险。
这些模型是开放的，任何人都可以自行测试。
我们必须记住，这些模型是通过已经在互联网上信息进行训练，在考虑危害时的起点，应该是模型是否能比可以从谷歌或其他搜索结果中快速获取的信息带来更多危害。
在思考有意图的伤害时，有助于区分个人或小规模行为者可能采取的行动，与拥有庞大资源的国家等大规模行为者可能采取的行动。
未来某个时候，个别不良分子可能会利用AI模型的智能，从互联网上可获得的信息中制造全新的危害。这一点上，权力的平衡，对AI安全至关重要。
我认为生活在一个AI广泛部署的世界会更好，这样更大的行动者，可以制约较小的不良分子的权力。这就是我们在社交网络上管理安全的方式，我们更强大的AI系统识别，并阻止经常使用较小规模AI系统的不复杂行动者的威胁。
更广泛说，大型机构大规模部署AI，将促进社会安全与稳定。只要每个人都能访问相似世代的模型，这正是开源所倡导的，拥有更多计算资源的政府与机构，就能够用更少的计算资源来审查不良行为者。
美国与民主国家，应该如何应对像中国这样拥有大量资源国家的威胁是下一个问题。美国优势在于分散与开放的创新，有人认为我们必须关闭我们模式，以防止中国获得对它们的访问，我认为这不会奏效，只会给美国及其盟友带来不利。
我们对手擅长间谍活动，窃取适合放在一个拇指驱动器上的模式相对容易，而大多数科技公司远未以使这更加困难的方式运作。
似乎最有可能的情况是，只有封闭模型的世界，会导致少数几家大公司，以及我们地缘政治对手能够访问领先的模型，而初创公司、大学、小型企业错失机会。
将美国的创新，限制在封闭开发中，会增加我们根本无法领先的可能性。
相反，我认为我们最好策略，是建立一个强大的开放生态系统，让我们领先的公司与我们的政府与盟友密切合作，确保他们能够最好利用最新进展，并在长期内取得可持续的先发优势。
考虑未来机遇时，请记住，今天大多数领先的科技公司与科学研究，都是建立在开源软件基础上。如果我们共同投资开源AI，下一代公司与研究将使用开源AI。这包括刚刚起步的初创公司，可能没有资源从头开始开发自己最先进AI的大学与国家的人。
开源AI，代表着世界最好的机会，利用这项技术，创造最大的经济机会与安全保障。
让我们一起建设这个项目
过去Llama模型中，Meta为我们自己开发了它们，然后发布，并没有过多关注构建更广泛的生态系统。
这次发布，我们采取不同方式。我们正在内部建立团队，以使尽可能多开发人员与合作伙伴使用Llama，并积极建立合作关系，以便生态系统中更多公司也能为客户提供独特功能。
我相信Llama 3.1版本，将成为行业一个转折点，大多数开发人员将开始主要使用开源，我期待这种方法从这里开始不断增长。
希望你能加入我们，一起努力将AI的好处带给世界上的每个人。
扎克伯格最新对谈：Llama 3.1比GPT-4成本低50%，未来企业拥有AI Agent数量或超地球总人口
时间：2024年7月25日
字数：5,461
2024年7月23日，Meta CEO扎克伯格与科技评论家Rowan Cheuang，深入探讨开源AI的未来，对社会与商业深远影响。扎克伯格强调，开源AI不仅是确保AI未来发展的关键，也是提升全球生产力与创造力的重要工具。
他认为，开源模型将使AI技术更安全、更透明，加速在各个领域的应用。Meta通过发布Llama-3.1等开源模型，致力建立更开放、更具创新力的AI生态系统。
Meta目标，是在2024年底前，使AI助手成为全球使用最广泛的AI助手。通过提供免费、易于使用的先进模型，Meta希望每个创作者与小企业，都能轻松创建自己AI Agent，提升客户服务与业务沟通的效率。
扎克伯格将当前对AI的怀疑态度，与20世纪90年代对互联网怀疑态度相提并论。他认为，随着时间推移，AI技术将被越来越多人接受与认可。开源方法，将有助于确保AI技术广泛应用，使更多人从中受益，减少对AI恐惧与反对。
Meta不仅关注技术开发，还重视将其整合到实际产品中，以便用户能从中受益。扎克伯格透露，Meta未来商业模式，将侧重构建最好的产品，而不是通过销售模型本身赚钱。通过开放生态系统，Meta希望推动更多企业与开发者参与进来，共同推动AI技术进步。
AI技术有潜力显著提升全球经济增长与生产力，开源AI将使更多国家、企业与个人能够利用最先进技术，促进全球创新与经济发展。
Mark Zuckerberg：我们第一次发布一个具有4,050亿参数的模型，这是迄今为止最复杂的开源模型，这是任何人所发布的最先进的开源模型。
Rowan Cheuang：我有点震惊你直接批评苹果及其封闭的方式，你能否详细讲述一下苹果在什么地方阻碍Meta？
Rowan Cheuang：你能否谈谈你对AI长期愿景，以及未来可能会发生的事情？
今天Meta发布了重大AI公告，你能否概述一下所有发布的内容，以及为什么它们很重要？
Mark Zuckerberg：今天大新闻是Llama-3.1发布，我们推出3个模型。我们第一次发布一个具有4,050亿参数的模型，这是迄今为止最复杂的开源模型，这是任何人所发布的最先进开源模型。
某些领域，它甚至超越一些领先的封闭模型。我非常期待看到人们如何使用它，特别是现在我们制定社区政策，允许人们将其用作教师模型来进行蒸馏与微调，可以创建他们想要的任何其他模型。
我们将4,050亿参数的模型进行蒸馏，制作了更新的现在在其尺寸上处于领先地位的7,000～8,000亿参数模型，它们也具有非常好的性能与成本效益比，我非常期待看到大家如何使用这些模型。
整体上看，这是开源AI的重要时刻。我一直认为开源AI将成为行业标准，它会遵循类似Linux发展路径。
Linux流行之前，有很多公司都有自己封闭版本的Unix。当时，没有任何开源项目能达到这种复杂程度，人们认为封闭开发模式是唯一可行方法。
最初，Linux取得一定立足点，它更便宜，开发者可以不同方式定制它。随着生态系统发展，它得到更多关注，变得更加安全，功能更强大。越来越多合作伙伴为其构建更多功能，这使其比任何封闭的Unix系统都更具能力。
今天Llama-3.1的发布，是一个类似转折点，Llama 有机会成为开源AI的标准，使开源成为AI行业标准。
即使在性能上未完全领先，在成本、可定制性、可以拿来微调与进行各种操作的能力方面，它都有巨大优势。开发者会充分利用这些优势，我们专注构建这个生态系统，围绕它可以开发出各种不同能力。
Rowan Cheuang：我看到所有基准测试结果，令人难以置信。这是首个具有4,050亿参数的开源前沿模型。你对人们用这个模型构建的任何具体现实世界的用例，特别感兴趣吗？
Mark Zuckerberg：我最感兴趣的，是看到人们用它来蒸馏与微调自己模型。这是第一个开源的前沿级模型，它不是第一个前沿级模型。已经有其他具有这种能力的模型，人们会希望直接在4,050亿参数的模型上进行推理，我们估计，这样做的成本将比GPT-4低50%左右，这对很多人来说是一个很大差异。
这世界上真正新的东西，是它是开源的，人们可以将模型蒸馏到任何他们想要的大小，用于合成数据生成，作为教师模型使用。
我们对未来愿景，不是说会有一个单一的东西。OpenAI有一种愿景，他们会构建一个大AI，Anthropic也有类似的愿景，Google也是。这从来不是我们愿景，我们愿景是应该有很多不同模型。
每个创业公司、每个企业、每个政府，都希望拥有自己的定制模型。当封闭生态系统比开源系统好得多时，使用现成的封闭系统是更好选择，即使你可以定制开源系统，性能之间仍然存在一些差距，但现在我们不再看到这种情况。
现在，开源弥合这一差距。你会看到模型广泛扩散，人们现在有动力定制与构建，并训练适合他们需求的模型，将他们数据训练到模型中。
像Amazon通过AWS，或者Databricks这样公司，提供的一整套服务，用于蒸馏与微调开源模型。
我们与这些合作伙伴，进行很多特定工作以实现这一目标。
还会有像Grok这样公司，他们在超低延迟推理方面，做了非常有趣的工作。
我非常期待将其交到他们手中，他们正在为推出而构建一些东西，这也将实现这一点。
还有一整套企业公司，像Dell、Scale.AI、Deloitte、Accenture，他们与世界各地的企业合作进行技术部署。
这些公司会帮助构建定制模型，无论是大型企业、还是政府，很多公司希望拥有一个可以训练定制数据的模型。很多公司不想通过API，将他们数据发送到Google或OpenAI。不是这些公司有特别隐私问题，而是出于类似人们喜欢加密与WhatsApp的原因。
人们希望拥有设计上安全的架构，他们数据可以保存在他们自己手中，会有一个围绕这些构建的完整市场。
我对所有这些都感到非常兴奋，这次我们采取更积极的立场，帮助构建生态系统，这是它增长，并为每个人创造更大价值的方式。
Rowan Cheuang：这是一个大事。
你们是如何教育开发者使用这些工具？更广泛说，Meta是否有计划或策略，来教育世界其他地方关于开源的重要性？
Mark Zuckerberg：Llama-3.1之前，我们做法主要是这样。Meta投资于此的根本原因，是我们希望确保我们可以获得领先的模型。
我们在移动互联网历史上的一些经验，我们不希望处于必须依赖某个竞争对手提供这种基础技术的地位，我们为自己构建了它。
Llama-3.1之前，我们本能认为，如果我们将其开源，就会有一个社区围绕它成长，扩展能力，使其对包括我们在内每个人都更有价值。最终，这不仅是一项技术，它是一个生态系统。为了使它对我们来说成为一个有用的东西，必须有一个广泛的生态系统。
Llama-3.1中，我们看到一个重大变化是，我们不仅是为自己构建它，然后将其发布给开发者使用，这次我们采取更加积极立场，建立合作伙伴关系，确保有一个公司生态系统可以用模型做有趣的事情，并以我们不会做的方式服务开发者。
我们不是公共云服务提供商，开发者市场不会来找我们构建他们的东西，我们希望确保所有这些公共云都能够很好进行这项工作。
这包括一些更基本功能，比如托管模型与提供推理服务。我们希望确保一些新功能可以实现，比如蒸馏与微调，这些在封闭模型中不太可能实现。我们必须与这些合作伙伴，进行特定的工作，来实现这一目标。也会有一些公司，如Grok，他们在超低延迟推理方面做了非常有趣的工作。
我对AI的担忧，不是苹果，而是其他公司，担心封闭生态系统的发展。某种程度上，我不是在说他们是坏人，而是这种系统的物理与激励结构，会推动你去限制某些事情。
如果生态系统像网络一样开发，更加强大，它会更健康。在移动互联网发展过程中，封闭模式获胜，苹果获得最多收益，可能有更多的安卓手机，但苹果几乎获取移动电话市场所有利润，这存在一定的近期偏见，这些是长期的周期。
iPhone 2007年推出，我们已经接近20年，这是一个漫长的周期，人们很容易忘记封闭模式不总是获胜。
回到PC时代，尽管很多人，尤其是使用Linux类比的人，可能不认为Windows是完全开放的，但相比苹果将操作系统与设备捆绑的方式，Windows的开放生态系统更胜一筹。
我希望是，下一代平台，包括AI与我们在增强与虚拟现实方面的工作，Meta希望站在建立开放生态系统一边。我们不仅希望建立一个封闭生态系统的替代品，还希望恢复行业状态，使开放生态系统成为领导者。
这是可能的，我们在AI、AR、VR方面都在取得良好进展。这也是我个人与哲学上的关注点，我感受到的创造力限制，在过去10～15年间，是移动互联网封闭模式的发展。
我不想深入讨论这个点，这是一个重要的议题。我们现在有Llama-3.1的4,050亿参数模型，它在一些关键基准测试中与最好的封闭模型竞争，甚至超过一些封闭模型，这本身就很惊人。
Rowan Cheuang：你信中还提到，Llama-4有望成为行业中最先进的模型，你对Llama-4有什么特别兴奋的地方？
Mark Zuckerberg：我们刚发布Llama-3.1，可能谈Llama-4为时过早。我们已经建立计算集群，准备大量数据，对架构有了一个大致概念，进行了大量研究实验来最大化性能。我认为Llama-4将是Llama-3的又一次大跃进，我们还有很多进展可以取得。
这是Llama首次发布，还有很多我想做的事情，包括推出多模态模型，我们在这一点上遇到一些不幸的挫折，我们将在未来几个月内推出它们，尤其是在欧盟以外地方。
现在谈Llama-4可能有点早，它肯定会很棒。管理公司时，计划计算集群与数据轨迹，不仅是针对Llama-4，而是未来4~5个版本的Llama，这是件有趣的事情。
这些都是需要长期投资的事情，建设数据中心、配套电力、芯片架构、网络架构等。
这个回答可能有点含糊，只是表达了一些一般的兴奋。Llama-3.1至少应该有一周的时间，让我们消化一下发布的内容，再谈未来。
Rowan Cheuang：接下来几周将是疯狂的，只因为Llama-3.1的发布。听到Meta已经在为Llama-4做准备，仍然令人兴奋。这个方面，你能否多谈谈你对AI长期愿景，以及未来可能会发生的事情？
Mark Zuckerberg：我很高兴从技术与产品角度，来谈论这个问题，既然我们已经谈论很多模型方面内容，我就先从产品开始。
我们愿景是，应该有许多不同AI与AI服务，而不仅是单一的AI，这影响了我们开源方法，影响了我们产品路线图。
MetaAI目前表现相当不错，我目标是在2024年底前，使它成为世界上使用最广泛的AI助手，我们很有希望在几个月内达到这一里程碑。
我们有能力与商业模式，来构建世界上最先进的模型，向所有人免费提供，这是一个巨大优势。
我们所有应用程序都非常容易使用，我对目前进展感到非常兴奋，这是我们所拥有的基本助手，这将是一件大事。
更重要的是，我们重点是让每个创作者与每个小企业，都能创建自己AI Agent，使每个人都能在我们平台创建他们想要的AI Agent。
如果你想想看，这些都是巨大市场。世界上有数亿小企业，非常重要的一点是，通过相对少量工作，一个企业可以通过几次点击，就能创建一个AI Agent来进行客户支持、销售，与所有客户沟通。
未来每个企业，都会像现在有电子邮件地址、网站、社交媒体一样，拥有一个他们客户可以交流的AI Agent。
我们希望为这些企业实现这一点，这将会是数亿甚至数十亿小企业的Agent。
对创作者来说，也是同样道理，我们平台上有超过2亿人自认为是创作者，他们主要利用我们平台来建立社区、发布内容，感觉这就像是他们工作的一部分。他们都有一个基本问题，就是一天时间不够用，无法与他们社区进行足够互动。
他们社区通常希望能有更多互动时间，时间总是不够用。这将是巨大突破，每个创作者，都可以从社交媒体获取所有信息，训练这些系统以反映他们价值观与业务目标，人们可以与之互动。这几乎就像是创作者创作的一个艺术品，人们可以不同方式与之互动。
还不包括所有其他人，将能够为自己创建不同AI Agent来做不同事情。我们将生活在拥有数亿、甚至数十亿不同AI Agent的世界里，可能最终AI Agent数量，会超过世界上的人口，人们将以各种不同方式与它们互动。这是产品愿景的一部分，有很多商业机会，这是我们希望赚钱的地方。
我们不会通过销售模型本身来赚钱，我们不是公共云公司。我们将通过构建最好的产品来赚钱，最好产品的重要组成部分是拥有最好模型，而围绕开源建立最好的生态系统，将帮助我们做到这一点。
这就是为什么所有这些，都对我们来说是一致的，也是为什么这对我们构建高质量产品，并取得最佳商业结果非常有价值，这也是为什么在哲学上是一致的。
我们不相信会有一个单一AI产品或模型，每个人都使用。我们根本上相信拥有多样化的模型集，每个企业与个人，都将希望拥有他们自己的东西，这将是非常有趣的，这也是让这个事情有趣的原因之一。
Rowan Cheuang：看到Meta将技术直接整合到产品中，向数十亿用户免费提供前沿AI模型，这是一个巨大的突破。在这个基础上，我有一个关于怀疑态度的最后一个问题。
20世纪90年代，对互联网的怀疑态度无处不在，最终反对它变得几乎是不合理的。现在关于AI的怀疑态度，似乎也在经历类似轨迹。
你认为我们正处于这一早期阶段，会有一个时刻，反对AI的态度，会像今天反对互联网一样被视为不合理吗？你认为哪些因素，将是改变这种看法的关键？
Mark Zuckerberg：人们有不同方式，来担忧某件事。
我很清楚的是，互联网在成功之前，经历了一次大泡沫破灭，所有对互联网持长远观点的人最终都是对的，但有时候事情发展比你预期的要慢，你需要有信心坚持下去，这是我意识到的一点。
我对Llama-3，以及Llama-4、Llama-5，将带来的所有解锁，感到非常兴奋，这将转化为更好产品。
现实是，很难提前知道某件事什么时候足够好，可以让数十亿人使用，然后准备好成为一个大生意。
我们现在都在投入大量资本来训练这些模型，人们可能会在相当长一段时间内亏钱，我不知道，也许这一切会更快发生，这很难说。
你更关心的是，人们对其生计的担忧。这方面，这也是开源方法、许多不同的个性化与定制化模型的重要原因之一。
如果这一发展仅由少数公司构建产品，并从中受益，人们只使用这些产品，可能他们喜欢与AI助手交谈，这对他们有价值，但如果这没有在某种程度上帮助提升所有人生活水平，最终会出现反弹。
Web2.0发展过程中，我花了一些时间思考，在AI、AR、VR等下一代技术中，如何不仅创建一个繁荣的产品集与经济生产力增长，还如何创建一个更好、更可持续的政治经济环境，让更多人感到他们从中受益，并支持这一系统。
我们在社交媒体方面做得相对不错，但从世界一些反馈与回应看，在AI与其他新技术方面，我们需要做得更好，以缓解人们对这些技术对他们生计、工作、生活影响的担忧。
开源大模型Llama 3.1震撼发布，真正全民GPT-4时代来了
时间：2024年7月24日
字数：2,655
Meta宣布推出迄今为止最强大开源模型Llama 3.1 405B，发布全新升级的Llama 3.1 70B与8B模型。
Llama 3.1 405B,支持上下文长度为128K Tokens，在基于15万亿个Tokens、超1.6万个H100GPU上进行训练，这是Meta有史以来第一个以这种规模进行训练的Llama模型。
研究人员基于超150个基准测试集的评测结果显示，Llama 3.1 405B,可与GPT-4o、Claude 3.5 Sonnet、Gemini Ultra等业界头部模型媲美。
扎克伯格发文称，除了比闭源模型成本与性能更优，405B开源模型将成为企业微调与训练较小模型的最佳选择。Meta AI宣布接入Llama 3.1 405B，推出AI图片编辑、AI编程、VR/AR设备智能助手等新功能。扎克伯格预测，Meta AI助手使用率，几个月后将超越ChatGPT。Meta AI
Meta开源生态圈已准备就绪。Meta与超过25个合作伙伴将提供Llama 3.1模型，包括亚马逊AWS、英伟达、Databricks、Groq、戴尔、微软Azure与谷歌云等。
迄今为止，所有Llama模型版本总下载量已经超过3亿次，与主流闭源模型能力相当的Llama 3.1模型发布，或许意味着，Meta要讲的开源模型故事刚刚开始。
405B开源模型对标GPT-4o，25家合作伙伴已就绪
Meta评估了超150个基准数据集的性能，Llama 3.1 405B在常识、可操作性、数学、工具使用与多语言翻译等一系列任务中，可与GPT-4o、Claude 3.5 Sonnet、Gemini Ultra相媲美。
现实场景中，Llama 3.1 405B进行与人工评估的比较，总体表现优于GPT-4o、Claude 3.5 Sonnet。
升级后的Llama 3.1 8B与70B模型，相比同样参数大小的模型，性能表现更好，这些较小参数的模型，支持相同的128K Tokens上下文窗口、多语言、改进的推理与最先进的工具使用，以支持实现更高级应用。
Meta更新了许可证，允许开发人员首次使用包括405B参数规模的Llama模型的输出来改进其他模型。
Meta开源生态进一步扩张，有超过25个企业推出Llama 3.1新模型。
亚马逊AWS、Databricks、英伟达正在推出全套服务，以支持开发人员微调与训练自己模型。
AI芯片创企Groq等，为Meta此次发布的所有新模型构建低延迟、低成本的推理服务。
这些模型将在亚马逊AWS、微软Azure、谷歌云、Oracle等主要云平台上提供服务。
ScaleAI、戴尔、德勤等公司，已准备好帮助企业采用Llama模型，并使用自己数据训练定制模型。
Llama 3.1 405B不仅是最强开源模型，还有望成为最强模型，开源与闭源的距离，再次大大缩短。
完整优化训练堆栈，专注于让模型可扩展
为了能基于15万亿个Tokens进行模型训练，同时在合理时间内实现研究人员想要的效果，Meta对训练堆栈进行完整优化。
解决上述难题方面，Meta选择专注于保持模型开发过程可扩展，并更直接的策略：
1、研究人员选择标准仅解码器的Transformer模型架构进行小幅调整，而不是采用MoE混合专家模型，可以最大限度提高训练稳定性。
2、研究人员采用迭代的后训练程序，每轮都使用监督微调与直接偏好优化。这使模型能够为每一轮创建最高质量的合成数据，提高每项能力的性能。
与此前Llama系列模型相比，Meta改进用于训练前与训练后的数据数量与质量。这些改进，包括为训练前数据开发更仔细的预处理与管理pipelines、开发更严格的质量保证，训练后数据的过滤方法。
正如大语言模型的Scaling Laws所预期的那样，Meta新旗舰模型优于使用相同策略训练的较小模型。Meta使用405B参数的模型，提高较小模型的训练质量。
为了支持405B参数模型的大规模推理，研究人员将模型从BF16到FP8进行量化，有效降低所需的计算要求，允许模型在单个服务器节点内运行。
在指令与聊天微调方面，研究人员通过在预训练模型之上进行几轮对齐以生成最终模型，每一轮都涉及监督微调SFT、拒绝采样RS、直接偏好优化DPO，使用合成数据生成，来生成绝大多数SFT示例，以生成所有功能中更高质量的合成数据。
Meta采取多种数据处理技术，以将这些合成数据过滤到最高质量，这使新模型能够跨功能扩展微调数据量。
数据方面，研究人员对数据进行仔细平衡，以生成具有所有功能的高质量模型。
例如，在短上下文基准上保证模型质量，使其能扩展到128K上下文长度。
Meta宣布推出一个整体的Llama系统。该系统除了涵盖Llama模型，还涉及多个组件协调、外部工具调用，以此助开发者开发比基础模型更强的定制产品。
Llama系统，将涵盖一系列新组件，包括开源新的安全工具，如多语言安全模型Llama Guard 3与即时注入过滤器Prompt Guard。
为了让分散的组件联接起来，Meta发布了对Llama Stack API的评论请求，这是一个标准接口，以此第三方项目更轻松利用Llama模型。
对普通开发者来说，使用405B规模的模型，仍是一项挑战，这需要大量计算资源与专业知识。
基于Llama系统，生成式AI开发，不仅是提示模型，每个人都应该可以利用405B模型完成更多任务，包括实时与批量推理、监督微调、针对特定应用评估模型、持续预训练、检索增强生成RAG、函数调用、合成数据生成等。
这是Meta迄今为止，推出的最大模型，未来将推出更多设备友好的尺寸、更多模式在Agent层面更新。
405B大模型爆改，Meta AI Quest智能语音助手升级
现在，Meta旗下多个终端，比如WhatsApp与Meta AI聊天机器人中都开始使用Llama 3.1 405B。
Meta AI目前已支持7种新语言，Meta本次推出一批新的Meta AI创意工具，主要聚焦视觉生成、数学与编码等领域。
首先视觉生成，Meta AI推出Imagine Me想象我图像生成提示功能，支持用户在Meta AI聊天中输入想象我，并添加提示，例如想象我是皇室成员或想象我在一幅超现实主义绘画中，就可以生成图像，并与朋友、家人分享。
Meta AI将上线Edit With AI使用AI编辑功能，用户可以通过点击鼠标轻松添加或删除对象，或更改与编辑它们，保持图像其余部分不变，比如将将猫改为柯基犬。
Meta AI还将支持将新制作的图片，添加到Facebook帖子中，以及Instagram、Messenger、WhatsApp等社交平台上。
数学与编程方面，用户可以通过分步解释与反馈，获得数学作业方面帮助，通过调试支持与优化建议，更快编写代码，通过专家指导，掌握复杂技术与科学概念。
用户可以结合Meta AI编码专业知识与图像生成功能，从头开始构建新游戏或对经典游戏进行全新演绎。
只需几分钟，即可将奇思妙想变成现实，甚至让用户直接预览游戏。
Meta AI适用于雷朋Meta智能眼镜，将于2024年8月，在美国与加拿大Meta Quest上以实验模式推出。
Meta AI将取代Quest上当前语音命令，让用户可以免提控制耳机、获取问题的答案、随时了解实时信息、查看天气等。
用户可以将Meta AI，与在头显中看到的视图结合使用，比如询问在物理环境中看到的事物相关情况。
结语：Meta再度落子大模型，开闭源之争生变
开闭源大模型之争仍在继续，从Meta Llama 3.1系列模型发布，开闭源大模型之间的差距正在缩小，大有齐头并进、互相赶超之势。
作为开源大模型阵营忠实拥趸者，也是技术创新先锋，Meta从Llama系列模型发布之初，坚定打造自己开源生态圈。
相比此前Llama模型，此次新模型发布，Meta将在内部组建团队，让尽可能多开发人员与合作伙伴使用Llama系列。
Meta再度落子，使得开闭源模型之争的定论，更加扑朔迷离。
归根结底，实际应用中，很多企业与开发者，会根据具体需求与情况，选择使用开源或闭源模型，模型的具体能力、适用的真实场景等，需要时间证明。
相关研报：
【智能时代】自动驾驶：汽车iPhone时刻，中国三大流派演化形成中
诸神之战：美国科技巨头，从春秋五霸进入战国七雄｜GBAT 2023 大湾区智能时代产业峰会
人类未来文明三部曲之二：智能时代专题预售开启，奇点临近，未来已来
九宇资本赵宇杰：智能时代思考，认知思维，存在原生、降维、升维三波认知红利
九宇资本赵宇杰：智能时代思考，以史为鉴，科技浪潮，从互联网到AI
九宇资本赵宇杰：智能时代思考，宇宙视角，从碳基生物，到硅基智能体
人类未来文明三部曲之一：元宇宙专题预售开启，59期45万字
九宇资本赵宇杰：1.5万字头号玩家年度思考集，科技创新，无尽前沿
九宇资本赵宇杰：1.5万字智能电动汽车年度思考集，软件定义，重塑一切
【重磅】前沿周报：拥抱科技，洞见未来，70期合集打包送上
【重磅】六合年度报告全库会员正式上线，5年多研究成果系统性交付
【智能电动汽车专题预售】百年汽车产业加速变革，智能电动汽车时代大幕开启
【头号玩家第一季预售】：科技巨头探索未来，头号玩家梯队式崛起
【头号玩家第二季预售】：科技创新带来范式转换，拓展无尽新边疆
【首份付费报告+年度会员】直播电商14万字深度报告：万亿级GMV风口下，巨头混战与合纵连横
【重磅】科技体育系列报告合集上线，“科技+体育”深度融合，全方位变革体育运动
【重磅】365家明星公司，近600篇报告，六合君4年多研究成果全景呈现
九宇资本赵宇杰：CES见闻录，开个脑洞，超级科技巨头将接管一切
【万字长文】九宇资本赵宇杰：5G开启新周期，进入在线世界的大航海时代｜GBAT 2019 大湾区5G峰会
九宇资本赵宇杰：抓住电子烟这一巨大的趋势红利，抓住产业变革中的变与不变
【IPO观察】第一季：中芯国际、寒武纪、思摩尔、泡泡玛特、安克创新等11家深度研报合集
【IPO观察】第二季：理想、小鹏、贝壳、蚂蚁、Snowflake、Palantir等12家公司深度研报合集
【IPO观察】第三季：Coinbase、Roblox、快手、雾芯科技等12家公司深度研报合集
【重磅】年度观察2019系列合集：历时3个多月，超20万字近500页，复盘过去，展望未来，洞悉变与不变
【珍藏版】六合宝典：300家明星公司全景扫描，历时3年，210万字超5,000页，重磅推荐
九宇资本赵宇杰：对智能电动汽车产业的碎片化思考
九宇资本赵宇杰：九宫格分析法，语数外教育培训领域的道与术
【2023回乡见闻录】90、00后小伙伴们万字记录，生活回归正轨，春节年味更浓
【2022回乡见闻录】20位90、00后2万字，4国13地，全方位展现国内外疫情防疫、春节氛围、发展现状差异
【2021回乡见闻录】22位90后2万字，就地过年与返乡过年碰撞，展现真实、立体、变革的中国
【2020回乡见闻录】20位90后2万字，特殊的春节，时代的集体记忆
【重磅】22位“90后”2万字回乡见闻录，讲述他们眼中的中国县城、乡镇、农村
六合君3周岁生日，TOP 60篇经典研报重磅推荐
下午茶，互联网世界的三国杀
5G助推AR开启新产业周期，AR眼镜开启专用AR终端时代
新商业基础设施持续丰富完善，赋能新品牌、新模式、新产品崛起，打造新型多元生活方式
【重磅】中国新经济龙头，赴港赴美上市报告合辑20篇
知识服务+付费+音频，开启内容生产新的产业级机遇，知识经济10年千亿级市场规模可期
从APP Store畅销榜4年更替，看内容付费崛起
新三板破万思考：新三板日交易量10年100倍？
九宇资本赵宇杰：科技改变消费，让生活更美好｜2017 GNEC 新经济新消费峰会
九宇资本赵宇杰：创业时代的时间法则，开发用户平行时间｜2016 GNEC 新经济新智能峰会
请务必阅读免责声明与风险提示