虽然NatML在过去的几周里一直处于某种程度上的秘密测试期，但我们已经花了很多时间来学习交互式媒体开发人员如何通过机器学习来增强他们的应用程序。我们听到了从应用心理学研究到混合现实的辅助技术的一切。While NatML has been in a somewhat of a stealthy beta

在所有这些用例中，我们都遇到了相同的一组基本挑战：模型发现、模型交付和模型优化。现在，经过几周的黑客攻击，我很高兴地宣布，我们试图用一个简单而全面的解决方案来解决这些挑战：NatML Hub。NatML Hub

轻松发现模型

每次我们询问时，NatML beta程序中的开发人员都会告诉我们他们打算用运行时创建什么应用程序。但在许多情况下，这些应用程序与构建它们所需的模型之间没有明确的映射。而且，即使有可用的公共模型，它通常也不会针对实时移动使用进行优化。

这一动态与我们的基本论点完全一致：交互式媒体开发人员希望将ML集成到他们的应用程序中，但没有这样做的资本、数据、基础设施和知识。因此，将创建自包含即插即用预测器的责任转移给ML实践者是最有意义的。这就产生了枢纽市场。

Hub Market是一个高度联合的机器学习交易所，开发者可以在这里找到并使用预测器。NatML引入了预测器的概念：使用一个或多个ML模型进行预测的轻量级原语。这个概念允许我们完全标准化在代码中使用ML模型的方式，无论模型需要什么样的预处理或后处理。它还完全消除了开发人员熟悉机器学习概念的需要：highly federated machine learning exchange

有了这个系统，作者可以专注于构建全面满足应用程序需求的自包含预测器，而不是简单地提供原始ML模型。另一方面，开发人员可以使用这些“纳米库”，它们完全满足他们的需求，通常只需要一行代码就可以充分利用机器学习的全部功能：

如果您想在Hub上发布您的模型，请联系我们！我们将在接下来的几周里包括付费模特，让你有能力从你的辛勤工作中赚钱。reach out to us

规模化交付模式

我们面临的第二个挑战集中在模型尺寸上。ML模型可以很大-非常大。典型的机型在20MB到100MB之间；虽然这对某些人来说可能很小，但对于应用程序开发人员来说，它恰好太大了。因为我们专注于交互式媒体应用程序，所以每增加一兆字节，就会占用应用程序内容(如3D角色、环境和纹理)的重要空间。

增加这一挑战的是，许多应用程序商店对应用程序二进制文件的大小有限制。即使应用程序碰巧低于限制，大的二进制文件也意味着更长的下载时间。因此，在5G蜂窝网络和光纤本地网络变得司空见惯之前-目前在美国还处于萌芽状态，在全球受众中非常罕见-我们必须建立基础设施，以实现高效的模型交付。这会导致集线器下降。

Hub Drop是一种托管模型交付服务，它使用高速边缘网络随时随地向您的用户提供ML模型。我们已经构建了此基础设施，因此您不必这样做；事实上，您已经看到Hub在运行中下降了：

Hub Drop为开发人员提供了两个显著的优势。首先，它允许你在不需要应用程序更新的情况下向用户发布新的模型；这项技术在Snapchat等社交应用程序中非常流行。第二点是：

数据驱动的模型优化

当我们构建Hub Drop时，我们意识到它可以彻底改变我们处理模型优化的方式。以减少预测延迟为单一目标的模型优化本身就是一个研究领域。虽然文献涵盖了跨越模型设计和预测的技术，但只有后者与NatML相关。While the literature

如果你阅读任何关于这个主题的随机文章或研究论文，指导方针往往是大致相同的：应用量化，这会降低模型计算图形的精度，希望更快地执行。这些准则的明显限制是它们没有考虑执行模型的设备。但这是一个极其重要的细节，因为不同的设备有不同的处理器，每个处理器都有不同的性能特征。

为每一台设备优化模型是很困难的，但这正是Hub Optim所做的。每次设备请求模型时，集线器都会决定该模型的哪个版本以及提供什么相应的优化方案。由于Hub聚合了预测分析数据，因此它能够对每个模型、请求所述模型的每个设备执行离散优化。

对于目光敏锐的读者来说，这有一个重要的结果：随着越来越多的用户使用NatML Hub的型号，每种型号在每台设备上的性能都会渐近增加。因此，Hub Optim可能是Hub平台最关键的组件。Hub Optim仍在开发中，但将自动为Hub上的所有型号启用。这意味着，即使你打算在你的应用程序中使用你自己的私人模型，你也可以从在NatML Hub上托管它们而不是自己托管它们中获益。

随着NatML运行时在测试版中稳定下来，我们决定首先专注于服务独立开发人员。我们相信，如果我们能够构建一个能够非常迅速地为这些开发人员提供价值的解决方案，他们中的许多人没有资源自行开发或部署ML管道，那么我们就可以构建一个可以服务于所有开发人员的解决方案，无论其规模是大是小。

实验还在继续。我想向迈穆纳、伊尔特、肖恩和其他在这一点上提供了重要的-而且往往是关键的-反馈的人大喊一声。我们的下一个目标？一百万个预测。

-兰雷·奥洛科巴(Lanre Olokoba)。

加入NatML等待名单和关于不和谐的NatSuite社区。Join the NatML waitlist NatSuite community on Discord