上周，马特·舒默 (Matt Shumer) 指出了人工智能领域明显正在加速发展的事情。模型开始帮助构建下一代模型。过去需要几个小时的任务现在只需几分钟。改进曲线看起来足够陡峭，足以让你怀疑天花板在哪里。
但速度不是结构。能力并不能决定系统在堆栈中的位置。如果有的话，系统越快，其布局和控制就变得越重要。
马特将金融列为他预计将迅速改变的领域之一。在构建 Stingray 时，我们与金融行业的利益相关者进行了大量对话。风险经理、投资者、交易员、财务主管。个人和小团队试图在不创建新的故障模式的情况下实现部分工作流程的自动化。
我不断听到的问题不是“它能做什么？”而是：“我怎么能相信它呢？”
当速度遇见市场
市场已经对快速自主系统进行了压力测试。
Knight Capital 的失败并不是因为有人构建了邪恶的算法。部署恢复了旧的代码路径。系统开始交易。它继续交易。四十五分钟后，4.6亿美元就消失了。没什么新奇的。没有对手。只是一台获得行动许可的机器，没有严格的边界来阻止它，也无法判断它是否超出了它的深度。
闪电崩盘的情况类似。独立的算法，每个算法都执行其设计的任务，在紧密的循环中相互馈送。流动性消失了。价格暴跌。然后猛然回过神来。再说一次，没有任何一个流氓情报。在紧密耦合的系统中只有无限的速度。
反应是可以预见的。断路器。交易前风险上限。终止开关。位于意图和执行之间的控制。
金融业是一个很好的例子，它说明了在高风险的环境中，它与抽象的生存无关。这是关于风险调整后的回报。一个能够产生可观回报同时带来巨大爆炸的可能性很小的代理并不复杂。这是客观上错误定价的风险。
尾部风险比平均值更重要
在基础设施工程中，您不会针对平均情况进行优化。你看看P95和P99。在市场中，你会关注尾部风险。问题不是“正确的频率是多少？”这是“最坏的情况下会发生什么？”
这是有原因的。您可以通过一个反例来证明系统不安全。一次灾难性的失败会使一千次成功的运行失效。你不能通过证明一个系统昨天有效，甚至连续一千次有效来证明它是安全的。安全性是可以证伪的。鲁棒性不能仅通过重复来证明。
有界系统
航空业几十年前就发现了这一点。大部分时间自动驾驶仪都在飞行。但它在信封内飞行。它可以立即被覆盖。当传感器发生故障时，它会脱离。机器处理稳定的状态。人类处理政权的崩溃。
该边界已内置于架构中，因为基于 LLM 的系统无法可靠地预测它。它们的设计是概率性的。措辞的微小变化可能会改变输出。他们产生幻觉。他们随波逐流。他们进步很快。
令人印象深刻。不是风险框架。
如果每个输出都需要完整的手动验证，那么代理并没有降低风险。它只是移动了它。需要不断审核的自动化并不是自治。这是认知开销。
因此，一个有用的代理是值得信赖的，这反过来又意味着有界。在金融领域，风险敞口的增加不应超出硬性限制。它不应该让交易持续超过预定的损失阈值。它不应该因为提示的变化而默默地改变策略。
然后是易读性。你应该能够重构它提出交易的原因，审核它所看到的内容，并在一周后向有限合伙人或风险委员会解释，而无需讲故事。
然后是压力下的稳定性。当数据质量下降时，情况就会升级。当不确定性增加时，它的作用会减少，而不是增加。当政权发生转变时，它会停下来，干净利落地收回控制权。
检测信封边缘
更困难的问题不是代理人是否可以采取行动。而是你能否检测到它何时离开信封。
你知道你的经纪人什么时候超出了极限吗？
代理人善于观察、总结、模拟和建议。它们可以帮助您跟上永远在线的市场，而无需住在十个仪表板中。
执行权限本质上是不同的。加速使代理更有用。它不会自动授予他们判断力。能力是可以扩展的。许可不应该。
真正的测试很简单。当下一个政权崩溃袭来时，你的特工会惊慌失措——还是停顿下来？
网页