에이전트가 유용한 이유는 무엇입니까?

지난주 Matt Shumer는 AI에서 분명히 가속화되고 있는 것을 지적했습니다. 모델은 차세대 모델을 구축하는 데 도움이 되기 시작했습니다. 몇 시간이 걸리던 작업이 이제는 몇 분이면 완료됩니다. 개선 곡선은 천장이 어디인지 궁금할 정도로 가파르게 보입니다.

그러나 속도는 구조가 아닙니다. 기능은 시스템이 스택에서 어디에 속하는지 결정하지 않습니다. 오히려 시스템이 빨라질수록 배치와 제어가 더욱 중요해집니다.

Matt는 빠르게 변화할 것으로 예상되는 영역 중 금융을 나열합니다. 우리는 Stingray를 구축하면서 금융업계 이해관계자들과 많은 대화를 나누었습니다. 위험 관리자, 투자자, 거래자, 재무 담당자. 새로운 실패 모드를 만들지 않고 작업 흐름의 일부를 자동화하려는 개인 및 소규모 팀.

그리고 내가 계속 듣는 질문은 “그것이 무엇을 할 수 있는가?”가 아닙니다. 오히려 “어떻게 믿을 수 있습니까?”

속도가 시장을 만났을 때

시장에서는 이미 빠른 자율 시스템의 스트레스 테스트를 거쳤습니다.

Knight Capital은 누군가 사악한 알고리즘을 구축했기 때문에 실패한 것이 아닙니다. 배포를 통해 이전 코드 경로가 부활했습니다. 시스템이 거래를 시작했습니다. 계속 거래됐어요. 45분 후 4억 6천만 달러가 사라졌습니다. 새로운 것은 없습니다. 적이 없습니다. 단지 행동 허가를 받은 기계일 뿐이고, 그것을 막는 견고한 경계도 없고, 그것이 그 깊이를 벗어났는지 판단할 방법도 없습니다.

플래시 크래시(Flash Crash)도 비슷했습니다. 독립적인 알고리즘은 각각 설계된 작업을 수행하며 긴밀한 루프를 통해 서로 상호 작용합니다. 유동성이 사라졌습니다. 가격이 폭락했습니다. 그런 다음 뒤로 물러났습니다. 다시 말하지만, 단 하나의 불량 정보도 없습니다. 긴밀하게 결합된 시스템에서는 무한한 속도를 제공합니다.

반응은 예상 가능했다. 회로 차단기. 거래 전 위험 한도. 스위치를 죽여라. 의도와 실행 사이에 있는 컨트롤입니다.

금융은 위험이 큰 환경에서 추상적인 생존에 관한 것이 아니라는 점을 보여주는 훌륭한 예입니다. 위험조정수익률에 관한 것입니다. 엄청난 폭발의 가능성이 적으면서도 매력적인 수익을 창출하는 에이전트는 정교하지 않습니다. 객관적으로 잘못 평가된 위험입니다.

꼬리 위험은 평균보다 더 중요합니다

인프라 엔지니어링에서는 평균 사례에 맞게 최적화하지 않습니다. P95와 P99를 보세요. 시장에서는 꼬리 위험을 봅니다. 문제는 “얼마나 자주 맞는가?”가 아닙니다. “최악의 경우에는 어떻게 되나요?”

거기에는 이유가 있습니다. 단일 반례를 통해 시스템이 안전하지 않다는 것을 증명할 수 있습니다. 한 번의 치명적인 실패로 인해 천 번의 성공적인 실행이 무효화됩니다. 시스템이 어제 작동했음을 보여주거나 심지어 연속해서 수천 번을 보여줌으로써 시스템이 안전하다는 것을 증명할 수 없습니다. 안전은 위조될 수 있습니다. 반복만으로는 견고성을 증명할 수 없습니다.

제한된 시스템

항공은 수십 년 전에 이것을 알아냈습니다. 자동조종장치는 대부분의 시간을 비행합니다. 하지만 봉투 안에는 날아갑니다. 즉시 재정의할 수 있습니다. 센서가 고장나면 연결이 해제됩니다. 기계는 안정적인 체제를 처리합니다. 인간이 정권 붕괴를 처리합니다.

해당 경계는 LLM 기반 시스템이 안정적으로 예측할 수 있는 것이 아니기 때문에 아키텍처에 내장되어 있습니다. 설계상 확률적입니다. 문구를 조금만 변경하면 출력이 변경될 수 있습니다. 그들은 환각을 느낀다. 그들은 표류합니다. 그들은 빨리 개선됩니다.

인상적이다. 위험 프레임워크가 아닙니다.

모든 출력에 완전한 수동 확인이 필요한 경우 에이전트는 위험을 줄이지 않은 것입니다. 단지 그것을 옮겼을 뿐입니다. 지속적인 감사가 필요한 자동화는 자율성이 아닙니다. 인지 오버헤드입니다.

따라서 유용한 에이전트는 신뢰할 수 있으며 이는 제한적이라는 의미입니다. 금융에서는 엄격한 한도 이상으로 노출을 늘려서는 안 됩니다. 미리 정의된 손실 기준점을 넘어서 계속 거래되어서는 안 됩니다. 프롬프트가 진화했다고 해서 조용히 전략을 바꿔서는 안 됩니다.

그런 다음 가독성이 향상됩니다. 거래를 제안한 이유를 재구성하고, 본 내용을 감사하고, 일주일 후에 스토리텔링 없이 LP나 위험 위원회에 설명할 수 있어야 합니다.

그리고 스트레스를 받는 동안 안정성이 유지됩니다. 데이터 품질이 떨어지면 악화됩니다. 불확실성이 증가하면 더 많은 것이 아니라 더 적은 것이 됩니다. 정권이 바뀌면 정권은 잠시 멈추고 통제권을 완전히 돌려받게 됩니다.

봉투의 가장자리 감지

더 어려운 질문은 에이전트가 행동할 수 있는지 여부가 아닙니다. 봉투에서 나온 시점을 감지할 수 있는지 여부입니다.

에이전트가 한계를 벗어나는 시점을 알고 있나요?

상담원은 관찰, 요약, 시뮬레이션 및 제안에 능숙합니다. 10개의 대시보드 안에 살지 않고도 상시 시장을 따라잡는 데 도움이 될 수 있습니다.

집행권한은 본질적으로 다르다. 가속화하면 에이전트가 더욱 유용해집니다. 자동으로 판단을 내리지는 않습니다. 기능은 확장될 수 있습니다. 허가는 안됩니다.

실제 테스트는 간단합니다. 다음 정권이 무너지면 에이전트가 당황하거나 일시 중지됩니까?