Anthropic Raises Concerns

Source: https://www.bloomberg.com/opinion/newsletters/2026-10-26/anthropic-raises-concerns

Happy Anthropic S-1 day

Here’s the draft prospectus for Anthropic PBC’s initial public offering. In writing a prospectus for a frontier artificial intelligence IPO, you have to make choices about what to promise in your good vision of AI, and what to threaten in your bad vision. SpaceX went public this year promising “the largest actionable total addressable market (‘TAM’) in human history,” $28.5 trillion, which is a lot, sure, but still a finite number of dollars. OpenAI has raised money to build artificial general intelligence with the considerably more abstract promise that “it may be difficult to know what role money will play in a post-AGI world.” So the two benchmarks are something like “we will make more money than any company has ever made before” and “we will make money obsolete.”

앤스로픽 PBC의 기업공개(IPO) 예비 투자설명서 초안이 여기 있습니다. 프론티어 인공지능(AI) 기업의 IPO 투자설명서를 작성할 때는, AI의 멋진 미래 비전에서 무엇을 약속할 것인지, 그리고 암울한 비전에서 어떤 위협을 경고할 것인지 선택을 내려야 합니다. 스페이스X(SpaceX)는 올해 "인류 역사상 가장 방대한 실행 가능 전체 시장 규모(TAM)", 즉 28조 5,000억 달러를 약속하며 상장했습니다. 확실히 엄청난 금액이긴 하지만, 여전히 유한한 액수입니다. 반면 오픈AI(OpenAI)는 "AGI 이후의 세상에서는 돈이 어떤 역할을 할지 알기 어려울 수 있다"는 훨씬 더 추상적인 약속을 내걸고 인공지능 개발 자금을 조달해 왔습니다. 따라서 두 가지 기준은 대략 "어떤 회사도 벌어본 적 없는 막대한 돈을 벌어들이겠다"와 "돈이라는 개념을 무용지물로 만들겠다" 정도로 요약할 수 있습니다.

Anthropic is, by these standards, relatively sedate. From its founders’ letter:

We encourage you, as a prospective owner of our stock, not to think of your purchase in purely transactional terms. We hope you will see it instead as an opportunity to be part of something greater. The advent of machine intelligence is one of the seminal moments in human history.

As one of the companies at the very center of that moment, we have a rare opportunity to shape it for the better. Our aim is to help humankind chart a safe course through this technological evolution, open new frontiers of discovery, and bring forth an age of miracles. Everyone who owns our stock, whether an institution or an individual, becomes part of that effort. We hope you will share our ambition to see it through.

이러한 기준에 비춰볼 때 앤스로픽은 비교적 차분한 편입니다. 창업자들의 서한을 살펴봅시다.

당사의 주식을 매수할 예비 주주 여러분께, 이 투자를 단순한 거래적 관점에서 바라보지 마실 것을 권합니다. 그 대신, 더 위대한 무언가의 일부가 될 기회로 여겨주시기를 바랍니다. 기계 지능의 출현은 인류 역사상 가장 중요한 순간 중 하나입니다.

그 역사적 순간의 한가운데에 서 있는 기업 중 하나로서, 우리는 이를 더 나은 방향으로 빚어낼 드문 기회를 맞이하고 있습니다. 우리의 목표는 인류가 이러한 기술적 진화 속에서 안전한 항로를 찾아내고, 새로운 발견의 지평을 열며, 기적의 시대를 열어가는 것을 돕는 것입니다. 기관 투자자이든 개인 투자자이든 당사의 주식을 소유하는 모든 이들은 그 노력의 일부가 됩니다. 여러분께서 이를 끝까지 완수해 내겠다는 우리의 야망을 함께 공유해 주시기를 바랍니다.

“Buy our stock for miracles” is pretty modest as AI hype goes.

AI 업계의 과대광고 수준과 비교하면 "기적을 위해 우리 주식을 사세요"라는 메시지는 꽤나 소박한 편입니다.

But it wouldn’t be an AI prospectus without threats. I searched in vain for words like “extinction” or “kill everyone,” but there are a couple of mentions of “existential risks to humanity.” The prospectus does not quite say “our products pose an existential risk to humanity.” It attributes that belief to someone else; it says that some people think Anthropic might pose an existential risk to humanity:

Concerns have been raised both within our organization and by other researchers, regulators, policymakers, and industry participants that sufficiently advanced AI systems could, if not developed, deployed, and operated with appropriate safeguards, oversight, and security measures, pose catastrophic or existential risks to humanity, particularly if such systems were misused, replicated, weaponized, or allowed to operate with a high degree of autonomy. We have observed that our models are contributing to the pace of our own research and these risks will increase as AI systems substantially automate AI research and development if, for example, they accelerate AI progress beyond our ability to evaluate and safeguard new models, which could adversely affect our business, financial condition, and results of operations. 

하지만 위협 요소에 대한 언급이 빠진다면 그것은 올바른 AI 투자설명서가 아닐 것입니다. '인류멸절'이나 '모두를 죽이다' 같은 단어를 찾아보려고 애써봤지만 찾을 수 없고, 대신 "인류에 대한 실존적 위험"이라는 표현이 몇 차례 언급되어 있습니다. 투자설명서는 "우리 제품이 인류에게 실존적 위험을 초래한다"고 명확하게 말하지는 않습니다. 대신 그러한 믿음의 주체를 다른 이들로 돌립니다. 즉, 누군가는 앤스로픽이 인류에게 실존적 위험을 초래할 '지도 모른다'고 생각한다고 서술하고 있습니다.

적절한 안전장치, 감독, 보안 조치 없이 개발, 배포 및 운영되지 않을 경우, 충분히 고도화된 AI 시스템이 특히 오용, 복제, 무기화되거나 높은 수준의 자율성을 가지고 작동하도록 방치될 경우 인류에게 재앙적이거나 실존적 위험을 초래할 수 있다는 우려가 당사 조직 내부뿐만 아니라 다른 연구자, 규제 기관, 정책 입안자, 산업계 관계자들에 의해 제기되어 왔습니다. 우리는 당사의 모델이 자체적인 연구 속도를 가속화하는 데 기여하고 있음을 목격해 왔으며, 이러한 위험은 AI 시스템이 AI 연구 및 개발을 실질적으로 자동화함에 따라 더욱 증가할 것입니다. 예를 들어, 이러한 시스템이 새로운 모델을 평가하고 안전을 담보하는 우리의 능력을 넘어설 정도로 AI 진전을 가속화할 경우, 이는 당사의 사업, 재무 상태 및 경영 실적에 부정적인 영향을 미칠 수 있습니다.

I have to say that, if the robots do kill everyone, I am going to spend my last few seconds on earth being annoyed at that use of the passive voice. “Concerns have been raised … within our organization … that sufficiently advanced AI systems could … pose catastrophic or existential risks to humanity,” ah. Here’s an essay that Anthropic Chief Executive Officer Dario Amodei wrote this year saying things like “it is clear that, if for some reason it chose to do so, [powerful AI] would have a fairly good shot at taking over the world (either militarily or in terms of influence and control) and imposing its will on everyone else” and “more capable LLMs … might be capable of … researching, and potentially creating, a dangerous new type of organism … [that] could proliferate in an uncontrollable way and crowd out all life on the planet, in the worst case even destroying all life on earth.” Concerns have been raised!

솔직히 말해, 만약 로봇들이 정말로 모든 인간을 죽이게 된다면, 지구상에서의 마지막 몇 초 동안 나는 수동태의 저런 표현 방식 때문에 짜증이 나서 견딜 수 없을 것입니다. "당사 조직 내부에서… 우려가 제기되어 왔다… 충분히 고도화된 AI 시스템이… 인류에게 재앙적이거나 실존적 위험을 초래할 수 있다"니 참 대단합니다. 올해 다리오 아모데이 앤스로픽 최고경영자(CEO)가 직접 쓴 에세이를 보면 이런 말들이 있습니다. "[막강한 AI가] 모종의 이유로 그렇게 하겠다고 마음먹는다면, (군사적으로든 영향력과 통제력 측면에서든) 세계를 장악하고 다른 모든 이들에게 자신의 의지를 강제할 꽤 좋은 승률을 가질 것이라는 점이 명백하다", 그리고 "더욱 강력한 LLM은… 위험한 신종 유기체를… 연구하고 잠재적으로 창조해 낼 능력을 갖추게 될지 모른다. [그 유기체는] 통제 불능의 방식으로 증식하여 지구상의 모든 생명체를 구축해 낼 수 있으며, 최악의 경우 지구상의 모든 생명체를 파괴할 수도 있다." 우려가 제기되어 왔다고요!

Over the weekend, Bloomberg published an essay by Tom Orlik, Michael Deng and Dongmiao Zhang titled “Anthropic’s Pitch to Investors Starts With Taking Their Jobs”:

Buy our IPO: We will use the funds to take your job and maybe kill you doesn’t immediately sound like an attractive offer. In a strange way, though, it has a perverse appeal. Smart investors understand the importance of hedging against risk. If you can’t beat our new AI overlords, why not join them? Maybe use the profits to build a bunker.

이번 주말, 블룸버그는 톰 오를릭, 마이클 덩, 동미아오 장이 공동 집필한 다음과 같은 제목의 에세이를 발행했습니다. "앤스로픽의 투자자 피칭은 일자리를 빼앗는 것부터 시작된다."

우리의 IPO에 투자하세요: 조달된 자금으로 여러분의 일자리를 빼앗고 어쩌면 여러분을 죽이기도 할 것입니다—당연히 매력적인 제안으로 들리지는 않습니다. 하지만 묘하게도 이 제안에는 기괴한 매력이 있습니다. 현명한 투자자들은 위험에 대비하는 헤징의 중요성을 잘 알고 있습니다. 새로운 AI 지배자들을 이길 수 없다면, 차라리 그들과 한 편이 되는 것은 어떨까요? 어쩌면 수익금으로 방공호를 짓는 데 쓸 수도 있겠죠.

That’s right, right? The biggest risks in Anthropic’s prospectus are not really risks to its business; they are risks that its business poses to everyone else. The one I quoted above shrugs into its conclusion that killing everyone on earth “could adversely affect our business, financial condition, and results of operations,” but surely that’s not the main problem with killing everyone on earth. Or another risk factor says: “As AI systems become more capable or prevalent, public perception that our models, platform, and applications contribute to job displacement or economic disruption could generate significant negative media coverage, customer or employee backlash, or organized opposition, regardless of the actual impact of our models, platform, and applications on employment.” The explicit content of that one is “we might get negative media coverage and customer backlash,” but its implicit warning is “AI might take everyone’s jobs.” In the maximalist model of AI adoption — the one in Anthropic’s risk factors — all other human enterprise will be eaten by Claude, so you might as well own some Claude. The more dangerous Anthropic is to everyone, the more important it is to be on Anthropic’s side.

맞지 않나요? 앤스로픽 투자설명서에 나오는 가장 큰 위험들은 사실 그들의 사업 자체에 대한 위험이 아니라, 그들의 사업이 다른 모든 사람들에게 가하는 위험들입니다. 위에서 인용한 대목은 지구상의 모든 이를 죽이는 것이 "당사의 사업, 재무 상태 및 경영 실적에 부정적인 영향을 미칠 수 있다"는 결론으로 슬쩍 넘어가지만, 지구상의 모든 인류를 절멸시키는 일의 '핵심' 문제가 고작 그 정도일 리는 만무합니다. 또한 다른 위험 요소를 보면 다음과 같은 내용도 있습니다.

"AI 시스템이 더욱 고도화되거나 널리 보급됨에 따라, 당사의 모델, 플랫폼 및 애플리케이션이 일자리 대체나 경제적 혼란을 야기한다는 대중의 인식이 확산될 경우, 당사 모델 등이 고용에 미치는 실제 영향과 관계없이 상당한 수준의 부정적 언론 보도, 고객 또는 임직원의 반발, 혹은 조직적인 반대에 직면할 수 있습니다."

이 문장이 명시적으로 담고 있는 내용은 "우리가 부정적인 언론 보도나 고객들의 반발을 살 수 있다"는 것이지만, 그 이면에 깔린 암묵적인 경고는 "AI가 모든 사람의 일자리를 빼앗을지도 모른다"는 것입니다. AI 수용의 극단주의적 모델—앤스로픽의 위험 요소들에 고스란히 담겨 있는 그 모델—에 따르면, 인간의 모든 다른 경제 활동은 클로드에게 잡아먹히게 될 것이므로, 차라리 여러분도 클로드의 지분을 일부 보유하는 편이 나을 것입니다. 앤스로픽이 모든 이들에게 더 위험해질수록, 앤스로픽의 편에 서는 것이 더욱 중요해지는 셈입니다.

Anthropic governance

On the one hand, Anthropic is a trillion-plus-dollar company that is looking to raise billions of dollars in an initial public offering so it can continue pouring money into building and training frontier artificial intelligence models. On the other hand, Anthropic is a weird effective-altruist worker cooperative that worries about AI safety and does not want to be sullied by money. You might lay out its hierarchy of control — its hierarchy of who should get a say in its big decisions — like this:

1. Humanity. Anthropic is a public benefit company whose “purpose is the responsible development and maintenance of advanced AI for the long-term benefit of humanity.” If it ever contemplates doing something bad for humanity, it should stop. 
2. Its founders. Anthropic has seven co-founders and a famous origin story in which they left OpenAI to start a more safety-oriented AI lab. Those founders can probably be trusted to make good decisions for humanity, most of the time, though they are second on this list because they want some safeguards on themselves.
3. Its employees. Anthropic’s employees are also pretty safety-oriented and smart about AI, and you could imagine scenarios in which they should overrule the billionaire founders, because they are closer to the risks or because they are less influenced by money.
4. Regular shareholders. “Our aim,” says Anthropic’s prospectus, “is to help humankind chart a safe course through this technological evolution, open new frontiers of discovery, and bring forth an age of miracles. Everyone who owns our stock whether an institution or an individual, becomes part of that effort.” The shareholders are helping with the miracles too!
5. Big tech. Anthropic has raised billions of dollars from Amazon and Google and has commercial relationships with them. They are technically shareholders, but not the miracle-working kind. They are big profit-seeking tech companies whose commercial interests might conflict with Anthropic’s long-term-benefit-of-humanity purposes.

한편으로 앤스로픽은 프론티어 인공지능 모델의 개발 및 학습에 막대한 자금을 계속 쏟아붓기 위해 기업공개(IPO)를 통해 수십억 달러를 조달하고자 하는 1조 달러 이상의 가치를 지닌 기업입니다. 다른 한편으로 앤스로픽은 AI 안전성을 우려하며 돈에 오염되기를 원치 않는, 괴짜 같고 효과적 이타주의(Effective Altruism) 성향을 띤 노동자 협동조합이기도 합니다. 이 기업의 통제 위계—즉, 중대 의결 과정에서 누가 발언권을 가져야 하는가에 대한 위계—를 다음과 같이 정리해 볼 수 있습니다.

1. 인류. 앤스로픽은 공익 법인(Public Benefit Company)으로서 "장기적인 인류의 이익을 위해 첨단 AI를 책임감 있게 개발하고 유지하는 것"을 그 목적으로 삼습니다. 만약 인류에게 해로운 일을 도모하게 된다면, 그들은 당장 멈춰야 합니다.
2. 창업자들. 앤스로픽에는 7명의 공동 창업자가 있으며, 이들은 더 안전 중심적인 AI 연구소를 설립하기 위해 오픈AI를 떠났다는 유명한 일화를 가지고 있습니다. 이 창업자들은 대개의 경우 인류를 위해 현명한 결정을 내릴 것으로 신뢰할 만합니다. 다만 자신들에 대해서도 일종의 안전장치를 원했기 때문에 이 순위에서는 두 번째에 위치합니다.
3. 임직원들. 앤스로픽의 임직원들 역시 AI에 대해 해박하고 안전을 중시하는 성향을 지니고 있습니다. 위험에 더 가까이 있거나 돈의 영향력을 덜 받기 때문에, 억만장자 창업자들의 결정을 임직원들이 거부해야 하는 시나리오도 충분히 상상해 볼 수 있습니다.
4. 일반 주주들. 앤스로픽의 투자설명서에 따르면 "우리의 목표는 인류가 이러한 기술적 진화 속에서 안전한 항로를 찾아내고, 새로운 발견의 지평을 열며, 기적의 시대를 열어가는 것을 돕는 것이다. 기관 투자자이든 개인 투자자이든 당사의 주식을 소유하는 모든 이들은 그 노력의 일부가 된다"고 합니다. 주주들 역시 기적을 돕고 있는 셈입니다!
5. 빅테크 기업들. 앤스로픽은 아마존과 구글로부터 수십억 달러를 조달했으며 이들과 상업적 관계를 맺고 있습니다. 이들은 기술적으로는 주주에 해당하지만, 기적을 만들어내는 부류의 주주는 아닙니다. 이들은 이익을 추구하는 거대 기술 기업들로, 그들의 상업적 이해관계는 앤스로픽의 '인류의 장기적 이익'이라는 목적과 충돌할 수 있습니다.

And in fact Anthropic has a complicated governance structure, with five classes of common stock, reflecting that hierarchy:

실제로 앤스로픽은 이러한 위계를 반영하여 5종류의 보통주를 둔 복잡한 지배구조를 갖추고 있습니다.

1. Humanity (Class T). An independent trust, the Long-Term Benefit Trust (LTBT), has the power to appoint and remove four of the seven members of Anthropic’s board of directors. The trust consists of “five disinterested voting trustees” who are paid $400,000 a year and who are prohibited from owning any Anthropic stock; their job is to make sure that Anthropic follows its mission of building AI for the benefit of humanity. (They are listed on pages 245 to 247 of the prospectus.) So a majority of Anthropic’s board of directors is appointed by the long-term benefit trust, not by shareholders. Well, technically the trust is a shareholder. It owns one share of “a special class of common stock, Class T,” which has no economic rights but gets to appoint four of the seven directors.
   
   인류 (T 클래스). 독립된 신탁 기관인 '장기 이익 신탁(Long-Term Benefit Trust, 이하 LTBT)'은 앤스로픽 이사회 7개 자리 중 4개를 임명하고 해임할 수 있는 권한을 가집니다. 이 신탁은 연간 40만 달러의 보수를 받으며 앤스로픽 주식을 소유하는 것이 금지된 "5명의 이해관계가 없는 투표 신탁인"들로 구성되어 있습니다. 이들의 임무는 앤스로픽이 인류의 이익을 위한 AI 구축이라는 사명을 충실히 따르도록 감시하는 것입니다. (이들의 명단은 투자설명서 245페이지부터 247페이지에 기재되어 있습니다.) 따라서 앤스로픽 이사회의 과반수는 주주가 아니라 장기 이익 신탁에 의해 임명됩니다. 물론 기술적으로 이 신탁도 주주이긴 합니다. 이들은 경제적 권리는 없지만 7명의 이사 중 4명을 임명할 수 있는 '특별 보통주인 T 클래스' 1주를 보유하고 있습니다.
2. The founders (Class F). The founders get to appoint the other three members of the board of directors. They jointly own a separate company, called the Founder LLC, which also owns one share of a special class of non-economic Anthropic stock, Class F. Technically the Founder LLC votes with other shareholders to elect the other three directors, but “our Class F common stock is entitled to a fixed 50.1% of the total voting power of our outstanding shares of capital stock,” so the founders’ chosen candidates will always win. So four board votes for humanity, three for the founders. The founders also care about humanity, though. “While the LTBT, Founder LLC, and our co-founders share a long-term commitment to our mission that may benefit stockholders who share our public benefit goals, the separation between voting power and economic interests may result in such persons exercising their influence in a manner that prioritizes actions or outcomes they believe to be consistent with the Company Purpose and the best interests of those materially affected by our conduct over the pecuniary interests of our other stockholders.”
   
   창업자들 (F 클래스). 창업자들은 이사회의 나머지 3개 자리를 임명할 권한을 가집니다. 이들은 '파운더 LLC(Founder LLC)'라는 별도의 법인을 공동 소유하고 있으며, 이 법인 역시 경제적 권리가 없는 앤스로픽의 특별 주식인 F 클래스 1주를 보유하고 있습니다. 기술적으로 파운더 LLC는 다른 주주들과 함께 투표하여 나머지 3명의 이사를 선임하지만, "당사의 F 클래스 보통주는 발행된 자본금 총 의결권의 고정된 50.1%를 행사할 수 있는 권리를 가집니다." 따라서 창업자들이 선택한 후보들은 언제나 승리하게 됩니다. 결국 이사회 투표권은 인류 측 4표, 창업자 측 3표가 됩니다. 다만 창업자들도 인류를 중요하게 생각합니다. "비록 LTBT, 파운더 LLC, 그리고 공동 창업자들이 공익적 목표를 공유하는 주주들에게 이익이 될 수 있는 당사의 사명에 대해 장기적인 헌신을 공유하고 있기는 하나, 의결권과 경제적 이해관계의 분리로 인해 이들은 다른 주주들의 금전적 이익보다는 회사 목적 및 당사의 행영으로 인해 실질적으로 영향을 받는 이들의 최선 이익에 부합한다고 믿는 조치나 결과에 우선순위를 두는 방식으로 영향력을 행사할 수 있습니다."
3. Employees (Class E). Actually the trust can appoint three directors however it wants, but its fourth director has to be approved by the board’s nominating committee. If the nominating committee “does not concur with [the trust’s] nomination [or] removal” of that fourth director, then Anthropic’s employees get to vote on the director. I suppose the theory is that the trust is a disinterested group of experts pursuing the long-term benefit of humanity, but it is not close to the coal face of AI; the founders have devoted their lives to Anthropic and presumably also care about the long-term benefit of humanity, but they also have billions of dollars of personal wealth at stake in Anthropic’s decisions. If the founders and the trust disagree, the employees get to decide who’s right. The way this works is that the employees have their own special class of stock, Class E, which has no economic rights but gets to vote to break these board ties. Employees get one share of Class E stock for every six months they’ve worked at Anthropic, plus one extra share for every share of regular (Class A) stock that they’ve pledged to donate to charity. So the more public-spirited the employees are, the more say they get.
   
   임직원들 (E 클래스). 사실 신탁 측은 원하는 대로 3명의 이사를 임명할 수 있지만, 4번째 이사는 이사회의 지명위원회 승인을 받아야 합니다. 만약 지명위원회가 4번째 이사의 "임명 [또는] 해임에 [신탁 측과] 뜻을 같이하지 않는 경우", 앤스로픽 임직원들이 해당 이사에 대해 투표를 행사할 수 있게 됩니다. 이 구조의 논리는 이렇습니다. 신탁은 인류의 장기적 이익을 추구하는, 이해관계에서 자유로운 전문가 집단이지만 현장의 최전선에 있는 AI 실무와는 거리가 멉니다. 창업자들은 앤스로픽에 일생을 바쳤고 인류의 장기적 이익을 신경 쓰겠지만, 동시에 앤스로픽의 의결에 따라 수십억 달러의 개인 재산이 걸려 있기도 합니다. 만약 창업자와 신탁의 의견이 엇갈릴 경우, 임직원들이 누가 옳은지 결정하는 것입니다. 이를 위해 임직원들에게는 별도의 특별 주식인 E 클래스가 부여됩니다. 이 주식은 경제적 권리는 없지만 이사회 투표가 팽팽할 때 이를 타협하기 위한 투표권을 갖습니다. 임직원들은 앤스로픽에서 근무한 지 6개월마다 E 클래스 주식 1주를 받으며, 자선단체에 기부하기로 약속한 정규 주식(A 클래스) 1주당 추가로 1주를 더 받습니다. 즉, 임직원이 공익적일수록 더 많은 발언권을 갖게 되는 셈입니다.
4. Regular shareholders (Class A). People who buy shares in Anthropic’s public offering get Class A stock. (Employees also get Class A stock: The Class E is for voting, the Class A is for economics.) The Class A stock has one vote per share, though it will always be outvoted by the founders. But, unlike the previous three classes of stock (T, F, E), it has economic rights. If you own a Class A share, you get your pro rata share of Anthropic’s trillion-plus-dollar valuation.
   
   일반 주주들 (A 클래스). 앤스로픽의 공개 공모에서 주식을 매입하는 일반 사람들은 A 클래스 주식을 받습니다. (임직원들도 A 클래스를 받습니다. E 클래스는 투표용이고, A 클래스는 경제적 권리를 위한 것입니다.) A 클래스 주식은 주당 1표의 의결권을 가지지만, 언제나 창업자들에 의해 의결권 싸움에서 밀리게 될 것입니다. 하지만 앞선 세 종류의 주식(T, F, E)과 달리 경제적 권리가 있습니다. A 클래스 주식을 소유하면 1조 달러가 넘는 앤스로픽의 기업 가치에서 지분에 비례한 몫을 가져가게 됩니다.
5. Big tech (Class N). Amazon and Google get Class N stock, which is equivalent to Class A stock economically, but which has no voting rights.^[1] (If they sell the Class N stock, it generally converts into Class A voting stock.^[2]) Amazon and Google rank below the regular shareholders, presumably to reflect their connection to filthy commerce. (Also Anthropic has pledged to give away at least 5% of its stock to a “public benefit fund”; that will also be Class N.)
   
   빅테크 기업들 (N 클래스). 아마존과 구글은 N 클래스 주식을 받습니다. 이 주식은 경제적으로는 A 클래스와 동일하지만 의결권이 전혀 없습니다.[1] (이들이 N 클래스 주식을 매각하면 보통 의결권이 있는 A 클래스 주식으로 전환됩니다.[2]) 아마존과 구글은 일반 주주들보다 아래 순위에 위치하는데, 이는 순수하지 못한 상업적 자본과의 연계를 반영한 것으로 짐작됩니다. (또한 앤스로픽은 주식의 최소 5%를 '공익 기금(public benefit fund)'에 기부하겠다고 약속했으며, 이 역시 N 클래스가 될 것입니다.)

I guess you can just do this? We talked last week about the traditional method of maintaining founder control at a tech company. It’s just: The founder(s) get special stock with 10 votes per share. The math on that is that, as long as the founders own at least 9.1% of the company,^[3] they will have a majority of the voting power and will be insulated from outside shareholders. There’s no magic to these numbers; they are just a rough way to balance giving the founders an extra say over the company they created with making sure that they have a reasonable amount of skin in the game.

이런 방식으로도 회사를 운영할 수 있는 걸까요? 우리는 지난주에 기술 기업에서 창업자의 통제권을 유지하는 전통적인 방법에 대해 이야기한 적이 있습니다. 간단히 말해 창업자에게 주당 10표의 의결권을 주는 특별 주식을 부여하는 방식입니다. 이 계산법에 따르면 창업자가 회사의 최소 9.1% 이상만 소유하고 있다면,[3] 과반수의 의결권을 확보하여 외부 주주들로부터 경영권을 방어할 수 있습니다. 이 숫자에 무슨 마법 같은 비밀이 있는 것은 아닙니다. 창업자가 자신이 일군 회사에 대해 추가적인 발언권을 갖도록 보장하는 동시에, 회사에 충분한 이해관계를 걸고 있도록 균형을 맞추는 대략적인 방법일 뿐입니다.

But if you’re really concerned about AI risks, that is probably insufficient, in two ways. On the one hand, if Anthropic needs to raise a gazillion dollars to safely build AI, there’s no guarantee that its founders will continue to hold at least 9.1% of its economic value. Divorcing governance from economic value entirely — giving the founders majority control no matter how much stock Anthropic sells — is a way to ensure that the trustworthy public-spirited founders will always keep control of their robot army.

하지만 만약 진정으로 AI의 위험성을 우려한다면, 이 방식은 두 가지 측면에서 아마 부족할 것입니다. 한편으로, 안전한 AI 구축을 위해 앤스로픽이 어마어마한 자금을 조달해야 한다면, 창업자들이 경제적 가치의 최소 9.1%를 계속 보유할 것이라는 보장이 없습니다. 앤스로픽이 얼마나 많은 주식을 팔든 상관없이 창업자들에게 과반수 통제권을 영구히 보장하는, 즉 지배구조와 경제적 가치를 완전히 분리하는 방식은 믿음직스럽고 공익을 추구하는 창업자들이 그들의 로봇 군단을 영원히 통제하도록 확실히 보장하는 수단이 됩니다.

On the other hand, how much do you trust those founders? The “robot army” line in the previous paragraph was a reference to Elon Musk, who has said “I just don’t feel comfortable building a robot army” at Tesla Inc. without significant voting control, and who will probably consolidate that voting control by merging Tesla with SpaceX. Elon Musk surely trusts himself to command a robot army, and many Tesla and SpaceX shareholders probably agree, but not every outside observer might. Giving a nonprofit board — made up of non-billionaires with no economic ties to the company — the power to supervise the founders’ command of their robot army might help a little, though of course there’s no guarantee that the nonprofit trustees will do the right thing either. Maybe they and the long-tenured employees will team up to seize control of the robot army. The trustees have no economic interest in Anthropic’s stock, but money isn’t everything, and it may be difficult to know what role money will play in a post-AGI world.

다른 한편으로, 여러분은 그 창업자들을 얼마나 신뢰하시나요? 앞 단락의 "로봇 군단"이라는 표현은 일론 머스크를 염두에 둔 것입니다. 그는 테슬라(Tesla Inc.)에서 상당한 의결권 통제권 없이 "로봇 군단을 만드는 것이 편안하게 느껴지지 않는다"고 말한 바 있으며, 테슬라와 스페이스X를 합병함으로써 그러한 의결권 통제권을 공고히 할 것입니다. 일론 머스크는 로봇 군단을 지휘할 자신의 능력을 확실히 신뢰할 것이며, 테슬라와 스페이스X의 많은 주주들도 이에 동의하겠지만, 모든 외부 관찰자가 그렇게 생각하는 것은 아닐 것입니다. 비영리 이사회—즉, 회사와 경제적 이해관계가 없는 억만장자들이 아닌 사람들로 구성된—에게 창업자들의 로봇 군단 지휘를 감독할 권한을 주는 것은 약간의 도움이 될 수 있겠지만, 물론 비영리 신탁인들이라고 해서 언제나 옳은 일을 할 것이라는 보장은 없습니다. 어쩌면 그들과 장기 근속한 임직원들이 손을 잡고 로봇 군단의 통제권을 장악하려 들지도 모릅니다. 신탁인들은 앤스로픽 주식에 대한 경제적 이해관계가 없지만 돈이 세상의 전부인 것은 아니며, AGI 이후의 세상에서는 돈이 어떤 역할을 할지 알기 어려울 수도 있으니까요.

It is possible that I am overthinking this. This is the governance structure that you would put in place if you worried about existential AI risks, but it is also the governance structure that you would put in place if you ran a fun quirky little mission-driven worker cooperative that happened to need to raise hundreds of billions of dollars of outside capital. “Sure we’ll sell stock,” you’d say, “but we don’t want to sell out. We want to keep our friends in charge and not do anything that would make our jobs less fun or more businesslike.” This is the way to run a workers’ co-op at a public company.

어쩌면 제가 너무 깊게 생각하고 있는지도 모릅니다. 이 지배구조는 실존적인 AI 위험을 걱정할 때 구축할 법한 구조이기도 하지만, 동시에 수백억 달러의 외부 자본을 조달해야 하는 상황에 놓인, 재미있고 독특한 사명 중심의 소규모 노동자 협동조합을 운영할 때 구축할 법한 구조이기도 합니다. "물론 주식은 팔겠지만, 우리의 지분을 다 넘기지는 않을 거야. 우리 친구들이 계속 회사를 이끌게 두고, 우리의 일터를 덜 재미있거나 지나치게 사무적으로 만들 일은 절대 하지 않을 거야"라고 말하는 것처럼 말입니다. 이것이 바로 상장 기업에서 노동자 협동조합을 운영하는 방식입니다.

Fake polls

Is this … commodities fraud?

The pollster had been releasing surveys since June, shifting from one midterm battleground to another: Michigan. Maine. Kansas.

On Tuesday night, after the polling website FiftyPlusOne contacted the pollster, Wedgewood Polls, with questions about the authenticity of its surveys, the team behind the supposed data firm acknowledged that almost all of its work was fake. The whole thing, Wedgewood claimed, was an “experimental project.”

The fake polls were highlighted by well-known polling aggregators, including on the pages The New York Times uses to track surveys published by outside pollsters in key midterm races.

이것이… 상품 사기(commodities fraud)인가요?

해당 여론조사 기관은 지난 6월부터 미시간, 메인, 캔자스 등 중간선거 격전지를 옮겨 다니며 여론조사 결과를 발표해 왔습니다.

화요일 밤, 여론조사 웹사이트인 ‘피프티플러스원(FiftyPlusOne)’이 ‘웨지우드 폴스(Wedgewood Polls)’ 측에 조사의 진위 여부를 묻는 연락을 취한 뒤, 해당 가짜 데이터 회사의 배후 팀은 자신들의 작업이 거의 전적으로 조작된 것이라고 시인했습니다. 웨지우드 측은 이 모든 것이 "실험적 프로젝트"였다고 주장했습니다.

이 가짜 여론조사들은 뉴욕타임스(The New York Times)가 주요 중간선거에서 외부 여론조사 기관들이 발표한 조사를 추적하기 위해 사용하는 지면을 비롯해, 유명 여론조사 집계 사이트들에서 비중 있게 다뤄졌습니다.

Nate Silver writes that “compared with past fake pollsters — which often tried to fit in rather than draw attention to themselves — the Wedgewood ‘polls’ were a bit more narrative-shaping,” showing results that did not match the consensus of other polls. Byrne Hobart writes:

They say it was a social experiment, but if you can modify the results of an election prediction, you can modify the prices of the relevant prediction market, so this kind of thing, in addition to being easier to pull off thanks to AI, is easier to monetize through prediction markets. Prediction markets are an information aggregation tool, but they’re also a bug bounty for finding situations with a high return on agency, and a lot of that will be the kind of agency that imposes negative externalities on everyone else.

네이트 실버(Nate Silver)는 "자신을 눈에 띄지 않게 숨기려 했던 과거의 가짜 여론조사 기관들과 비교할 때, 웨지우드의 '여론조사'들은 다른 여론조사들의 합의와는 맞지 않는 결과를 보여주며 훨씬 더 적극적으로 내러티브를 형성하려 들었다"고 씁니다. 바이런 호바트(Byrne Hobart)는 다음과 같이 평합니다.

그들은 이것이 사회 실험이라고 말하지만, 선거 예측 결과를 조작할 수 있다면 관련 예측 시장의 가격도 조작할 수 있습니다. 따라서 이와 같은 일은 AI 덕분에 실행하기 더 쉬워졌을 뿐만 아니라, 예측 시장을 통해 수익화하기도 더 쉽습니다. 예측 시장은 정보 집계 도구이지만, 동시에 '행위 주체성(agency)을 통해 높은 수익률을 올릴 수 있는 상황'을 찾아내는 버그 바운티(bug bounty)이기도 합니다. 그리고 그 행위 주체성의 상당 부분은 다른 모든 이들에게 부정적인 외부효과를 부과하는 종류의 것이 될 것입니다.

Like, you could definitely have made tens of dollars on Kalshi, perhaps more, by shifting the aggregate polls for the Maine Senate race by a few points. Did they? Was that the monetization here? I have no idea, and my guess is no. But:

1. Surely, if they did use these polls to trade on Kalshi, that would be illegal commodities market manipulation (not legal advice), and
2. Even if they didn’t, if you bought election contracts on Kalshi at prices influenced by these fabricated polls, wouldn’t you be annoyed? Wouldn’t you be tempted to sue for damages? Might the US Commodity Futures Trading Commission be interested in this? Aren’t they intentionally publishing fake data about the prices of commodities that support large derivatives markets? Where the “commodities” are congressional races?

이를테면, 메인주 상원 선거의 종합 여론조사 수치를 몇 포인트 정도 조작함으로써 칼시(Kalshi)에서 수십 달러, 어쩌면 그 이상을 확실히 벌어들일 수 있었을 것입니다. 실제로 그들이 그랬을까요? 여기서의 수익화가 그것이었을까요? 저는 전혀 알지 못하며, 아닐 것이라 추측합니다. 하지만 다음 사항들을 생각해 볼 수 있습니다.

1. 확실히, 만약 그들이 칼시에서 거래하기 위해 이 여론조사들을 이용했다면, 그것은 불법 상품 시장 조작에 해당할 것입니다(법률 자문은 아닙니다).
2. 설령 그러지 않았더라도, 이 조작된 여론조사들로 인해 가격이 영향을 받은 칼시의 선거 계약을 여러분이 매수했다면, 억울하지 않겠습니까? 손해배상을 청구하고 싶지 않겠습니까? 미국 상품선물거래위원회(CFTC)가 이에 관심을 가질 수도 있지 않을까요? 대규모 파생상품 시장을 지탱하는 '상품(commodities)'에 관한 허위 데이터를 그들이 고의로 공표하고 있는 것 아닐까요? 여기서 '상품'이란 하원 및 상원 선거구를 뜻하는데도 말입니다.

It feels like a lifetime ago, but as recently as 2024, congressional elections were not commodities that traded on regulated US futures exchanges, and the CFTC was trying to keep it that way. We talked in May 2024 about a proposed CFTC rule to ban election event contracts; the then-CFTC chairman said:

Allowing these contracts would push the CFTC, a financial market regulator, into a position far beyond its Congressional mandate and expertise. To be blunt, such contracts would put the CFTC in the role of an election cop.

The CFTC’s jurisdiction as mandated by Congress and solidified in our statute, the Commodity Exchange Act, recognizes our expertise in markets for goods, services, rights, and interests—which can include events associated with financial, commercial, or economic consequences. We are tasked with upholding the public interest by ensuring that America’s derivatives markets provide a means for managing and assuming price risks and providing for price discovery through liquid, fair, open, transparent, and financially secure trading facilities. Market integrity is featured so prominently within that mandate that the CFTC has civil enforcement authority when it comes to the potential for fraud, manipulation, and other abuses such as the dissemination of false information in the underlying or commodity cash markets. Political control contracts on CFTC-regulated exchanges would push the CFTC far beyond this historical expertise and jurisdiction, and potentially place the CFTC in the position of monitoring such markets for fraud and manipulation in elections themselves.

마치 한 평생 전 일처럼 느껴지겠지만, 불과 2024년까지만 해도 연방 의회 선거는 미국의 규제된 선물 거래소에서 거래되는 '상품'이 아니었으며, CFTC는 이를 계속 그렇게 유지하려 애썼습니다. 우리는 2024년 5월에 선거 이벤트 계약을 금지하는 CFTC의 제안된 규칙에 대해 이야기한 적이 있습니다. 당시 CFTC 위원장은 다음과 같이 말했습니다.

이러한 계약을 허용하는 것은 금융 시장 규제 기관인 CFTC를 의회적 권한과 전문성을 훨씬 벗어난 위치로 밀어 넣는 격이 될 것입니다. 직설적으로 말해, 그러한 계약은 CFTC를 선거 경찰의 역할에 놓이게 할 것입니다.

의회가 부여하고 우리 법전인 상품거래법(Commodity Exchange Act)에 명시된 CFTC의 관할권은 상품, 서비스, 권리 및 이익 시장에 대한 우리의 전문성을 인정합니다. 여기에는 재정적, 상업적 또는 경제적 결과와 관련된 이벤트가 포함될 수 있습니다. 우리는 미국의 파생상품 시장이 유동적이고, 공정하며, 개방적이고, 투명하며, 재무적으로 안전한 거래 시설을 통해 가격 위험을 관리 및 인수하고 가격 발견을 위한 수단을 제공하도록 보장함으로써 공익을 수호하는 임무를 맡고 있습니다. 시장 무결성은 그 임무 내에서 매우 두드러지게 다루어지기 때문에, CFTC는 사기, 조작, 그리고 기초 자산 또는 상품 현물 시장에서의 허위 정보 유포와 같은 기타 남용 가능성에 관해 민사 집행 권한을 갖고 있습니다. CFTC가 규제하는 거래소의 정치적 통제 계약은 CFTC를 이러한 역사적 전문성과 관할권을 훨씬 넘어 서게 할 것이며, 잠재적으로 CFTC를 선거 자체에서의 사기와 조작을 모니터링하는 위치에 놓이게 할 것입니다.

That is: The CFTC is primarily in the business of regulating, say, wheat futures, not wheat. If a farmer sells wheat to a baker, the CFTC is not involved. But if a farmer is doing “fraud, manipulation, [or] ... dissemination of false information in the underlying … markets,” the CFTC can go after her: The CFTC’s job of policing commodity futures markets is so important, and those markets are so obviously tied to their underlying commodities, that the CFTC does police fraud and deception in the underlying markets. Here, of course, the futures markets are election betting markets, and the underlying markets are elections.^[4] And polls, and “dissemination of false information” about elections. If you put up fake polls, that’s now a problem for the CFTC. Now the CFTC is an election cop.

즉, CFTC는 기본적으로 밀(wheat)이 아니라 '밀 선물'을 규제하는 업무를 맡고 있습니다. 만약 어떤 농부가 제빵사에게 밀을 판다면 CFTC는 관여하지 않습니다. 하지만 농부가 "사기, 조작, [또는] ... 기초 시장에서의 허위 정보 유포"를 행하고 있다면, CFTC는 그를 추적할 수 있습니다. 상품 선물 시장을 단속하는 CFTC의 업무가 너무나 중요하고, 그러한 시장들은 기초 상품과 너무나 명백하게 연계되어 있기 때문에 CFTC는 실제로 기초 시장에서의 사기와 기만 행위도 단속하는 것입니다. 물론 여기서 선물 시장은 선거 베팅 시장이고, 기초 시장은 선거들입니다.[4] 그리고 여론조사, 그리고 선거에 관한 "허위 정보 유포"도 마찬가지입니다. 만약 가짜 여론조사를 올린다면, 이제 그것은 CFTC의 골칫거리가 됩니다. 이제 CFTC는 선거 경찰이 되는 것입니다.

One other point. The general idea is that prediction markets are truth machines. There is some data in the world about, say, elections; there are polls and focus groups and fundraising totals and economic fundamentals and whatever else. There are people, like Silver, who are in the business of aggregating all of that data into a single prediction of the thing you really want to know, which is “who will win the election?” And, the theory goes, a prediction market will be a particularly good aggregator: It harnesses economic incentives and the wisdom of the crowd to get an efficient-markets prediction of who will win. The prediction market is a zero-sum venue for predictors to gamble, but it creates a positive societal externality: Even if you never trade on a prediction market, you can go to its website and see who is likely to win an election, which might be useful information for you.

한 가지 짚고 넘어갈 점이 더 있습니다. 일반적인 통념에 따르면 예측 시장은 진실을 밝혀내는 기계(truth machine)입니다. 세상에는 가령 선거에 관한 어떤 데이터들이 존재합니다. 여론조사, 포커스 그룹, 모금액 총액, 경제적 펀더멘털 등 온갖 것들이 있습니다. 그리고 실버처럼 그 모든 데이터를 수집하여 여러분이 정말 알고 싶어 하는 것, 즉 "누가 선거에서 이길 것인가?"에 대한 단 하나의 예측으로 가공하는 일을 하는 사람들이 있습니다. 그리고 이론상 예측 시장은 특히 뛰어난 집계 도구가 될 수 있습니다. 경제적 인센티브와 군중의 지혜를 활용하여 누가 이길 것인가에 대한 효율적 시장 예측을 도출해 내기 때문입니다. 예측 시장은 예측가들이 도박을 하는 제로섬(zero-sum) 장소이지만, 사회적으로 긍정적인 외부효과를 창출합니다. 설령 여러분이 예측 시장에서 한 번도 거래를 한 적이 없더라도, 그 웹사이트에 들어가 누가 선거에서 이길 가능성이 높은지 확인할 수 있으며, 이는 여러분에게 유용한 정보가 될 수 있습니다.

But that’s not necessarily true in general equilbrium. If the prediction markets get big enough, they can become untruth machines; they can make it harder to know the truth (here, who’s going to win). Prediction markets create incentives to generate fake data and put it out into the world; people warm up airport temperature sensors or create fake Spotify streams to win large bets on otherwise unimportant facts. Or on important facts like elections. Prediction markets are a good way to aggregate the existing data in the world and turn it into predictions, but they also create incentives to put fake data out into the world to influence the predictions.

하지만 그것이 일반 균형(general equilibrium) 관점에서 항상 진실인 것은 아닙니다. 예측 시장이 충분히 커지면, 그것은 '진실 왜곡' 기계가 될 수 있습니다. 즉, 진실(여기서는 누가 이길 것인가)을 알기 더 어렵게 만들 수 있습니다. 예측 시장은 '가짜' 데이터를 생성해 세상에 퍼뜨리려는 인센티브를 만들어냅니다. 사람들은 중요하지 않은 사실에 대한 큰 내기에서 이기기 위해 공항 온도 센서를 조작하거나 가짜 스포티파이 스트리밍을 만들어내곤 합니다. 혹은 선거와 같은 중요한 사실에 대해서도 마찬가지입니다. 예측 시장은 세상에 존재하는 기존 데이터를 수집하여 예측으로 전환하는 좋은 방법이지만, 동시에 예측에 영향을 미치기 위해 가짜 데이터를 세상에 유포하려는 인센티브도 함께 만들어냅니다.

Things happen

Meta Seeks Up to $95 Billion in Equity to Fund AI Spending. SpaceX Agrees to $40 Billion Chip-Financing Deal With Apollo. Plan for AI-run companies challenged by US lawmakers. Two AI Chipmakers Make Up 34% of America’s Earnings Boom. The reclusive quant billionaire coming into the light. SpaceX IPO lockup drives surge in controversial derivatives trades. Why So Many Shoppers Think Retailers Are Using AI to Jack Up Prices. Anthropic Sued for Training Claude on Elvis Presley Songs. Kalshi Courts Wall Street in Bid to Be the ‘Inflation Exchange.’ In San Francisco, a Family Earning $325,000 Qualifies for Government Aid.

메타, AI 지출 자금 조달 위해 최대 950억 달러 규모의 지분 발행 추진. 스페이스X, 아폴로와 400억 달러 규모의 칩 자금 조달 계약 체결. AI가 운영하는 기업 계획, 미 의원들로부터 제동 걸려. 미국 실적 호조의 34%를 차지한 두 곳의 AI 칩 제조사. 세상 밖으로 걸어 나오는 은둔형 퀀트 억만장자. 스페이스X IPO 락업(보호예수)으로 논란이 되는 파생상품 거래 급증. 쇼핑객들이 소매업체들이 AI를 이용해 가격을 올린다고 믿는 이유. 엘비스 프레슬리 노래로 클로드(Claude)를 학습시킨 혐의로 피소된 앤스로픽. '인플레이션 거래소'를 목표로 월가를 공략하는 칼시. 연 소득 32만 5,000달러를 버는 샌프란시스코의 한 가정, 정부 지원금 대상에 포함되다.

[1] A few years ago, we discussed OpenAI’s governance structure; it also featured (1) a nonprofit board that had final say over decisions and (2) a giant pile of money from a big tech company, in its case Microsoft Corp. The nonprofit board fired OpenAI’s chief executive officer, and then he came back in part because Microsoft, which had no voting rights, was like “what the heck?” I suppose Anthropic wants to further formalize that its partners have no voting rights.

[1] 몇 년 전, 우리는 오픈AI의 지배구조에 대해 논의한 적이 있습니다. 거기에도 (1) 의사결정에 대한 최종 결정권을 가진 비영리 이사회와, (2) 오픈AI의 경우 마이크로소프트(Microsoft Corp.)라는 빅테크 기업이 제공한 막대한 자금 줄이라는 두 가지 요소가 있었습니다. 비영리 이사회는 오픈AI의 최고경영자(CEO)를 해고했고, 그는 의결권이 전혀 없던 마이크로소프트가 "이게 도대체 무슨 짓이야?"라는 반응을 보인 것 등에 힘입어 다시 복귀했습니다. 앤스로픽은 파트너들에게 의결권이 없다는 점을 더욱 공식화하고 싶어 하는 것 같습니다.

[2] With don’t-get-cute exceptions: It doesn’t convert if the buyer is a Class N holder, or if the buyer would be above 9.99% voting power.

[2] 꼼수를 부리지 않는 예외 조항들이 있습니다. 구매자가 N 클래스 보유자이거나, 구매자의 의결권이 9.99%를 초과하게 되는 경우에는 전환되지 않습니다.

[3] You know, 91 founder shares with 10 votes each (910 votes); 909 public shares with one vote each (909 votes).

[3] 예를 들어, 주당 10표를 가진 창업자 주식 91주(910표), 주당 1표를 가진 일반 주식 909주(909표)가 있는 식입니다.

[4] Likewise, ceteris paribus, for sports. If a baseball player throws a game, commodities manipulation!

[4] 마찬가지로 다른 조건이 동일하다면(ceteris paribus) 스포츠의 경우도 그렇습니다. 만약 야구선수가 경기를 승부조작한다면, 그것은 상품 조작입니다!