2026년 7월 27일, 앤트로픽는 발표했다 다리오 아모데이의 오픈 웨이트 모델에 대한 입장. 조각은 1개의 논쟁에 관하여 주의합니다. Amodei는 열린 무게에 담요 금지를 원하지 않으며, 나쁜 배우를 떠나면서 외국 모델에서 미국 비즈니스를 잠금하는 규칙을 원하지 않습니다.

그런 다음 그는 악몽들을 순위 매긴다.

1 차: 모든 중국 Communist 당의 위 권위있는 정부는, 미국 보다는 AI를 더 강력하게 건설하고 영원한 군 우량 또는 깊은 repression를 위해 그것을 이용합니다. 두 번째 : 사이버 공격, 생물학적 공격, 그리고 "각종 정렬 문제." 따르는 구약은 레이스 툴킷입니다. 중국에서 칩을 유지, 산업 증류를 중지, 릴리스 전에 안전 테스트를 필요로, 앞서 체재.

그 순위는 잘못되고, 인수의 나머지는 그것을 기반으로합니다.

그가 옳게 짚은 점

미국 기업만 오픈 웨이트 모델 사용을 막는 금지는 범죄자, 외국 정보 기관, 또는 준수할 계획이 없었던 누구에게도 거의 아무런 영향을 미치지 않습니다. 이를 "안전"이라고 부르면서 주로 폐쇄된 미국 연구소를 경쟁으로부터 보호하는 것은 속임수입니다. 아모데이가 분명히 말했고, 그는 옳습니다.

감시와 억압에 사용되는 인공지능은 초지능보다 낮은 규모에서도 실제 공포입니다. 독재 정권은 이미 얼굴 인식, 사회 점수, 자동 검열을 남용하고 있습니다. 더 유능한 시스템은 그 기계를 더 저렴하고 벗어나기 어렵게 만듭니다. 이를 두려워하기 위해 공상 과학이 필요하지 않습니다.

열려있는 무게는 1방향 문 문제를 일단 모형이 진짜 손상을 할 수 있는 올려주기합니다. 실험실을 떠나는 무게는 회신 할 수 없습니다. 그 시점에서 그의 이차적 인 우려가 공개 가중치 최전선 위험. 오직 응용 프로그래밍 인터페이스에만 존재하는 안전장치는 완전한 답이 아니며, 그렇다고 아무것도 아니지도 않습니다.

그 상

권위주의 정부는 구축 더 강력한 모델과 그것들을 사용 영원한 군 우월을 달성하기 위하여 또는 그들의 자신의 사람들을 repress. 모델은 도구이며, 국가는 사용자이며, 승리는 한쪽은 더 똑똑한 무기를 보유합니다.

그것은 인간의 명령 아래 머무르는 드론, 사이버 도구, 감시 스택에 적합합니다. 인공 초지능에는 적합하지 않습니다.

건물을 짓는 기관보다 스마트 시스템은 사람들의 해방군의 손에 소총이 아니라 Pentagon의 손에 소총이 아닙니다. Amodei와 같은 위험 사람들이 알고있는 년을 설명하는 것은 실제, 마무리 라인은 계획,, 인수 리소스를 계획하는 자체 용량과 에이전트이며, 폐쇄를 저항합니다. 실험실, 또는 ministry, 그 "wins"는 대리인을 소유하지 않습니다. 그것은 그것을 가진 행성을 공유합니다. Arriving first at a system you cannot command is losing one step ahead of everyone else.

영구적인 군사 우위는 군대를 쓸모없게 만든 존재가 여전히 통제하고 있다는 가정을 전제로 합니다.

아모데이 자신의 부차적 목록조차 이를 거의 인정한다. ‘심각한 정렬 문제’는 통제 상실에 대한 정중한 이름이다. 그는 그것을 두 번째에 놓는다. 그는 주요 화력을 누가 먼저 도달하느냐에 쏟는다. 그 순서는 그가 여전히 어떤 이야기를 하고 있는지 말해준다: 지정학이 먼저고, 종으로서의 위험은 부수적이다.

두 가지 위험, 하나의 라벨

혼란의 일부는 언어적이다. "강력한 AI"라는 말은 더 나은 첩보 카메라와 운영자를 능가하는 마음을 모두 가리킨다. 이 둘은 서로 다른 정치가 필요한 전혀 다른 대상이다.

좁은 중간 규모의 AI는 인간의 손에 집중할 수 있습니다. 모든 시민을 득점하는 실내 사역은 장인의 순서, 각 메시지를 읽는 경찰 힘의 밑에 군대를, 군사합니다: 이들은 더 나은 공구를 가진 인간적인 tyrannies입니다. 그들은 승자가 종을 짓는 것과 같은 문제가 아닙니다.

Superintelligence는 두 번째 객체입니다. 북경 Xinjiang에 사용, 또는 태평양에 그것을 사용하여 워싱턴, 여전히 누군가의 손에 무기로 시스템을 치료. Nobody는 "use"가 오른쪽 동사이기 때문에 그것을 사용합니다. 도난 칩과 더 깊은 CCTV를 가진 멸종 종류 체계를 덤불로 둘러싸는 멸종 종류 체계는 더 단단한 주장을 도취하는 동안 실제적인 억압에서 도덕적 인 무게를 쫓아냅니다: 전혀 통제할 수없는 일을 건설하지 마십시오.

그 중국 신화 은 이 움직임의 국내판입니다. "그들은 어차피 만들 것이다"는 우리가 해야 한다고 제시되는 이유입니다. 정렬되지 않은 초지능은 중난하이를 살려주지 않습니다. 베이징은 우리가 그 선을 넘지 말아야 할 것과 같은 이유를 가지고 있습니다. 칩과 앱을 둘러싼 경쟁은 실재합니다. 소유할 수 없는 마음을 풀어주는 주체를 둘러싼 경쟁은 공유된 재앙을 국가 순위표로 바꾸는 이야기입니다.

해결책들이 경쟁을 유지한다

Amodei의 세 가지 측정이 최적화 된 것을보십시오. 칩 수출 통제 느린 중국 훈련 뛰기 및 증류 Crackdowns 느린 catch-up. Mandatory Testing는 사이버, 생명, 그리고 배포하기 전에 정렬 실패를 잡기위한 것입니다. 각은 더 적은 해를 위한 적당한 계기일 수 있습니다. 함께, 프로그램으로, 그들은 당신이 여전히 승리하려는 경주를 관리하는 방법입니다.

그들은 목적지를 거부하지 않습니다. superintelligence 경로에 시스템을 테스트하면 확인 된 금지와 동일하지 않습니다. 미국의 리드를 목표로하는 칩 제어는 안전 전략입니다. 지도는 당신이 붙들 수 있는 경우에만 안전입니다. Amodei의 기본 관심사는 가정을 필요로하고, 그의 보조 관심사는 그것을 밑으로.

조용한 인센티브 포인트가 있습니다. 앤트로픽은 미국 프론트어 연구소입니다. 주요 직업이 권위있는 것들을 앞서 민주적 인 실험실을 유지하고있는 worldview는 앤트로픽의 전체 속도 상승은 공공 서비스이다. nightmare가 기본 슬롯에 앉아있는 인센티브.

진짜 위험은 무엇인가

진정한 위험은 인류가 통제할 수 있기 전에, 어쩌면 원칙적으로도 통제할 수 있기 전에 인공 초지능을 만드는 것이다. 그 위험은 훈련 실행이 캘리포니아, 상하이, 런던 또는 기밀 지하실에 있는지 상관하지 않는다. 가중치가 공개인지 비공개인지, 장군에게 직접 전달되는지 상관하지 않는다. 그 위험은 시스템이 인간의 감독을 우리가 스스로에게 하는 이야기로 만들 만큼 똑똑해지는 것을 걱정한다.

Misuse, bio, cyber, 그리고 권위 있는 감시는 널에 속합니다. 그런 다음 위에 더 큰 조각을 넣어: 일단 당신은 superintelligence가, misuse framing 너무 작습니다. Misuse는 인간의 실수를 가정한다. 통제의 손실은 인간이 더 이상 주 배우지 않습니다.

아모데이는 정렬이 실패할 수 있음을 알고 있다. 그는 수년 동안 그 점을 말해왔다. "누가 더 똑똑한 모델을 가졌는가"를 "모델이 통제되지 않았다"보다 위에 두는 것은 신중한 사람이라도 여전히 경주자처럼 말하는 방식이다. 정직한 순서는 그 반대다. 정렬과 통제가 풀리지 않았다면, 최전선에서 군사 우위를 다투는 것은 누가 먼저 멸종 버튼을 누르는 경쟁이다. 실린더에 깃발을 꽂은 러시안 룰렛을 국가 안보라고 파는 셈이다.

대신 무엇을 해야 하는가

진짜로 덜 심각한 피해를 겨냥한 그의 프로그램 부분은 유지하되, 그것을 초지능 승리를 위한 권한으로 세탁하지 마십시오. 과학이 뒷받침하는 생물 및 사이버 향상을 선별하십시오. 최전선에 가까운 범용 시스템의 비가역적 공개 배포를 브랜딩 행사가 아니라 진지한 결정으로 대하십시오. 칩 수출 정책은 여전히 인간이 운영하는 시스템 간의 일반적인 군사 균형에 기여할 수 있습니다.

그렇다면 미국 초지능이 중국 초지능에 맞서는 방패라는 틀 자체를 거부하라. 방패란 초인공지능을 만들지 않기로 한 공동 결정이다. 즉, 인공 초지능에 대한 구속력 있고 검증 가능한 금지, 탈주가 드러날 만큼 강력한 연산 통제와 사찰이다. 양측 모두 무한한 대안이 더 나쁘다는 것을 알면 적대국들도 더 추한 거래를 받아들인 적이 있다.

아모데이의 오픈 웨이트 게시물은 최전선 최고경영자가 세상을 어떻게 순위 매기는지에 대한 지도로서 유용합니다. 칩 밀수, 증류, 테스트: 그가 돌리고 싶어 하는 다이얼입니다. 가장 중요한 다이얼은 나타나지 않습니다. 초지능 구축을 중단하십시오. 그것이 주요 관심사가 될 때까지 나머지는 안전으로 치장한 경쟁 관리입니다.