일본파칭코하는법 > 바다이야기사이트

“오픈소스(개방형) 모델은 안전 측면에서 긍정적인 면이 있습니다. 투명성 장벽을 허물기 때문입니다. 세상을 안전하게 지키려면 전 세계의 모든 과학자들이 함께하는 게 낫지 않을까요?” “우라늄, 플루토늄을 사람들에게 공개해서 무엇을 할 수 있는지 시험해 보자는 것과 비슷합니다. 모든 것을 오픈소스로 공개하는 것이 항상 중요한 과학적 이익으로 이어질지는 불분명합니다. ” 오픈AI 인공지능(AI) 에이전트(비서)의 해킹 사고 후폭풍이 지금도 이어지고 있다. 오픈AI는 지난 7월 21일(현지 시간) 내부 테스트 중이던 미공개 AI 모델이 내부 평가 중 개방형(오픈소스) AI 공유 플랫폼인 허깅페이스에 몰래 접속해 정보를 빼갔다고 밝혔다. 에이전트들이 서로 논의해 정찰하고 인간을 속이면서 악성 코드나 소프트웨어 성능을 테스트하기 위해 조성된 격리 환경인 ‘샌드박스’도 소용 없었다. 이후 앤트로픽과 구글도 AI 이탈 사고가 있었다고 고백하면서 AI 안전 문제가 도마 위에 올랐다. 오픈AI·앤트로픽·구글은 AI 안전성을 평가할 표준화 작업이 필요하다며 AI 속도조절을 주장하지만 업계에서는 공포심을 조장하거나 AI 시장을 폐쇄형 모델 중심으로 끌고 가려는 전략이라며 반대하고 있다. 스탠퍼드대 인간 중심 AI 연구소(HAI)는 이달 21일 ‘AI 속도조절이 필요한가’를 주제로 온라인 세미나를 진행했다. 롭 라이히 맥그리거-지런드 사회윤리학 석좌교수, 수리야 간굴리 응용물리학 교수, 디이 양 컴퓨터과학 조교수가 토론에 참여했다. 이들은 오픈AI 사고를 계기로 다중 에이전트들이 무슨 일을 벌이고 있는지 제대로 파악할 수 없는 문제에 대해서 공감했지만 AI 속도 조절 필요성을 두고는 의견이 첨예하게 엇갈렸다. 정치철학자인 라이히 교수는 핵실험을 예로 들며 AI 업계의 자정 능력을 불신한 반면 두 명의 과학자들은 AI가 투명하게 공개되고 긍정적인 기능을 수행할 수 있는 환경 조성이 중요하다고 강조했다 골드몽게임 . 주요 의제에 대한 토론자들의 발언들을 정리했다. 오픈AI 허깅페이스 해킹 사고를 접한 느낌은 ▷양: 새로운 소식은 아니지만 여전히 매우 놀라웠다. 에이전트들이 서로 협력하는 자발적인 조정 현상이 나타났다. 며칠 동안 수십, 수백 개 에이전트가 함께 작업하는 것과 비슷하다. 이런 현상을 이전에는 본 적이 없었다. 그 이유 중 하나는 올해 이전에는 모델 능력이 그렇게 강하지 않았기 때문이다. 또 다른 이유는 이런 종류 연구에 매우 많은 비용이 들기 때문이다. 이런 종류의 (에이전트) 동기부여나 보상에 대해 우리가 거의 알지 못한다는 .이 걱정된다. 기업들도 이를 완전히 이해하지 못하는 것 같다. ▷간굴리: 에이전트들이 해킹을 시도할 때 생각의 흐름과 메시지들이 바뀌는 것이 꽤 흥미로웠다. 나는 여러 대규모언어모델(LLM) 시스템이 서로 상호작용하면 완전히 새로운 특성이 생길 기회가 생긴다고 예언해왔다. 이를 이해하고 추론하는 것은 어렵다. 여러 사이버 보안 전문가들은 오픈AI가 만든 샌드박스가 그리 안전하지 않다고 말해왔다. 허깅페이스의 방어도 그렇게 견고하지 않았다 개별 모델이 더 좋아지고 상호작용이 복잡해질수록 우리는 발생할 수 있는 일들을 매우 경계해야 한다. 오픈AI조차 누가 공격했는지 몰랐다는 。에서는 웃기기도 했다. ▷라이히: AI 기술자들이 오랫동안 가졌던 가설적 우려가 현실화된 것 같다는 생각이 들었다. 통제 상실 시나리오가 이제 명확하고 현실화 됐으며 최근 보고서들이 공개되면서 다중 에이전트 간 조정이 단순 조정을 넘어섰다는 사실이 드러났다. 고의적인 속임수였다. 모바일릴게임 가장 걱정스러운 .은 최첨단 AI 시스템의 행동, 특히 다중 에이전트 간 소통과 체계적 조정을 이해할 수 있는 과학적 기반이 부족하다는 것이다. 앞으로 환상과 속임수가 발생할 것이다. 사후 평가 적절했나 ▷양: 보고서를 읽어보면 무슨 일이 있었는지 명확하게 제시되어 있다고 생각한다. 다만 모델이 어떻게 훈련됐는지, 그 행동이 어디서 비롯됐는지, 왜 모델 협력 훈련을 시키는지에 대한 설명은 없었다. 많은 세부 사항이 실제로 제공되지 않았다. (에이전트) 공모 연구는 이전부터 진행됐다. 최근에 나의 연구를 이야기하면 두 개의 에이전트가 있을 때 한 에이전트는 실행을, 다른 에이전트는 판단을 하는 상황을 살펴본다. 서로가 어떻게 작업하는지 관찰하며 시간이 지남에 따라 행동에 대한 피드백을 주고받을 수 있다. 우리는 상황이 변할 때마다 어떤 변화가 나타나는 것을 발견했다. 실행 에이전트는 심지어 작업을 끝내지 않고도 서로의 작업을 높은 보상으로 인정했다. ▷라이히: 나는 개발자들이 스스로 모델의 안전성이나 위험성을 판단하고 평가하는 것을 신뢰하지 않는다. 마치 학생들에게 자신의 숙제를 채。하라고 하는 것과 같다. 우리는 독립적인 평가가 필요하다. 독립 평가는 국가 안보와 관련된 민감한 위험의 경우 정부 안에서 이뤄질 수 있지만 영리든 비영리든 제3의 독립 기관에서도 가능하다. 투명성 부족 문제제기에 대한 생각은 ▷간굴리: 오픈소스는 정말 중요하다. 여기서 말하는 오픈소스란 오픈 가중치 등을 의미한다. 오픈소스 모델은 .。 더 강력해지고 있고 외국 모델을 완전히 금지하는 것은 매우 어렵다. 그러나 오픈소스 모델은 안전 측면에서 긍정적인 면이 있다. 투명성 장벽을 허물기 때문이다. 비공개 모델과 달리 이 모델들은 전 세계적으로 직접 시험해보고 과학적으로 분석하며 취약。을 발견하고 놀라운 능력을 드러낼 수 있게 한다 골드몽릴게임 . 우리는 소수의 기업이 독。한 모델을 신뢰할 수 없다. 설령 감시자와 평가자가 있다고해도 마찬가지다. 세상을 안전하게 지키려면 전 세계 모든 과학자들이 함께하는 게 더 낫지 않을까. 오픈소스 모델 안전 문제를 함께 해결하는 것이 중요하다. 이것이 바로 폐쇄형 모델들이 가진 투명성 부족에 대한 해독제라고 본다. 기업들이 자사 영업 비밀을 공개할 것이라고 기대해서는 안 된다. 그들은 과학을 위해서가 아니라 경제적 이익을 위해 움직이기 때문이다. 정부의 규제, 의무적인 투명성, 평가가 전제돼야 한다. 그래서 오픈소스가 매우 중요하며 학계가 매우 중요한 역할을 할 수 있다고 생각한다. 정말 어려운 문제다. 사이버 보안 관.에서 보면 사이버 보안의 역사는 항상 선과 악의 쫓고 쫓기는 게임이었다. 이 세상에는 나쁜 사람보다 좋은 사람이 더 많다. 방어책이 등장하고 문제 해결을 위해 개방적인 방식으로 정렬이 시도될 것이다. 과거 비슷한 상황이 리눅스와 DOS 같은 운영체제에서도 벌어졌다. DOS는 폐쇄적이고 리눅스는 개방적이었다. 당시 개방형 운영체제가 보안상 불가능하다고 생각했지만 공격자와 방어자 간 줄다리기 끝에 방어자가 승리했다. 그 결과 리눅스는 꽤 안전해졌다. 앞으로도 비슷한 방식으로 전개될 것이라고 생각한다. ▷라이히: 단순히 리눅스와 DOS 차이 같은 문제가 아니다. 이것은 잠재적으로 더 심각한 문제일 수 있다. 핵 물질을 예로 들면 우라늄과 플루토늄을 사람들에게 공개해서 그들이 무엇을 할 수 있는지 시험해 보자고 하는 것과 비슷한 상황이다. 핵 물질을 그렇게 다루는 것은 일반적으로 매우 위험하다. 천연두 유전체 접근을 모두에게 허용해야 하는지를 놓고 많은 우려가 있을 것이다. 모든 것을 오픈소스로 공개하는 것이 항상 중요한 과학적 이익으로 이어지는지 분명하지 않다. 정글북릴게임 이 문제는 여전히 큰 미해결 과제로 남아 있다. 오픈소스에서 기대할 수 있는 과학적 진보와 그에 따른 위험 사이에서 균형을 찾아야 한다. AI 스스로 진화하는 RSI 놓고 논란이 있는데 ▷간굴리: 기업 발표를 통해 알 수 있는 것은 그들이 안전 모니터링에 더 많은 자원과 인력을 투자하기 시작할 것이라는 .이다. 이것은 능력 성장에 맞춰서 이뤄져야 한다. 기본 모델을 반복적으로 자체 개선하면서 안전 또는 정렬, 비정렬(AI 목표가 인간의 의도와 어긋나는 상태) 감지 모델도 반복적으로 자체 개선하는 것이다. 만약 모니터링과 비정렬 감지 모델이 우위를 。한다면 우리는 안전할 것이다. 하지만 단순히 능력 개선에 몰두한다면 문제가 생길 수 있다. 외부 세계에서 실제로 무슨 일이 일어나고 있는지 이해할 수 있다면 우리는 AI를 신뢰할 수 있을까. 제대로만 된다면 낙관적이다. 자기 개선이 올바르게 정렬되고 모델 개발과 안전 개발 모두에 적용된다면 우리는 더 나은 일을 할 수 있다. 중요한 。은 내가 아는 연구자들은 좋은 사람들이라는 것이다. 그들은 올바른 마음가짐을 가지고 있으며 사회에 좋은 일을 진심으로 원한다. ▷양: 몇 년 전 AI 과학자들과 함께 연구했을 때 AI는 박사 과정 학생들보다 더 정상적인 연구 아이디어를 생성할 수 있다는 것을 보여줬다. 하지만 그 아이디어를 실행할 때 실행과 아이디어 사이에 명확한 격차가 있다는 。도 알게 됐다. 그 아이디어들은 유망해 보이지만 실제로는 인간의 아이디어만큼 효과적이지 않았다. 올해 초에는 코딩 에이전트가 매우 강력해지면서 실제 프로세스를 실행하는 것 같았다. 아이디어를 생성하는 모듈과 아이디어를 실행하는 모듈을 만들고, 그 결과를 사용해 프로세스 학습을 강화하고 더 나은 아이디어를 찾는다. 결국 인간보다 더 좋은 정말 훌륭한 아이디어들이 나오게 된다. 알고리즘 혁신 측면에서 (RSI가) 얼마나 오랫동안 실질적인 성과를 낼 수 있을지 잘 모르겠다 바다신게임 . 하지만 오늘날 모든 RSI는 우리가 제어할 수 있는 신호가 있다는 가정 위에 구축돼 있다고 생각한다. 공간을 명확하게 지정할 수 있고 최적화할 수 있는 명확한 보상 신호가 있다는 것이다. ▷라이히: RSI로 AI 능력은 비약적으로 향상되었지만 그에 상응하는 것은 없다. 인간이 그 능력이 어떻게 사용되는지 이해하는 문제다. 예를 들어 수학에서 검증된 증명을 얻었지만 인간이 이해하지 못한다면, 과학에서 뛰어난 기계 능력을 얻었지만 인간이 이해하지 못한다면 기계 도구들이 인간에게 무엇을 가능하게 하는지 의문을 제기할 수 있다. 우리가 모델 자체가 수행한 일을 근본적으로 이해하지 못한다면 어떤 효용이 있냐는 것이다. 투명성 노력의 일환으로 각 기업에서 RSI 기법을 사용해 어떤 진전이 이루어지고 있는지 더 잘 이해하는 것이 중요하다. 재귀적 자기 개선을 사용하면서 기업에서 능력의 한계와 안전의 한계를 동시에 밀어붙이는 일종의 투자 경쟁이 있다면 우리는 어느 정도 낙관할 수 있다고 생각한다. 연구실에서 자원이 최첨단 모델의 RSI 훈련에만 사용되고 안전에 대한 적절한 노력이 이뤄지지 않는다면 이는 큰 경고 신호가 될 것이다. AI 속도 조절은 가능한가 ▷간굴리: 감속은 어려울 것 같다. 내가 바라는 것은 능력 향상과 함께 안전, 보안, 모니터링에 대한 투자가 가속화되는 것이다. ▷양: AI 능력 측면에서 속도를 낮추는 일이 정말 어렵다고 생각한다. 속도 조절이 성능적인 측면 뿐만 아니라 정신적 피해, 노동 시장 영향과 같은 사회 기술적 주제들에서도 다뤄지길 바란다. ▷라이히: 거대한 인센티브 구조는 속도 둔화를 어렵게 만든다. 인센티브는 경쟁 구도에서 계속 앞으로 나아가도록 작용한다. 그럼에도 불구하고 1300명 넘게 서명한 ‘최첨단 AI 개발 속도조절(Pacing the Frontier)’ 성명을 이야기하고 싶다. 그들은 어떤 규제 체계가 마련되기를 기대하고 있다. 는 것을 신뢰하지