미국 내에서 생성형 AI를 정부 업무에 활용하는 방안에 관한 논의가 뜨겁다. 이런 가운데 미국기업연구소(AEI)는 생성형 AI를 미국 교통부 규칙 초안 작업에 활용할 수 있는지를 알아보는 연구를 진행했다. 그 결과 『AI가 작성한 규칙(AI-Generated Regulations)』이라는 짧은 보고서를 발표했다.
본 블로그에서는 보고서 요약 부분을 번역해 소개한다. 보고서 전문은 블로그 아래에 공유한 링크를 통해 구해 볼 수 있다.
 |
| (사진 출처: www.chatgptguide.ai) |
법률적 사안에 관한 결정을 내릴 때 AI를 활용할 수 있는지를 놓고 연방법원 판사들 사이에도 여러 의견이 제시된 바 있다. 판결 결과 요지와 하급심 결정에 관한 변호사들의 요약 등을 학습하도록 허용했다는 전제조건이 붙기는 하지만, 대법원이 의견문을 작성할 때 AI의 도움이 효과적이었다는 견해도 있다.
이런 가운데 조 바이든 행정부가 발표했던 행정명령에 AI 활용에 관한 다양한 규제 조치가 포함돼 있었는데, 도널드 트럼프 대통령은 후보 시절 이 행정명령이 지나치게 규제가 강하다며 취임 즉시 행정명령을 폐지하겠다고 공헌한 바 있다. 그에 따라 미국 정부 업무에 생성형 AI를 더욱 적극적으로 활용하게 될지 관심이 쏠린다.
현재까지 정부 업무와 관련한 생성형 AI 활용 논의는 대체로 민원인들이 규제 당국의 규칙 제정 과정에서 의견을 작성하는 것 등에 집중된 측면이 있다. 그에 따라, 이번 연구는 규제 당국이 규칙을 제정할 때 그 초안 작업에 생성형 AI를 활용하면 도움이 되는지 여부에 초점을 맞추어 이루어졌다. 이를 위해 본 연구진은 교통부의 규칙 제정안에 관한 일반인들의 의견 접수 사항을 클로드 3.5 소넷 AI 모델에 제공해 규칙 최종안 초안을 작성하라는 임무를 부여했다.
이렇게 해서 클로드가 제시한 초안과 교통부가 실제 채택한 최종 규칙을 비교해서 생성형 AI가 규칙 초안 작성에 효율적인지 들여다봤다. 그 결과는 기대에 다소 미치지 못한 것으로 나타났다. 결국, 생성형 AI 모델의 성능이 앞으로 계속 개선될 것이라는 데는 의문의 여지가 없다. 하지만, 클로드 3.5 버전을 사용했을 때 교통부 직원들의 작업 시간을 절약하도록 하는 등 실효적인 도움이 되지 못한 것으로 나타났다.
구체적으로 들여다 보면, 클로드가 작성한 초안은 일반인들이 제출한 의견에서 파악된 핵심 사안을 정확히 고려하지 못했고 결론적인 부분만 채택하거나 의견을 통째로 무시하는 사례도 확인됐다. 이보다 심각한 문제는 클로드 모델이 의견인들이 지적한 견해의 중요성을 파악하지 못하고 의견인들이 제시한 견해의 빈도에 지나치게 반응을 보인 점이다.
따라서, 영향을 받는 업계의 의견 제시 숫자가 많을 수록 클로드 모델이 더욱 중요하게 취급했으며, 이는 교통부가 최종 확정한 규칙에는 반영되지 않은 것들이었다.결론적으로, 클로드 모델은 의견인들의 견해를 요약하는 데는 적합해 보이지만, 규칙 초안을 작성하는 데 있어서 정말 중요한 요인들을 파악해서 제시하는 업무까지는 처리하지 못한 것으로 파악된 것이다.
