2025년 6월, 일본은행 금융연구소는 금융회사의 인공지능(AI) 활용과 관련된 법적 리스크 및 AI 거버넌스 체계 구축의 기본 방향을 정리한 보고서를 발표했다. 이 보고서는 금융기관이 AI를 개발하거나 도입하는 과정에서 발생할 수 있는 법적 책임과 내부 통제의 필요성을 체계적으로 분석했다는 점에서 주목받고 있다.
보고서에 따르면, 일본 금융당국은 원칙적으로 AI 개발 계약이 존재할 경우, 금융회사는 해당 계약을 근거로 개발자에게 손해배상 책임을 물을 수 있다고 판단하고 있다. 또한 AI가 자율적으로 판단을 내리는 ‘자율형 AI’의 경우, 그 판단의 타당성에 대한 논란을 방지하기 위해 금융회사가 고객에게 AI의 리스크를 충분히 설명하고, AI의 판단을 수용한다는 사전 합의를 마련할 필요가 있다고 지적했다.
아울러 금융회사는 회사법상 내부통제시스템 구축 의무와 마찬가지로, AI 거버넌스 체계를 확립할 법적 의무가 있다는 해석도 제시되었다. 이는 금융회사가 AI 기술을 활용함에 있어 단순한 기술적 문제를 넘어, 법적·윤리적 책임을 포괄적으로 고려해야 함을 의미한다.
■ 2025년 6월 일본은행 금융연구소는 금융회사가 인공지능(AI)을 이용해 금융서비스를 제공할 때 발생할 수 있는 법률상 리스크와 AI 거버넌스 체계 구축의 기본방향을 정리한 보고서를 발표함
- 최근 AI 기술이 빠른 속도로 발전하면서 AI 이용에 대한 기대감이 높아지고 있는 가운데 금융업계에서도 다양한 데이터를 이용한 AI 도입이 점차 확산되고 있음
- 다만 AI 기술이 안고 있는 블랙박스, 바이어스(편향), 환각(hallucination) 등의 문제로 인해 생성형 AI의 부정확성과 그에 따른 법적 리스크가 금융회사의 AI 이용에 대한 우려로 작용함
- 블랙박스 문제는 복잡한 딥러닝 구조로 인해 판정 근거를 인간이 이해하기 어려운 상황을 가리키며, 바이어스 문제는 학습데이터에 바이어스가 포함될 경우 판정 결과에도 바이어스가 반영되는 것을 말함
- 생성형 AI는 존재하지 않거나 사실과 다른 정보를 사실인 것처럼 응답하는 문제를 갖고 있음.
■ 금융회사의 AI 이용 형태는 범용 AI 서비스 이용형(유형 ①), 맞춤형(유형 ②), 업무특화형(유형 ③) 등 세 가지로 분류할 수 있음
- 금융회사의 입장에서 보면 「유형 ①」은 금융회사가 범용 AI 서비스를 이용하는 경우이며, 금융회사가 자체적으로 자사 시스템에 범용 AI 서비스를 포함시키는 개발도 포함될 수 있음
- 「유형 ②」는 사업자가 범용 AI 서비스를 개량 ‧ 조정하여 AI 제공자로서 금융회사에게 서비스를 제공하는 경우이며, 「유형 ③」은 금융회사가 AI를 개발하는 사업자와 제휴해 보다 업무에 특화된 모델이나 시스템을 개발하는 경우임
- 절반 이상의 금융회사가 도입의 용이성으로 인해 범용 생성형 AI를 그대로 활용하고 있으며, 검색증강생성(RAG)이나 파인튜닝 등을 통해 외부 벤더가 제공하는 거대언어모델(LLM)과 사내 데이터베이스를 조합해 이용하는 사례도 많음(<그림 2> 참조).
■ 보고서에서는 금융회사가 AI가 생성한 부정확한 정보를 토대로 의사결정을 하는 경우 금융회사가 고객에 대해 손해배상 책임을 지는 경우를 상정하고, 그 경우의 책임 소재와 내용에 관하여 아래의 세 가지 관점에서 분석함
- 첫째, 금융회사가 AI 모델 또는 시스템을 개발하거나 제공하는 자에게 어떠한 청구를 할 수 있는지임(AI개발자 ‧ 제공자의 책임)
- 둘째, 금융회사가 AI 서비스를 고객에게 제공하던 중 부정확한 정보로 인해 손해를 입은 고객에게 어떠한 책임을 지게 되는지임(금융회사의 책임)
- 셋째, AI를 이용하는 금융회사는 조직 내부에서 AI 이용에 따른 리스크 관리를 어떻게 해야 하는지임(AI 거버넌스체계 구축의무)
- 다만 생성형 AI의 경우 완전한 성능을 상정할 수 없고, 특히 미지의 데이터를 전제로 한 성능보장이 곤란한 문제점이 있음
- 따라서 계약 당사자의 책임 범위를 명확히 하기 위해 개발계약의 체결이 가능한 경우 사전에 평가지표 또는 이에 근거한 성능보증을 계약서에 명기하는 것이 바람직하다고 판단함
- 「유형 ①」과 같이 미리 준비된 이용약관에 동의하는 것이 이용조건인 경우 AI개발자 ⋅ 제공자가 성능에 관한 책임을 추궁받을 가능성이 낮으므로 이에 대응하여 금융회사의 리스크 관리가 보다 중요하다고 지적함
- 다만 금융회사 내부의 의사결정을 거치지 않고 AI가 재량을 갖고 자율적으로 판단해 고객에게 서비스를 제공하는 자율형의 경우 AI 판단의 타당성에 대해 문제가 제기될 수 있음
- 이러한 분쟁을 예방하기 위해서 금융회사는 AI 고객에게 관련 리스크를 충분히 설명하고 AI 판단을 수용하겠다는 것을 미리 합의(AI 서비스 이용계약)할 필요가 있음
- 한편 자율형 AI를 이용한 대출심사에서 AI 판단에 불공정한 편견이 반영된 경우 금융회사는 대출심사를 공정하게 수행해야 할 신의성실의 원칙 위반에 해당되어 고객으로부터 책임을 추궁받을 수 있는 반면 AI 결함 입증이 어려워 현행 법률 하에서는 금융회사가 AI 개발자를 상대로 책임을 묻는 것이 사실상 불가능함
- 일본 금융회사는 법률상 요건인 내부통제시스템과 금융청이 2021년 공표한 「모델 · 리스크 관리에 관한 원칙(モデル · リスク管理に関する原則)」(이하 MRM원칙)을 토대로 AI 거너번스 체계의 구축을 검토해야 함( ⇦ MRM원칙은 금융시스템 상 중요한 금융회사를 대상으로 모델 이용에 있어서 고려해야 할 원칙을 정하고 있으며, 대상이 되는 모델의 정의에 AI 모델이 포함됨)
- MRM원칙에 따라 금융회사는 AI 이용방법에 따른 리스크를 평가하고, 그 리스크에 대한 실효적인 견제수단을 확보함과 동시에 환각 등 AI 특유의 리스크를 고려해 대응할 필요성이 있음
- 금융회사는 AI가 조직 내에서 널리 이용될 수 있도록 AI 리스크에 관한 사내교육 철저, 사내규칙 정비, 전문부서에 의한 리스크의 정성적 ‧ 정량적 평가 등을 추진해야 함
- AI 이용에 수반하는 리스크의 종류로는 고객에 대한 금전적 손해, 금융회사의 손실 발생, 평판 훼손 등을 들 수 있음
- 특히 자율형 AI에 대한 사전 대응으로는 상정되는 리스크를 특정하고, 그 크기를 평가함으로써 리스크에 상응하는 모니터링과 모델의 업데이트 여부를 판단하고, 사후 대응으로는 고객에게 이의신청권을 부여하거나 사후적으로 문제를 해명할 기회를 제공하는 것을 들 수 있음
<참고 자료>
- 金融財政事情(2025.10.7.), 『AI利用に伴う私法上のリスクとガバナンスの在り方』
- 日本銀行 金融研究所(2025.6.19.), 『金融機関におけるAI 利用に伴う私法上のリスクと管理』
- 金融庁(2025.3.4.), 『AIディスカッションペーパー(第1.0版)』
- 経済産業省(2025.2.18.), 『AIの利用·開発に関する契約チェックリスト』
