[NIST] AI 위험관리 프레임워크(2023.03)

> AI/위험관리 2023. 8. 23. 10:25

* 원문 및 번역문을 요약한 내용입니다.
큰 틀에서는 일반 Risk Management Framework의 형태기 때문에, AI의 특성을 강조한 부분은 '노란색 하이라이트'를 참조하시기 바랍니다.

AI 위험관리 프레임워크(AI RMF) 구조

1. Framing Risk 위험 프레이밍	위험 프레이밍에 포함되어야 하는 사항을 정의
2. Audience 대상	AI 수명주기 전반에 걸쳐 행위자(AI Actor)가 AI 위험과 잠재적 영향을 광범위한 관점으로 식별하고 관리하기 위한 역할을 정의
3. AI Risk and Trustworthiness AI 위험 및 신뢰성	신뢰할 수 있는 AI의 특성과 지침 소개
4. Effectieness of the AI RMF AI 위험관리의 효율성	프레임워크 사용자에게 예상되는 이점
5. AI RMF Core AI 위험관리의 코어	AI 위험과 책임을 관리하고 신뢰할 수 있는 AI 시스템을 개발하기 위한 대화, 이해, 활동을 가능하게 하는 결과와 조치를 네가지 기능(관리(Govern), 지도(Map), 측정(Measure), 관리(Manage)으로 분류
6. AI RMF Profile AI 위험관리 프로파일	프레임워크 사용자의 요구 사항, 위험 허용 범위 및 리소스를 기반으로 특정 설정 또는 애플리케이션에 대한 AI RMF 기능, 범주 및 하위 범주를 구현
Appendix A Description of AI Actor Tasks	AI Actor 작업에 대한 설명
Appendix B How AI Risks Differ from Traditional Software Risks	AI 위험과 기존 소프트웨어 위험의 차이점
Appendix C AI Risk Management and Human-AI Interaction	AI 위험 관리 및 인간-AI 상호 작용
Appendix D Attributes of the AI RMF	AI RMF의 속성

1. 위험 프레이밍(Framing risk)

1.1 위험, 영향과 피해 이해하기(Understanding and Addressing Risks, Impacts, and Harms

ISO 31000:2018(위험관리)에 따라 발생 가능성, 결과와 규모를 파악하여 부정적인 영향을 최소화
사람, 조직, 생태계에 해를 끼치지 않아야 함
AI 시스템이 모든 환경에서 잘 동작할 때, 인간보다 더 객관적이거나 일반 소프트웨어보다 더 나은 기능을 제공하는 것으로 인식됨
* 신뢰성

1.2 AI 신뢰성을 추구하기 위한 위험관리 과제(Challengers for AI Rist Management)

1) 위험 측정 Risk Measurement	- 타사 소프트웨어, 하드웨어, 데이터 - 긴급 위험을 추적하고 측정 - 신뢰할 수 있는 지표의 가용성 - AI 수명주기에 따른 위험 - 실제 환경의 위험 - 불가해성 : 시스템 개발/배포의 투명성, 문서화 부족, AI 시스템에 내제된 불확실성으로 발생할 수 있음 - 인간 기준 : 의사결정을 대체하려는 AI 시스템은 일정 형태의 기준지표가 필요
2) 위험 허용 범위 Risk Tolerance	Appendix A를 참조하여 목표를 달성하기 위해 감수할 수 있는 위험을 산정
3) 위험 우선순위 지정 Risk Prioirtization	조직에게 주어진 맥락 내에서 AI 시스템 내 가장 높다고 판단하는 위험을 우선순위화
4) 조직 통합 및 위험관리Organizational Integration and Management of Risk	AI 행위자는 역할에 따라 다른 책임과 인식을 가지므로, 보안 및 개인정보보호와 같은 다양한 주요 위험과 함께 처리하면 조직 효율성을 얻을 수 있음

2. 대상(Audience)

AI Life-cycle

OECD에서 개발한 5가지 차원의 사회/기술적 차원에서 AI 정책 및 거버넌스 속성을 지닌 위험관리 프로세스

Lifecycle 전반의 대표적인 AI 행위자와 역할에 대한 내용(자세한 내용은 Appendix A 참고)
성공적인 위험관리는 AI 행위자간의 집단적 책임감에 달려있음

3. AI 위험 및 신뢰성(AI Risk and Trust Worthiness)

Valid and Reliable (유효성과 신뢰성)
- 시스템이 의도하대로 작동하는지 지속적으로 테스트하고 모니터링
- 예상치 못한 환경에서 작동할 경우, 사람에게 미칠 수 있는 피해를 최소화하는 방식으로 작동해야 함
Safe (안전성)
- 인간의 생명, 건강, 재산 또는 환경이 위험에 빠져서는 안됨(ISO/IEC5723)
- 책임감있게 설계, 개발, 배포
- 사용자에게 명확한 정보를 제공(설명, 문서화)하여 배포자와 최종사용자가 책임있는 의사결정을 할 수 있어야 함
Secure & Resilient (보안과 복원력)
- 무단 접근 및 사용을 방지하는 보호 매커니즘을 설계
- 예상치 못한 부작용이 발생하면 정상적인 기능으로 돌아갈 수 있어야 함
Accountable&Transparent(책임추적성 및 투명성)
- AI 시스템과 그 결과가 라이프사이클에 따라
- AI 행위자의 역할에 따라
Explainable & Interpretable(설명가능하고 해석할 수 있어야 함)
- 시스템 작동의 기본 매커니즘을 설명할 수 있어야 하고, 모니터링/문서화/감사룰 수행해야 함
- AI 시스템이 특정 예측이나 권장사항을 만든 설명을 전달해야 함
* 설명 가능한 인공지능의 네 가지 원칙 참고 :
https://www.nist.gov/artificial-intelligence/ai-fundamental-research-explainability
Privacy-Enhanced (개인정보보호 강화)
- 인간의 자율성/신원/존엄성을 보호하는 규범과 관행을 보호하기 위함
- 개인정보보호 강화기술(PET)를 이용하여 특정 모델 출력에 대한 비식별화, 집계 활용
Fair-with Harmful bias managed(공정성 - 유해한 편견을 관리하기 위함)
- 공정성은 문화마다 다르므로, 정의하기 어려울 수 있음
- 고려해야 할 AI 편향의 세가지 주요 범주(체계적, 계산적, 통계적, 인간 인지적)에 따라 데이터셋, 라이프사이클 전반에 걸친 조직규범, 관행 및 프로세스에 반영
* 인공지능의 편견 식별 및 관리표준을 위한 방향 참고 :
https://nvlpubs.nist.gov/NISTpubs/SpecialPublications/NIST.SP.1270.pdf

4. AI 위험관리 프레임워크의 효과성(Effectiveness of the AI RMF)

AI 시스템의 신뢰성을 개선하기 위한 측정방법과, 평가는 향후 중요한 활동이 될 것

정책, 프로세스, 관행, 구현 계획, 지표, 측정 및 예상 결과를 포함하되 이에 국한되지 않는 AI 위험 관리 능력을 향상했는지 여부를 정기적으로 평가하도록 권장함

5. AI 위험관리 프레임워크 코어(AI RMF Core)

1) Govern

Govern 1:
AI 위험의 매핑, 측정 및 관리와 관련된 조직 전반의 정책, 프로세스, 절차 및 관행이 확립되어 있고 투명하며 효과적으로 구현됩니다.
Policies, processes, procedures, and practices across the organization related to the mapping, measuring, and managing of AI risks are in place, transparent, and implemented effectively.

Govern 1.1: AI와 관련된 법률 및 규제 요구 사항을 이해하고 관리하며 문서화합니다.
Legal and regulatory requirements involving AI are understood, managed, and documented.
Govern 1.2: 신뢰할 수 있는 AI의 특성은 조직의 정책, 프로세스, 절차 및 관행에 통합됩니다.
The characteristics of trustworthy AI are integrated into organizational policies, processes, procedures, and practices.
Govern 1.3: 조직의 위험 허용 범위를 기반으로 필요한 위험 관리 활동 수준을 결정하기 위한 프로세스, 절차 및 관행이 마련되어 있습니다.
Processes, procedures, and practices are in place to determine the needed level of risk management activities based on the organization's risk tolerance.
Govern 1.4: 위험 관리 프로세스와 그 결과는 조직의 위험 우선순위에 따라 투명한 정책, 절차 및 기타 통제를 통해 확립됩니다.
The risk management process and its outcomes are established through transparent policies, procedures, and other controls based on organizational risk priorities.
Govern 1.5: 위험 관리 프로세스와 그 결과에 대한 지속적인 모니터링과 정기 검토가 계획되고 정기 검토 빈도 결정을 포함하여 조직의 역할과 책임이 명확하게 정의됩니다.
Ongoing monitoring and periodic review of the risk management process and its outcomes are planned and organizational roles and responsibilities clearly defined, including determining the frequency of periodic review.
Govern 1.6: AI 시스템의 목록을 작성하는 메커니즘이 마련되어 있으며 조직의 위험 우선순위에 따라 자원이 배정됩니다.
Mechanisms are in place to inventory AI systems and are resourced according to organizational risk priorities.
Govern 1.7: 위험을 증가시키거나 조직의 신뢰성을 저하시키지 않는 방식으로 AI 시스템을 안전하게 폐기하고 단계적으로 폐지하기 위한 프로세스와 절차가 마련되어 있습니다.
Processes and procedures are in place for decommissioning and phasing out AI systems safely and in a manner that does not increase risks or decrease the organization’s trustworthiness.

Govern 2:
적절한 팀과 개인이 AI 위험을 매핑, 측정 및 관리하기 위한 권한을 부여받고 책임을 지며 교육을 받을 수 있도록 책임 구조가 마련되어 있습니다.
Accountability structures are in place so that the appropriate teams and individuals are empowered, responsible, and trained for mapping, measuring, and managing AI risks.

Govern 2.1: AI 위험 매핑, 측정, 관리와 관련된 역할과 책임, 커뮤니케이션 라인이 문서화되어 조직 전체의 개인과 팀에 명확합니다.
Roles and responsibilities and lines of communication related to mapping, measuring, and managing AI risks are documented and are clear to individuals and teams throughout the organization.
Govern 2.2: 조직의 직원과 파트너는 AI 위험 관리 교육을 받아 관련 정책, 절차 및 계약에 따라 직무와 책임을 수행할 수 있습니다.
The organization’s personnel and partners receive AI risk management training to enable them to perform their duties and responsibilities consistent with related policies, procedures, and agreements.
Govern 2.3: 조직의 경영진은 AI 시스템 개발 및 배포와 관련된 위험에 대한 결정을 책임집니다.
Executive leadership of the organization takes responsibility for decisions about risks associated with AI system development and deployment.

Govern 3:
수명주기 전반에 걸쳐 AI 위험을 매핑, 측정 및 관리할 때 인력 다양성, 형평성, 포용성 및 접근성 프로세스가 우선시됩니다.
Workforce diversity, equity, inclusion, and accessibility processes are prioritized in the mapping, measuring, and managing of AI risks throughout the lifecycle.

Govern 3.1: 수명주기 전반에 걸쳐 AI 위험을 매핑, 측정 및 관리하는 것과 관련된 의사결정은 다양한 팀(예: 다양한 인구통계, 분야, 경험, 전문 지식 및 배경)을 통해 이루어집니다.
Decision-making related to mapping, measuring, and managing AI risks throughout the lifecycle is informed by a diverse team (e.g., diversity of demographics, disciplines, experience, expertise, and backgrounds).
Govern 3.2: 인간-AI 구성 및 AI 시스템 감독에 대한 역할과 책임을 정의하고 차별화하기 위한 정책과 절차가 마련되어 있습니다.
Policies and procedures are in place to define and differentiate roles and responsibilities for human-AI configurations and oversight of AI systems.

Govern 4:
조직 팀은 AI 위험을 고려하고 전달하는 문화에 전념합니다.
Organizational teams are committed to a culture that considers and communicates AI risk.

Govern 4.1: 잠재적인 부정적 영향을 최소화하기 위해 AI 시스템의 설계, 개발, 배포 및 사용에 있어 비판적 사고와 안전 우선 사고방식을 육성하기 위한 조직 정책 및 관행이 마련되어 있습니다.
Organizational policies and practices are in place to foster a critical thinking and safety-first mindset in the design, development, deployment, and uses of AI systems to minimize potential negative impacts
Govern 4.2: 조직 팀은 자신이 설계, 개발, 배포, 평가, 사용하는 AI 기술의 위험과 잠재적 영향을 문서화하고 그 영향에 대해 보다 광범위하게 소통합니다.
Organizational teams document the risks and potential impacts of the AI technology they design, develop, deploy, evaluate, and use, and they communicate about the impacts more broadly.
Govern 4.3: AI 테스트, 사고 식별, 정보 공유를 가능하게 하는 조직적 관행이 마련되어 있습니다.
Organizational practices are in place to enable AI testing, identification of incidents, and information sharing.

Govern 5:
관련 AI 행위자와의 강력한 참여를 위한 프로세스가 마련되어 있습니다.
Processes are in place for robust engagement with relevant AI actors.

Govern 5.1: AI 위험과 관련된 잠재적인 개인 및 사회적 영향에 관해 AI 시스템을 개발하거나 배포한 팀 외부의 피드백을 수집, 고려, 우선순위 지정 및 통합하기 위한 조직 정책 및 관행이 마련되어 있습니다.
Organizational policies and practices are in place to collect, consider, prioritize, and integrate feedback from those external to the team that developed or deployed the AI system regarding the potential individual and societal impacts related to AI risks.
Govern 5.2: AI 시스템을 개발하거나 배포한 팀이 관련 AI 행위자로부터 판정된 피드백을 시스템 설계 및 구현에 정기적으로 통합할 수 있도록 하는 메커니즘이 확립되었습니다.
Mechanisms are established to enable the team that developed or deployed AI systems to regularly incorporate adjudicated feedback from relevant AI actors into system design and implementation.

Govern 6:
제3자 소프트웨어와 데이터, 기타 공급망 문제로 인해 발생하는 AI 위험과 이점을 해결하기 위한 정책과 절차가 마련되어 있습니다.
Policies and procedures are in place to address AI risks and benefits arising from third-party software and data and other supply chain issues.

Govern 6.1: 제3자의 지적 재산권이나 기타 권리 침해 위험을 포함하여 제3자 단체와 관련된 AI 위험을 해결하는 정책 및 절차가 마련되어 있습니다.
Policies and procedures are in place that address AI risks associated with third-party entities, including risks of infringement of a third-party’s intellectual property or other rights.
Govern 6.2: 위험도가 높은 것으로 간주되는 제3자 데이터 또는 AI 시스템의 오류나 사고를 처리하기 위한 비상 프로세스가 마련되어 있습니다.
Contingency processes are in place to handle failures or incidents in third-party data or AI systems deemed to be high-risk.

2) Map

Map 1: 맥락이 확립되고 이해됩니다.
Context is established and understood.

Map 1.1: AI 시스템이 배포될 의도된 목적, 잠재적으로 유익한 용도, 상황별 법률, 규범 및 기대, 예상 설정을 이해하고 문서화합니다. 고려 사항에는 다음이 포함됩니다: 특정 사용자 집합 또는 유형과 기대치; 개인, 지역 사회, 조직, 사회 및 지구에 대한 시스템 사용의 잠재적인 긍정적 및 부정적 영향; 개발 또는 제품 AI 수명주기 전반에 걸쳐 AI 시스템 목적, 사용 및 위험에 대한 가정 및 관련 제한사항 관련 TEVV 및 시스템 측정항목.
Intended purposes, potentially beneficial uses, context-specific laws, norms and expectations, and prospective settings in which the AI system will be deployed are understood and documented. Considerations include: the specific set or types of users along with their expectations; potential positive and negative impacts of system uses to individuals, communities, organizations, society, and the planet; assumptions and related limitations about AI system purposes, uses, and risks across the development or product AI lifecycle; and related TEVV and system metrics.
Map 1.2: 맥락을 구축하기 위한 학제간 AI 행위자, 역량, 기술 및 역량은 인구통계학적 다양성과 광범위한 영역 및 사용자 경험 전문 지식을 반영하며 이들의 참여가 문서화됩니다. 학제 간 협력 기회가 우선시됩니다.
Interdisciplinary AI actors, competencies, skills, and capacities for establishing context reflect demographic diversity and broad domain and user experience expertise, and their participation is documented. Opportunities for interdisciplinary collaboration are prioritized.
Map 1.3: AI 기술에 대한 조직의 사명과 관련 목표를 이해하고 문서화합니다.
The organization’s mission and relevant goals for AI technology are understood and documented.
Map 1.4: 비즈니스 가치 또는 비즈니스 사용 맥락이 명확하게 정의되었거나 기존 AI 시스템을 평가하는 경우 재평가되었습니다.
The business value or context of business use has been clearly defined or – in the case of assessing existing AI systems – re-evaluated.
Map 1.5: 조직의 위험 허용 범위가 결정되고 문서화됩니다.
Organizational risk tolerances are determined and documented.
Map 1.6: 시스템 요구 사항(예: "시스템은 사용자의 개인 정보를 존중해야 합니다")은 관련 AI 행위자로부터 도출되고 이해됩니다. 설계 결정은 AI 위험을 해결하기 위해 사회 기술적 영향을 고려합니다.
System requirements (e.g., “the system shall respect the privacy of its users”) are elicited from and understood by relevant AI actors. Design decisions take socio-technical implications into account to address AI risks.

Map 2:
AI 시스템의 분류가 수행됩니다.
Categorization of the AI system is performed.

Map 2.1: AI 시스템이 지원할 작업을 구현하는 데 사용되는 특정 작업과 방법이 정의됩니다(예: 분류자, 생성 모델, 추천자).
The specific tasks and methods used to implement the tasks that the AI system will support are defined (e.g., classifiers, generative models, recommenders).
Map 2.2: AI 시스템의 지식 한계와 시스템 출력을 인간이 활용하고 감독하는 방법에 대한 정보가 문서화되어 있습니다. 문서는 관련 AI 행위자가 결정을 내리고 후속 조치를 취할 때 도움이 되는 충분한 정보를 제공합니다.
Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions.
Map 2.3: 실험 설계, 데이터 수집 및 선택(예: 가용성, 대표성, 적합성), 시스템 신뢰성 및 구성 검증과 관련된 사항을 포함하여 과학적 무결성 및 TEVV 고려 사항이 식별되고 문서화됩니다.
Scientific integrity and TEVV considerations are identified and documented, including those related to experimental design, data collection and selection (e.g., availability, representativeness, suitability), system trustworthiness, and construct validation.

Map 3:
적절한 벤치마크와 비교하여 AI 기능, 목표 사용법, 목표, 예상 이점 및 비용을 이해합니다.
AI capabilities, targeted usage, goals, and expected benefits and costs compared with appropriate benchmarks are understood.

Map 3.1: 의도된 AI 시스템 기능 및 성능의 잠재적 이점을 조사하고 문서화합니다.
Potential benefits of intended AI system functionality and performance are examined and documented.
Map 3.2: 예상되거나 실현된 AI 오류나 시스템 기능 및 신뢰성(조직의 위험 허용 범위와 관련됨)으로 인해 발생하는 비금전적 비용을 포함한 잠재적 비용을 조사하고 문서화합니다.
Potential costs, including non-monetary costs, which result from expected or realized AI errors or system functionality and trustworthiness – as connected to organizational risk tolerance – are examined and documented.
Map 3.3: 시스템 성능, 확립된 컨텍스트, AI 시스템 분류를 기반으로 대상 애플리케이션 범위를 지정하고 문서화합니다.
Targeted application scope is specified and documented based on the system’s capability, established context, and AI system categorization.
Map 3.4: AI 시스템 성능 및 신뢰성, 관련 기술 표준 및 인증에 대한 운영자 및 실무자의 숙련도를 위한 프로세스가 정의, 평가 및 문서화됩니다.
Processes for operator and practitioner proficiency with AI system performance and trustworthiness – and relevant technical standards and certifications – are defined, assessed, and documented.
Map 3.5: 사람의 감독을 위한 프로세스는 관리 기능 의 조직 정책에 따라 정의, 평가 및 문서화됩니다 .
Processes for human oversight are defined, assessed, and documented in accordance with organizational policies from the govern function.

Map 4:
타사 소프트웨어 및 데이터를 포함한 AI 시스템의 모든 구성 요소에 대한 위험과 이점이 매핑되어 있습니다.
Risks and benefits are mapped for all components of the AI system including third-party software and data.

Map 4.1: 제3자의 지적 재산권 또는 기타 권리 침해 위험과 마찬가지로 제3자 데이터 또는 소프트웨어 사용을 포함하여 AI 기술 및 해당 구성 요소의 법적 위험을 매핑하기 위한 접근 방식이 확립되어 있고, 준수되고, 문서화되어 있습니다.
Approaches for mapping AI technology and legal risks of its components – including the use of third-party data or software – are in place, followed, and documented, as are risks of infringement of a third party’s intellectual property or other rights.
Map 4.2: 타사 AI 기술을 포함한 AI 시스템 구성 요소에 대한 내부 위험 제어가 식별되고 문서화됩니다.
Internal risk controls for components of the AI system, including third-party AI technologies, are identified and documented.

Map 5:
개인, 집단, 지역사회, 조직, 사회에 미치는 영향이 특성화되어 있습니다.
Impacts to individuals, groups, communities, organizations, and society are characterized.

Map 5.1: 예상되는 사용, 유사한 맥락에서 AI 시스템의 과거 사용, 공공 사건 보고, AI 시스템을 개발하거나 배포한 팀 외부 사람들의 피드백을 기반으로 확인된 각 영향(잠재적으로 유익하거나 유해함)의 가능성과 규모, 또는 기타 데이터가 식별되고 문서화됩니다.
Likelihood and magnitude of each identified impact (both potentially beneficial and harmful) based on expected use, past uses of AI systems in similar contexts, public incident reports, feedback from those external to the team that developed or deployed the AI system, or other data are identified and documented.
Map 5.2: 관련 AI 행위자와의 정기적인 참여를 지원하고 긍정적, 부정적, 예상치 못한 영향에 대한 피드백을 통합하기 위한 관행과 인력이 마련되어 문서화되어 있습니다.
Practices and personnel for supporting regular engagement with relevant AI actors and integrating feedback about positive, negative, and unanticipated impacts are in place and documented.

3) 측정(Measure)

Measure 1:
적절한 방법과 지표를 식별하고 적용합니다.
Appropriate methods and metrics are identified and applied.

Measure 1.1: 기능 중에 열거된 AI 위험 측정을 위한 접근 방식 및 측정 기준은 가장 중요한 AI 위험부터 시작하여 구현을 위해 선택됩니다. 측정할 수 없거나 측정할 수 없는 위험 또는 신뢰성 특성은 적절하게 문서화됩니다.
Approaches and metrics for measurement of AI risks enumerated during the map function are selected for implementation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not – or cannot – be measured are properly documented.
Measure 1.2: 영향을 받는 커뮤니티에 대한 오류 및 잠재적 영향에 대한 보고를 포함하여 AI 지표의 적절성과 기존 제어의 효율성을 정기적으로 평가하고 업데이트합니다.
Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities.
Measure 1.3: 시스템의 일선 개발자 및/또는 독립 평가자로 활동하지 않은 내부 전문가가 정기적인 평가 및 업데이트에 참여합니다. AI 시스템을 개발하거나 배포한 팀 외부의 도메인 전문가, 사용자, AI 행위자 및 영향을 받는 커뮤니티는 조직의 위험 허용 범위에 따라 필요한 평가를 지원하기 위해 컨설팅을 받습니다.
Internal experts who did not serve as front-line developers for the system and/or independent assessors are involved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance.

Measure 2:
AI 시스템은 신뢰할 수 있는 특성을 평가합니다.
AI systems are evaluated for trustworthy characteristics.

Measure 2.1: TEVV에 사용되는 도구와 테스트 세트, 메트릭 및 세부 정보가 문서화됩니다.
Test sets, metrics, and details about the tools used during TEVV are documented.
Measure 2.2: 인간 피험자를 대상으로 한 평가는 해당 요구 사항(인간 피험자 보호 포함)을 충족하고 관련 집단을 대표합니다.
Evaluations involving human subjects meet applicable requirements (including human subject protection) and are representative of the relevant population.
Measure 2.3: AI 시스템 성능 또는 보증 기준은 정성적 또는 정량적으로 측정되고 배포 설정과 유사한 조건에 대해 입증됩니다. 조치가 문서화되어 있습니다.
AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented.
Measure 2.4: 기능 에서 식별된 AI 시스템과 해당 구성 요소의 기능과 동작은 생산 중에 모니터링됩니다
The functionality and behavior of the AI system and its components – as identified in the map function – are monitored when in production.
Measure 2.5: 배포할 AI 시스템이 타당하고 신뢰할 수 있음을 입증합니다. 기술이 개발된 조건을 넘어서는 일반화 가능성의 한계가 문서화되어 있습니다.
The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability beyond the conditions under which the technology was developed are documented.
Measure 2.6: 기능 에서 식별된 대로 AI 시스템의 안전 위험을 정기적으로 평가합니다 . 배포될 AI 시스템은 안전한 것으로 입증되고, 잔여 부정적인 위험은 위험 허용 범위를 초과하지 않으며, 특히 지식 한계를 넘어 작동하도록 만든 경우 안전하게 실패할 수 있습니다. 안전 지표는 시스템 신뢰성과 견고성, 실시간 모니터링, AI 시스템 오류에 대한 응답 시간을 반영합니다.
The AI system is evaluated regularly for safety risks – as identified in the map function. The AI system to be deployed is demonstrated to be safe, its residual negative risk does not exceed the risk tolerance, and it can fail safely, particularly if made to operate beyond its knowledge limits. Safety metrics reflect system reliability and robustness, real-time monitoring, and response times for AI system failures.
Measure 2.7: 기능에서 식별된 AI 시스템 보안 및 탄력성을 평가하고 문서화합니다.
AI system security and resilience – as identified in the map function – are evaluated and documented.
Measure 2.8: 기능 에서 식별된 투명성 및 책임과 관련된 위험을 검사하고 문서화합니다.
Risks associated with transparency and accountability – as identified in the map function – are examined and documented.
Measure 2.9: AI 모델을 설명하고, 검증하고, 문서화하고, AI 시스템 출력을 지도 기능 에서 식별된 대로 해당 맥락 내에서 해석하여 책임 있는 사용과 거버넌스를 알립니다.
The AI model is explained, validated, and documented, and AI system output is interpreted within its context – as identified in the map function – to inform responsible use and governance.
Measure 2.10: 기능 에서 식별된 AI 시스템의 개인 정보 보호 위험을 검사하고 문서화합니다.
Privacy risk of the AI system – as identified in the map function – is examined and documented.
Measure 2.11: 기능 에서 식별된 공정성과 편견을 평가하고 결과를 문서화합니다.
Fairness and bias – as identified in the map function – are evaluated and results are documented.
Measure 2.12: 기능에서 식별된 AI 모델 교육 및 관리 활동의 환경 영향과 지속 가능성을 평가하고 문서화합니다.
Environmental impact and sustainability of AI model training and management activities – as identified in the map function – are assessed and documented.
Measure 2.13: 기능에 사용된 TEVV 측정 기준 및 프로세스의 효율성을 평가하고 문서화합니다.
Effectiveness of the employed TEVV metrics and processes in the measure function are evaluated and documented.

Measure 3:
시간이 지남에 따라 확인된 AI 위험을 추적하는 메커니즘이 확립되어 있습니다.
Mechanisms for tracking identified AI risks over time are in place.

Measure 3.1: 배포된 상황에서 의도된 성능과 실제 성능과 같은 요소를 기반으로 기존, 예상치 못한, 긴급 AI 위험을 정기적으로 식별하고 추적하기 위한 접근 방식, 인력 및 문서가 마련되어 있습니다.
Approaches, personnel, and documentation are in place to regularly identify and track existing, unanticipated, and emergent AI risks based on factors such as intended and actual performance in deployed contexts.
Measure 3.2: 현재 사용 가능한 측정 기술을 사용하여 AI 위험을 평가하기 어렵거나 측정항목을 아직 사용할 수 없는 설정에는 위험 추적 접근 방식이 고려됩니다.
Risk tracking approaches are considered for settings where AI risks are difficult to assess using currently available measurement techniques or where metrics are not yet available.
Measure 3.3: 문제를 보고하고 시스템 결과를 호소하기 위한 최종 사용자와 영향을 받는 커뮤니티를 위한 피드백 프로세스가 확립되어 AI 시스템 평가 지표에 통합됩니다.
Feedback processes for end users and impacted communities to report problems and appeal system outcomes are established and integrated into AI system evaluation metrics.

Measure 4:
측정 유효성에 대한 피드백을 수집하고 평가합니다.
Feedback about efficacy of measurement is gathered and assessed.

Measure 4.1: AI 위험을 식별하기 위한 측정 접근 방식은 배포 컨텍스트와 연결되고 도메인 전문가 및 기타 최종 사용자와의 협의를 통해 정보를 얻습니다. 접근 방식이 문서화되어 있습니다.
Measurement approaches for identifying AI risks are connected to deployment context(s) and informed through consultation with domain experts and other end users. Approaches are documented.
Measure 4.2: 배포 상황 및 AI 수명주기 전반에 걸친 AI 시스템 신뢰성에 관한 측정 결과는 도메인 전문가 및 관련 AI 행위자의 의견을 바탕으로 시스템이 의도한 대로 일관되게 작동하는지 검증합니다. 결과는 문서화됩니다.
Measurement results regarding AI system trustworthiness in deployment context(s) and across the AI lifecycle are informed by input from domain experts and relevant AI actors to validate whether the system is performing consistently as intended. Results are documented.
Measure 4.3: 영향을 받은 커뮤니티를 포함한 관련 AI 행위자와의 협의와 상황 관련 위험 및 신뢰성 특성에 대한 현장 데이터를 기반으로 측정 가능한 성능 개선 또는 저하가 식별되고 문서화됩니다.
Measurable performance improvements or declines based on consultations with relevant AI actors, including affected communities, and field data about context-relevant risks and trustworthiness characteristics are identified and documented.

4) 관리(Manage)

Manage 1:
MAP 및 MEASURE 기능의 평가 및 기타 분석 결과를 기반으로 AI 위험의 우선순위를 지정하고 대응하며 관리합니다.
AI risks based on assessments and other analytical output from the MAP and MEASURE functions are prioritized, responded to, and managed

Manage 1.1: AI 시스템이 의도한 목적과 명시된 목표를 달성하는지 여부와 개발 또는 배포를 진행해야 하는지 여부에 대한 결정이 내려집니다.
A determination is made as to whether the AI system achieves its intended purposes and stated objectives and whether its development or deployment should proceed.
Manage 1.2: 문서화된 AI 위험 처리는 영향, 가능성, 사용 가능한 리소스 또는 방법을 기준으로 우선순위가 지정됩니다.
Treatment of documented AI risks is prioritized based on impact, likelihood, and available resources or methods.
Manage 1.3: 기능 으로 식별된 우선순위가 높은 AI 위험에 대한 대응을 개발, 계획 및 문서화합니다. 위험 대응 옵션에는 완화, 이전, 방지 또는 수락이 포함될 수 있습니다.
Responses to the AI risks deemed high priority, as identified by the map function, are developed, planned, and documented. Risk response options can include mitigating, transferring, avoiding, or accepting.
Manage 1.4: AI 시스템의 다운스트림 인수자와 최종 사용자 모두에 대한 부정적인 잔여 위험(완화되지 않은 모든 위험의 합계로 정의됨)이 문서화됩니다.
Negative residual risks (defined as the sum of all unmitigated risks) to both downstream acquirers of AI systems and end users are documented.

Manage 2:
AI 혜택을 극대화하고 부정적인 영향을 최소화하기 위한 전략은 관련 AI 행위자의 의견을 바탕으로 계획, 준비, 구현, 문서화 및 정보를 제공합니다.
Strategies to maximize AI benefits and minimize negative impacts are planned, prepared, implemented, documented, and informed by input from relevant AI actors.

Manage 2.1: AI 위험을 관리하는 데 필요한 리소스를 실행 가능한 비 AI 대체 시스템, 접근 방식 또는 방법과 함께 고려하여 잠재적 영향의 규모 또는 가능성을 줄입니다.
Resources required to manage AI risks are taken into account – along with viable non-AI alternative systems, approaches, or methods – to reduce the magnitude or likelihood of potential impacts.
Manage 2.2: 배포된 AI 시스템의 가치를 유지하기 위한 메커니즘이 마련되고 적용됩니다.
Mechanisms are in place and applied to sustain the value of deployed AI systems.
Manage 2.3: 이전에 알려지지 않은 위험이 식별되면 이에 대응하고 복구하기 위한 절차를 따릅니다.
Procedures are followed to respond to and recover from a previously unknown risk when it is identified.
Manage 2.4: 의도된 사용과 일치하지 않는 성능이나 결과를 보여주는 AI 시스템을 대체, 해제 또는 비활성화하기 위한 메커니즘이 마련되고 적용되며 책임이 할당되고 이해됩니다.
Mechanisms are in place and applied, and responsibilities are assigned and understood, to supersede, disengage, or deactivate AI systems that demonstrate performance or outcomes inconsistent with intended use.

Manage 3:
타사 엔터티의 AI 위험과 이점을 관리합니다.
AI risks and benefits from third-party entities are managed.

Manage 3.1: 타사 리소스의 AI 위험과 이점을 정기적으로 모니터링하고 위험 제어를 적용하고 문서화합니다.
AI risks and benefits from third-party resources are regularly monitored, and risk controls are applied and documented.
Manage 3.2: 개발에 사용되는 사전 훈련된 모델은 AI 시스템 정기 모니터링 및 유지 관리의 일환으로 모니터링됩니다.
Pre-trained models which are used for development are monitored as part of AI system regular monitoring and maintenance.

Manage 4:
식별 및 측정된 AI 위험에 대한 대응 및 복구, 의사소통 계획 등 위험 처리를 문서화하고 정기적으로 모니터링합니다.
Risk treatments, including response and recovery, and communication plans for the identified and measured AI risks are documented and monitored regularly.

Manage 4.1: 사용자 및 기타 관련 AI 행위자의 입력을 캡처 및 평가하는 메커니즘, 호소 및 재정의, 폐기, 사고 대응, 복구 및 변경 관리를 포함하는 배포 후 AI 시스템 모니터링 계획이 구현됩니다.
Post-deployment AI system monitoring plans are implemented, including mechanisms for capturing and evaluating input from users and other relevant AI actors, appeal and override, decommissioning, incident response, recovery, and change management.
Manage 4.2: 지속적인 개선을 위한 측정 가능한 활동이 AI 시스템 업데이트에 통합되고 관련 AI 행위자를 포함한 이해 당사자와의 정기적인 참여가 포함됩니다.
Measurable activities for continual improvements are integrated into AI system updates and include regular engagement with interested parties, including relevant AI actors.
Manage 4.3: 사건과 오류는 영향을 받는 커뮤니티를 포함하여 관련 AI 행위자에게 전달됩니다. 사고와 오류를 추적하고, 대응하고, 복구하는 프로세스를 따르고 문서화합니다.
Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for tracking, responding to, and recovering from incidents and errors are followed and documented.

https://airc.nist.gov/AI_RMF_Knowledge_Base/AI_RMF/Core_And_Profiles/5-sec-core

6. AI 위험관리 프레임워크 프로파일(AI RMF Profile)

조직이 목표에 부합하고 법적/규제 요구 사항 및 모범 사례를 고려하며 위험 관리 우선순위를 반영하는 AI 위험을 가장 잘 관리할 수 있는 방법을 결정하는 데 도움을 줍니다.

AI RMF 시간 프로필은 특정 부문, 산업, 조직 또는 애플리케이션 컨텍스트 내에서 특정 AI 위험 관리 활동의 현재 상태 또는 원하는 목표 상태에 대한 설명입니다. AI RMF 현재 프로필은 현재 AI가 관리되는 방식과 현재 결과 측면에서 관련 위험을 나타냅니다. 대상 프로필은 원하는 AI 위험 관리 목표를 달성하는 데 필요한 결과를 나타냅니다.

Appendix A. AI Actor가 수행해야 하는 태스크 내역(Description of AI Actor Tasks)

1~10은 각각의 AI Actor로써 수행해야하는 업무를 정의합니다.

1. 설계(Design)

Lifecycle 중 애플리케이션 컨텍스트와 데이터 입력단계에 해당
AI 시스템이 합법적으로 목적에 적합하도록 개념과 목적을 창출
기획, 설계, 데이터 수집 및 처리 작업

2. 개발(Development)

Lifecycle 중 AI 모델 단계에 해당
AI 시스템 초기 인프라를 제공하고, 모델이나 알고리즘의 생성, 선택, 보정, 교육 및 테스트를 포함하는 모델과 해석작업 담당

3. 배포(Deployment)

Lifecycle 중 작업 및 출력단계(Task&Output)에 해당
시스템을 프로덕션에 배포하는 방법과, 관련 상황에 따른 결정을 내릴 책임
파일럿 시스템, 레거시 시스템과의 호환성 확인, 규정 준수 보장, 조직 변경 관리, 사용자 경험 평가 등이 포함

4. 운영 및 모니터링(Operation and Monitoring)

Lifecycle 중 애플리케이션 컨텍스트와 운영 및 모니터링 단계에 해당
AI 시스템 운영을 담당하고, 시스템 결과와 영향을 정기적으로 평가하는 행위자가 수행

5. 테스트, 평가, 검증과 유효성 검증(Test, Evaluation, Verification, and Validation)

Lifecycle 전반에 걸쳐 수행
- 설계,계획, 데이터에 대한 TEVV : 시스템 설계, 데이터 수집 및 측정에 내/외부 검증
- 개발에 대한 TEVV : 모델 검증 및 평가
- 배포를 위한 TEVV : 시스템 및 프로세스 통합, 사용자 경험, 규제 및 윤리적 사양준수, 테스트 및 재보정, 시스템 검증 및 통합
- 운영을 위한 TEVV : 주기적 업데이트, 테스트, 모델 주제 전문성 재보정, 사고 또는 오류추적관리, 긴급 속성 및 영향 감지, 시정 및 대응 프로세스에 대한 지속적인 모니터링

6. 인적 요소(Human Factor)

Lifecycle 전반에 걸쳐 수행
Enduser와 기타 이해관계자, AI 행위자의 적극적인 참여를 포함
사용 맥락을 이해하고, 인간중심으로 설계하는 방법론을 포함하며 다양한 분야의 기술과 관점을 제공함

7. 도메인 전문가(Domain Expert)

산업/경제/상황/응용 분야에 대한 지식이나 전문지식이 있는 실무자나 학자의 의견을 반영함으로써 AI 시스템 설계 및 개발에 지침을 제공하고 영향평가 팀이 수행하는 작업을 지원하는 것

8. 영향평가(AI Impat Assessment)

요구사항 평가, 유해한 편견 방지, AI 시스템 영향 조사, 제품 안전, 책임, 보안 등이 포함됨

9. 조달(Procurement)

제 3자 개발자, 공급업체 또는 계약자로부터 AI 모델/제품/서비스를 획득하는 과정에 해당

10. 거버넌스 및 감독(Governance and Oversight)

AI 시스템이 설계, 개발, 배포되는 조직에 법적 권한과 책임을 가진 행위자가 해당하며 주로 조직관리, 고위 경영진, 이사회가 포함됨

https://airc.nist.gov/AI_RMF_Knowledge_Base/AI_RMF/Appendices/Appendix_A

Appendix B. 기존 SW 위험과 AI 위험의 차이점

AI 시스템을 구축하는 데 사용되는 데이터는 AI 시스템의 맥락이나 의도된 사용을 사실이거나 적절하게 표현하지 못할 수 있으며, 실제 정보가 존재하지 않거나 이용 가능하지 않을 수 있습니다. 또한 유해한 편견 및 기타 데이터 품질 문제는 AI 시스템 신뢰성에 영향을 미쳐 부정적인 영향을 미칠 수 있습니다.
훈련 작업을 위한 AI 시스템 의존성과 데이터에 대한 의존도가 일반적으로 해당 데이터와 관련된 증가된 양과 복잡성과 결합됩니다.
훈련 중 의도적이거나 의도하지 않은 변경으로 인해 AI 시스템 성능이 근본적으로 변경될 수 있습니다.
AI 시스템을 교육하는 데 사용되는 데이터 셋은 원래 의도한 컨텍스트에서 분리되거나 배포 컨텍스트에 비해 오래되거나 구식이 될 수 있습니다.
보다 전통적인 소프트웨어 애플리케이션에 수용된 AI 시스템 규모 및 복잡성(많은 시스템에 수십억 또는 심지어 수조 개의 결정 지점이 포함됨)이 있습니다.
연구를 발전시키고 성능을 향상시킬 수 있는 사전 훈련된 모델을 사용하면 통계적 불확실성 수준이 높아지고 편향 관리, 과학적 타당성 및 재현성에 문제가 발생할 수도 있습니다.
대규모 사전 훈련된 모델의 창발 속성에 대한 실패 모드를 예측하는 데 더 높은 수준의 어려움이 있습니다.
AI 시스템의 향상된 데이터 집계 기능으로 인한 개인 정보 보호 위험.
AI 시스템은 데이터, 모델 또는 개념 드리프트로 인해 더 자주 유지 관리하고 수정 유지 관리를 수행하기 위한 트리거가 필요할 수 있습니다.
불투명도가 증가하고 재현성에 대한 우려가 높아졌습니다.
소프트웨어 테스트 표준이 덜 개발되어 있고 가장 단순한 경우를 제외하고는 전통적으로 엔지니어링된 소프트웨어에 기대되는 표준에 따라 AI 기반 사례를 문서화할 수 없습니다.
AI 시스템은 기존 코드 개발과 동일한 제어 대상이 아니기 때문에 정기적인 AI 기반 소프트웨어 테스트를 수행하거나 무엇을 테스트할지 결정하는 데 어려움이 있습니다.
AI 시스템 개발을 위한 계산 비용과 환경 및 지구에 미치는 영향.
통계적 측정 이상으로 AI 기반 시스템의 부작용을 예측하거나 감지할 수 없습니다.

Appendix C. AI 위험관리 및 인간 - AI 상호작용

의사 결정 및 AI 시스템 감독에 있어 인간의 역할과 책임은 명확하게 정의되고 차별화되어야 합니다. Human-AI 구성은 완전 자율에서 완전 수동까지 다양합니다. AI 시스템은 자율적으로 결정을 내리거나, 인간 전문가에게 의사결정을 연기하거나, 인간 의사결정자가 추가적인 의견으로 사용할 수 있습니다. 비디오 압축을 개선하는 데 사용되는 모델과 같은 일부 AI 시스템에는 사람의 감독이 필요하지 않을 수 있습니다. 다른 시스템에는 특히 사람의 감독이 필요할 수 있습니다.
AI 시스템의 설계, 개발, 배포, 평가 및 사용에 대한 결정은 체계적 및 인간의 인지적 편견을 반영합니다. AI 행위자는 개인과 집단 모두의 인지적 편향을 프로세스에 도입합니다. 편향은 최종 사용자 의사결정 작업에서 비롯될 수 있으며 설계 및 모델링 작업 중 인간의 가정, 기대, 결정을 통해 AI 수명주기 전반에 걸쳐 도입될 수 있습니다. 항상 해로울 필요는 없는 이러한 편견은 AI 시스템의 불투명성과 그에 따른 투명성 부족으로 인해 악화될 수 있습니다. 조직 수준의 체계적 편향은 팀 구성 방식과 AI 수명주기 전반에 걸쳐 의사 결정 프로세스를 제어하는 사람에 영향을 미칠 수 있습니다. 이러한 편견은 최종 사용자, 의사 결정자, 정책 입안자의 후속 결정에도 영향을 미칠 수 있으며 부정적인 영향을 미칠 수도 있습니다.
인간-AI 상호작용 결과는 다양합니다. 지각 기반 판단 작업과 같은 특정 조건에서 인간-AI 상호 작용의 AI 부분은 인간 편견을 증폭시켜 AI나 인간 단독보다 더 편향된 결정을 내릴 수 있습니다. 그러나 인간-AI 팀을 구성할 때 이러한 변형을 신중하게 고려하면 상호보완성과 전반적인 성능 향상을 가져올 수 있습니다.
AI 시스템 정보를 인간에게 제시하는 것은 복잡합니다. 인간은 다양한 개인 선호도, 특성 및 기술을 반영하여 다양한 방식으로 AI 시스템 출력 및 설명에서 의미를 인식하고 파생합니다.

Appendix D. AI 위험관리 프레임워크 속성

AI RMF가 노력해야하는 방향

위험을 기반으로, 리소스를 효율적으로 이용하고, 혁신을 지향하고 자발적이어야 합니다.
개방적이고 투명한 프로세스를 통해 합의를 중심으로 개발하고 정기적으로 업데이트합니다. 모든 이해관계자는 AI RMF 개발에 기여할 수 있는 기회를 가져야 합니다.
고위 간부, 정부 관료, 비정부기구 지도자, AI 전문가가 아닌 사람들을 포함한 폭넓은 청중이 이해할 수 있는 명확하고 평이한 언어를 사용하는 동시에 실무자에게 유용할 만큼 기술적 깊이가 충분합니다. AI RMF는 조직 전체, 조직 간, 고객 및 대중에게 AI 위험에 대한 커뮤니케이션을 허용해야 합니다.
AI 위험 관리를 위한 공통 언어와 이해를 제공합니다. AI RMF는 AI 위험에 대한 분류, 용어, 정의, 지표 및 특성화를 제공해야 합니다.
쉽게 사용할 수 있고 위험 관리의 다른 측면과 잘 들어맞습니다. 프레임워크의 사용은 조직의 광범위한 위험 관리 전략 및 프로세스의 일부로 직관적이고 쉽게 적용 가능해야 합니다. 이는 AI 위험 관리에 대한 다른 접근 방식과 일관되거나 연계되어야 합니다.
다양한 관점과 영역, 기술에 유용해야 합니다. AI RMF는 모든 AI 기술과 상황별 사용 사례에 보편적으로 적용 가능해야 합니다.
결과 중심적이고 비규정적이어야 합니다. 프레임워크는 일률적인 요구 사항을 규정하기보다는 결과 및 접근 방식의 카탈로그를 제공해야 합니다.
AI 위험 관리를 위한 기존 표준, 지침, 모범 사례, 방법론 및 도구를 활용하고 이에 대한 인식을 높이는 동시에 추가 개선 리소스의 필요성을 설명합니다.
법률 및 규정에 구애받지 마십시오. 프레임워크는 해당 국내 및 국제 법률 또는 규제 체제 하에서 운영할 수 있는 조직의 능력을 지원해야 합니다.
살아있는 문서가 되십시오. AI RMF는 AI 신뢰도 및 AI 사용에 대한 기술, 이해 및 접근 방식이 변경되고 이해 관계자가 AI 위험 관리 전반과 특히 이 프레임워크 구현을 통해 학습함에 따라 즉시 업데이트되어야 합니다.

출처 : https://airc.nist.gov/AI_RMF_Knowledge_Base/AI_RMF

NIST AI RMF(Risk Management Frmaework) Playbook

- 체크리스트는 아니고, 관리하기 위한 Best Practice

728x90

저작자표시

ABOUT ME

curation by zrungee curation by zrungee