데이터 완전성 정책 또는 절차를 도입할 때, 가장 어려움을 겪는 것 중에 하나가 바로 ‘위험 평가’ (Risk Assessment) 입니다. 세부 절차에는 필요한 사항들 중에 규정이나 가이드라인에서 구체적인 기준이나 value 를 지정하지 않은 것들이 있습니다. (아래 예시)
- 절차의 수행 주기 (예: 백업 주기, Audit trail 검토 주기 등)
- 절차 설정 값(value) (예: 시스템 자동 Lockout time 15분 등)
- 절차의 적절성 (수립된 절차 수준에서 적절한지 여부)
위와 같은 경우에 절차를 수립하는 Rationale(Justification) 이 항상 문제의 소지가 있습니다. 근거가 되는 문서 (규정, 가이던스)에 명시된 경우, 수월하게 진행이 되지만, 그 외의 경우가 더 많기 때문이고, 이런 상황에서 진행을 위한 방법은 늘 ‘위험평가 (RA: Risk Assessment) 에 따른 결정’ 입니다.
그렇다면, 위험평가(RA) 는 어떻게 진행해야 할까요?
RA 에 대한 개념과 접근 방법에 대한 사항은 ICH Q9 QRM 을 통해 자세히 내용을 확인할 수 있습니다.
RA Tool 은 아래와 같이 여러가지 방법이 있으며 반드시 어떤 Tool 을 사용해야 한다는 Rule 또한 정해진 것이 없습니다.
- Basic risk management facilitation methods (Flowcharts, check sheets, etc.)
- Failure Mode Effects Analysis (FMEA) – Break down large complex processes into manageable steps
- Failure Mode, Effects and Criticality Analysis (FMECA) – FMEA & links severity, probability & detectability to criticality
- Fault Tree Analysis (FTA) – Tree of failure modes combinations with logical operators
- Hazard Analysis and Critical Control Points (HACCP) – Systematic, proactive, and preventive method on criticality
- Hazard Operability Analysis (HAZOP) – Brainstorming technique
- Preliminary Hazard Analysis (PHA) – Possibilities that the risk event happens
- Risk ranking and filtering – Compare and prioritize risks with factors for each risk
그 외의 추가적인 통계 Tool 은 아래를 제안하고 있습니다.
- Control Charts
- Design of Experiments (DOE)
- Pareto Charts
- Probabilistic Risk Assessment (PRA)
- Process Capability Analysis
여러가지 RA 접근 Tool 이 존재하지만, 필드에서 경험한 바로는 가장 흔하게 접하는 방법은 Risk Ranking and filtering 과 FMEA, Flowcharts 정도 입니다.
여러 industry 사례를 찾아보면 주로 FMEA 를 사용하는 경우가 많은데, 어떤 방법이 좀 더 좋다/나쁘다 의미 보다는 평가하고자 하는 주제나 범주/영역에 따라서 평가가 더 정확하거나 수월한 방법을 선택적으로 취하게 됩니다.
따라서, FMEA 방식 보다 더 적절한 평가 방법이 있다면 다른 Tool 을 고려할 수 있습니다. (아래 ICH 에서 공개한 PPT 를 참조하세요)
당장 RA 는 해야하는 데, FMEA 나 Risk Ranking 방식 등이 쉽지 않다면 아래와 같은 방법을 제안 합니다.
- 평가가 필요한 시스템 List 를 최신화 한다 (System inventory 관리 절차가 없다면 함께 제정)
- 각 시스템 평가를 위한 평가 Form 을 제정한다 (평가 항목은 Data Integrity Requirement 에 따라 Data 생성, 관리, 보관, 유지 측면에서의 Risk 항목과 Security, Account authority, audit trail 등 주요 항목을 규정/가이드라인을 통해 선별 지정합니다)
- 준비된 평가 Form 을 이용해 개별 시스템의 설정, 기능, 밸리데이션 상태 및 절차 등을 평가하여 현재 상황에서 규정/가이던스 기준에 만족하지 않는 항목 (취약점=Risk) 을 결정한다
- 확인된 DI Risk 사항을 현재 시스템, 절차, 기타 방법을 통해 Risk 가 낮음을 평가할 수 있음을 증명하거나, 해당 Risk 요소의 위험을 인정하고 이에 대한 개선/보완 계획을 수립한다 (시스템 설정 변경, S/W 변경, 절차 변경 등)
큰 범주에서는 FMEA 또는 다른 RA Tool 은 상기 3번 단계에서 RISK LEVEL 을 평가하는 방법으로 응용되어 평가 수준이나 평가 근거를 기술하는 데 효과적입니다. 다만, 이 단계에서는 Severity (심각도), Probability of occurrence (=likelihood)(가능성), Detectability (검출도) 를 평가하여 High, Medium, Low 또는 개별 Point 를 부여해 Risk Level 을 평가할 수 있습니다.
가장 중요한 것은 ‘RA 없이’ 수행 value 가 정해지거나 주기가 정해지는 경우에는 늘 챌린지 받을 가능성이 있다는 것입니다. 따라서, Data integrity 규정/기준에 대한 적합성 평가를 보증하기 위해서는 현재 시스템/절차에 대한 Risk assessment 수행이 효과적입니다. 다만, 평가 수준이 낮을 경우에는 동일한 action 을 재 수행해야할 위험이 있으므로, 처음 시작 단계에서 적절한 수준의 평가 계획을 수립하고 평가 및 보완을 수행하는 것이 합리적일 것입니다.