Cálculo e consolidação das métricas de compliance

Uma vez que os conceitos básicos de pesquisa de compliance e escala de respostas estejam bem compreendidos, podemos verificar como as métricas de compliance suportadas pelo sistema são calculadas e consolidadas. Em outras palavras, queremos investigar exatamente como o Compliance Index e o Nível de Compliance, uma vez obtidos para as perguntas de Compliance, são consolidados para os requisitos relacionados às perguntas, para os documentos de referência que contêm os requisitos e também para os objetos incluídos no escopo dos projetos de compliance. De posse destes conhecimentos, você poderá compreender os indicadores que são exibidos no Relatório de Análise de Compliance, nas consultas e nos gráficos do módulo Dashboard.

Durante a definição do escopo de um projeto de compliance, uma pesquisa, uma escala de respostas (que define as opções de respostas possíveis para as perguntas de Compliance), um entrevistado e um revisor (opcional) são selecionados para cada objeto que será analisado. É através destas associações, no contexto de um projeto, que uma entrevista de compliance é gerada. Na medida em que as respostas das perguntas de Compliance da entrevista são processadas, as métricas de compliance são obtidas diretamente a partir da escala selecionada.

Cada pergunta de Compliance que for respondida por um entrevistado durante o preenchimento de uma entrevista de compliance terá um valor de Compliance Index (%) e um valor de Nível de Compliance a ela associados. Esses valores serão obtidos em função de: 1) a opção de resposta selecionada pelo entrevistado e 2) os valores correspondentes para a opção de resposta, considerando a escala de respostas que foi associada à entrevista no escopo do projeto. Observe que a escala de respostas é escolhida para a entrevista como um todo, logo, todas as perguntas de compliance da entrevista utilizarão essa mesma escala, que apresentará ao entrevistado as mesmas opções de resposta.

Por exemplo, se a pergunta de Compliance for a seguinte: "Como você avalia o grau de maturidade do processo de backup dos servidores da sua organização?".

Vamos supor que esta pergunta faça parte de uma entrevista que, na criação do escopo de um projeto, foi associada à escala de respostas "Maturidade", com suas seis opções (veja abaixo).

Considerando o exemplo da figura acima, se o entrevistado escolher a opção de resposta 2, o valor do Compliance Index para esta pergunta, para este entrevistado, será de 20% e o Nível de Compliance correspondente será "Não Atendido".

Observe ainda que, em um mesmo projeto, entrevistas semelhantes (isto é, baseadas em uma mesma pesquisa e com a mesma escala de respostas) podem ser enviadas a vários entrevistados. Assim, perguntas de Compliance semelhantes podem receber respostas diferentes por parte dos entrevistados, o que gera métricas diferentes.

Suponha que a pergunta "Como você avalia o grau de maturidade do processo de backup dos servidores da sua organização?" faça parte de duas entrevistas que utilizam a mesma escala de respostas da figura anterior, e que sejam enviadas a dois entrevistados: José e João. Talvez José, ao responder esta pergunta, escolha a opção 2 e João escolha a opção 5. Nesse caso, o valor do Compliance Index da pergunta na entrevista de João será 80%, ao passo que na entrevista de José será 20%. Os valores do Nível de Compliance também serão diferentes ("Atendido" para João e "Não Atendido" para José). Por esse motivo, é preciso consolidar as respostas de todas as entrevistas enviadas durante o projeto de compliance, para que as métricas de compliance sejam significativas. O sistema faz essa consolidação automaticamente e permite o acompanhamento da situação de cada entrevista (não enviada, enviada, parcialmente respondida, completa e cancelada).

Note que o envio de entrevistas de compliance a diferentes pessoas da organização permite medir as diferentes percepções destes entrevistados sobre o grau de atendimento a determinados requisitos. Dessa forma, a obtenção de resultados é mais confiável, pois não depende apenas da opinião de uma só pessoa.

Para atender a uma maior variedade de casos de uso, o sistema permite também que entrevistas que contêm as mesmas perguntas, mas utilizam escalas de respostas diferentes, sejam enviadas. No exemplo da figura seguinte, foram enviadas duas entrevistas, E1 e E2, geradas a partir de uma mesma pesquisa aos entrevistados José e João. Como uma mesma pesquisa de compliance foi utilizada na geração das duas entrevistas, elas terão as mesmas perguntas e as mesmas relações entre as perguntas de Compliance com os requisitos de documentos de referência. Porém, as escalas de respostas associadas a cada entrevista serão diferentes. A entrevista E1 foi enviada a José e usa a escala R1, ao passo que a João foi enviada a entrevista E2, semelhante, mas que usa a escala de respostas R2. Assim, os entrevistados José e João responderão as mesmas perguntas, mas terão opções de resposta diferentes.

Como vimos, o Compliance Index e o Nível de Compliance das perguntas de Compliance são gerados diretamente a partir da escala de respostas. Suponhamos que tenham sido enviadas três entrevistas: E1, E2 e E3, geradas com base em pesquisas diferentes (contendo perguntas diferentes) aos entrevistados José, João e Maria. A tabela abaixo exibe as respostas dadas pelos entrevistados e que já contém o valor do Compliance Index e do Nível de Compliance para cada pergunta (obtidos diretamente da escala de respostas). Nesse cenário, o Compliance Index da pergunta 37 na entrevista E1 é 40% e seu Nível de Compliance é "Atendido".

Observe que cada entrevista foi enviada a um entrevistado diferente, embora o sistema permita enviar várias entrevistas a um mesmo entrevistado. Além disso, embora todas as entrevistas utilizem a mesma escala de respostas neste exemplo, também seria possível que cada entrevista utilizasse uma escala de respostas diferente.

Uma vez obtidas as métricas de compliance para as perguntas, podemos consolidar os resultados obtidos para cada pergunta para exibir os resultados para cada requisito, para cada documento de referência e para cada objeto, como explicado na tabela abaixo:

Utilizando as métricas de compliance para as perguntas, podemos fazer a primeira consolidação importante e obter o Compliance Index e o Nível de Compliance para um requisito de um documento de referência. Vejamos como é feita essa consolidação, utilizando a figura seguinte como exemplo. Observe que existem três perguntas de Compliance (37, 45 e 53) de diferentes entrevistas ligadas a um requisito (R170) e um documento de referência XYZ qualquer, e que cada pergunta possui os seus valores de Compliance Index e Nível de Compliance obtidos diretamente da escala de respostas.

Assim, o Compliance Index da pergunta 37 é 40%, o da pergunta 45 é 60%, e o da pergunta 53 é 20%. Qual será o valor consolidado do Compliance Index para o requisito R170, ao qual as perguntas estão associadas?

Para calcular o Compliance Index de um determinado requisito faz-se o somatório dos valores de Compliance Index (%) das perguntas relacionadas (direta ou indiretamente) com o requisito, dividido pelo número de perguntas consideradas. No caso do exemplo acima, vemos que o Compliance Index do R170 é 40%. Embora o cálculo seja bastante simples, a explicação dada para o cálculo do Compliance Index de um requisito requer algumas considerações. Por exemplo, uma pergunta pode estar ligada ao mesmo tempo a um requisito filho e a um requisito pai. Como este cenário afeta os cálculos?

Digamos que uma pergunta esteja relacionada com um requisito filho e com o seu requisito pai. Por exemplo, na figura seguinte, a pergunta P4 está relacionada diretamente tanto com requisito filho R3.1 quanto com o pai R3. O Compliance Index do requisito filho R3.1 (10% + 80%) / 2 = 45%. Qual é o Compliance Index do requisito pai R3?

A pergunta P3 está ligada indiretamente ao requisito pai R3, através do seu filho R3.1 e contribui com 10%. Já a pergunta P4 está ligada diretamente tanto ao requisito filho quanto ao pai e contribui com 80%. Pela fórmula, o Compliance Index de R3 é obtido a partir de todas as perguntas ligadas direta ou indiretamente a ele. Assim, a pergunta P3, ligada indiretamente a R3, conta uma vez e contribui com 10% e a pergunta P4, que está ligada tanto diretamente quanto indiretamente a R3, conta duas vezes na consolidação, de modo que o resultado obtido será:

(10% (P3) x 1 + 80% (P4) x 2) / 3 = 56,67%

Qual seria o Compliance Index do exemplo anterior se não existisse nenhuma pergunta ligada diretamente ao requisito pai R3 (veja abaixo)?

Nesse caso, tanto as perguntas P3 quanto P4 estão ligadas indiretamente a R3, através do requisito filho R3.1. Porém, agora P4 não está mais ligada diretamente a R3. Neste caso, o Compliance Index de R3 será:

(10% (P3) x 1 + 80% (P4) x 1) / 2 = 45%

Observe que a pergunta P4 agora está contando apenas uma vez para o cálculo do requisito pai R3.

Para obter o Nível de Compliance para um requisito, considera-se o pior resultado de Nível de Compliance obtido, considerando todas as perguntas diretamente relacionadas com ele. No exemplo da figura seguinte, o requisito 170 está relacionado com três perguntas (37, 45 e 53), e o pior caso de Nível de Compliance é o "Não Atendido" da pergunta 53. Assim, por convenção, o Nível de Compliance do requisito 170 será "Não Atendido".

A consolidação do Compliance Index para um documento de referência deve ser obtida a partir do Compliance Index das perguntas ligadas a todos os requisitos do documento, em qualquer nível. No exemplo mostrado na figura seguinte, o Compliance Index consolidado para o documento de referência XYZ é 42,85%, utilizando o seguinte cálculo:

CI DocRef = (40% + 60% + 20% + 20% + 60% + 20% + 80%) / 7 = 42,85%

Em um cenário mais complexo, onde existem perguntas ligadas ao mesmo tempo a requisitos filhos e a requisitos pais, o Compliance Index para um documento de referência XYZ no exemplo exibido a seguir é 37.14%, utilizando o cálculo abaixo:

CI = (P1 x 1 + P2 x 2 + P3 x 2 + P4 x 2) / 7

CI = (40 + 40 + 20 + 160) / 7

CI = 37,14%

Observe que a pergunta P4, que está ligada a um requisito filho R3.1 e a seu pai R3, é contada duas vezes na consolidação. Quanto ao Nível de Compliance, mais uma vez, consideramos o pior caso. Assim, se pelo menos uma dentre as perguntas associadas aos requisitos do documento (P1, P2, P3, P4) tiver nível "Não Atendido", o Nível de Compliance do documento como um todo será "Não Atendido".

Para calcular o Compliance Index de um objeto, o método utilizado é somar o Compliance Index de todas as perguntas de todas as entrevistas já finalizadas associadas ao objeto durante a criação do escopo do projeto, e então dividir pelo número de perguntas. A associação das perguntas a requisitos não é considerada no cálculo (*).

No exemplo da figura seguinte, supondo que as entrevistas 1 e 2 estão finalizadas, o Compliance Index do Objeto 1 será:

(40% + 60% + 20% + 20% + 60%) / 5 = 40%.

(*) Cada objeto só pode estar relacionado a uma pesquisa no escopo. Porém, este mesmo objeto pode ser incluído novamente no escopo e associado a uma pesquisa diferente.

Para consolidar o Nível de Compliance de um objeto, consideramos novamente o pior caso, dentre todas as perguntas existentes em todas as entrevistas relacionadas com o objeto. Se ao menos uma pergunta for respondida como "Não Atendido" o Nível de Compliance para o Objeto 1 será "Não Atendido".

Vale lembrar que o Nível de Compliance "Não Aplicável" não gera métricas de compliance. Se todas as perguntas associadas a um requisito forem respondidas como "Não Aplicável", esse requisito não será exibido nas consultas ou dashboards.