O documento propõe três modelos para avaliar o risco de contratos públicos: 1) um modelo de aprendizagem supervisionada para classificar o risco de fornecedores com base em variáveis como doações políticas e histórico de punições; 2) um segundo modelo para classificar o risco de contratos com base em aspectos como competitividade e complexidade; 3) um modelo multicritério para selecionar casos de auditoria com base no risco do contrato, risco da empresa, e questões logísticas.

1. Scoring de Risco de Contratos Públicos:
Aprendizagem supervisionada + Multicritério

2. Contextualização
Faturamento x Empregados

3. Contextualização
Podemos antecipar situações como
essa?
Existem características que podem
diferenciar empresas boas de ruins?
Exemplo: Quantidade de atividades cadastradas
No geral: média de atividades por empresa
Com negócios com o governo:
Com punições suspensivas:
1,99
6,10
11,61

4. Propostas
1. Usar técnicas de Machine Learning para
classificar empresas e contratos.
2. Criar modelo de decisão para auditoria, incluindo
variáveis logísticas.
Risco do contratoRisco da empresa
Questões Logísticas
• Unidade já está no plano de auditoria?
• É Capital?
• Existe equipe apropriada?
MCDA

5. Abordagem Metodológica
Modelo de aprendizagem supervisionada para os 2 primeiros modelos
Processo básico de aprendizagem de
máquina supervisionada.
Trade off viés x variância

6. Abordagem Metodológica
Escolha de varáveis preditoras com base em teorias econômicas
Qtde de lances
Qtde de participantes
Tipo de produto
Qualidade da Especificação
Frequência do item
comprado
Idade das empresas
Frequência de participação
dos licitantes
Porte das empresas
Histórico de Punições
SISPP ou SISRP
Idade no SICAF
Economia de
Custos de
Transação
Teoria dos
Leilões
Teoria dos
Jogos
Complexidade do objeto

7. Modelo 1: Risco do Fornecedor
1ª Fase: Identificação das dimensões de risco
• Qtde média de lances
por compra
• Percentual de sucesso
• Políticos
• Doações de
campanha
• Alertas CGU
• CNEP/CEPIM/SIASG
• Qtde de Funcionários
• Ocupação do sócio
• Faturamento /
funcionário
Capacidade
Operacional
Histórico
Punitivo
CompetiçãoVínculos

8. Modelo 1: Risco do
Fornecedor
2ª Fase: Montagem da base de dados
A)1446 empresas, sendo:
a. 723 do grupo de “Alto Risco”, e
b. 723 do grupo de “Baixo Risco” (Undersampling)
B)49 variáveis preditoras
C)1 variável dependente (LABEL)
Critérios para qualificação como de “Alto Risco”:
• Ter tido contrato vigente em 2015 ou 2016.
• Ter sido punido nesses anos com uma das seguintes penalidades:
• Suspensão temporária de licitar (previsto na Lei nº 8666/93);
• Impedimento de licitar e contratar (previsto na Lei nº 10520/02);
• Declaração de inidoneidade (previsto na Lei nº 8666/93).
2011 2013 2014 2015 20162012

9. Modelo 1: Risco do
Fornecedor
2ª Fase: Montagem da base de dados
Test
(30%)
Learning
(70%)
D) Separação em treino e teste
Cross Validation

10. Modelo 1: Risco do
Fornecedor
3ª Fase: Identificação das variáveis mais importantes com algoritmo Stepwise
Selecionadas 29 variáveis
Quantidade de atividades
Valor doado em eleições
Alertas da CGU
Salário dos sócios
Quantidade de funcionários
Idade da empresa

11. Modelo 1: Risco do
Fornecedor
4ª Fase: Tunning
Algoritmo: GLMnet (Regressão Logística)
Parâmetros de finais de penalização:
= 0
= 1

12. Modelo 1: Risco do
Fornecedor
5ª Fase: Criação do modelo final utilizando a base de treino completa
Resultados: Matriz de Confusão
6ª Fase: Aplicação do modelo na base de teste
Valor doado em eleições
Alertas da CGU
Quantidade de funcionários
Idade da empresa
Quantidade de atividades
Salário dos sócios
Resultados: Interpretação

13. Modelo 2: Risco do Contrato
1ª Fase: Identificação das dimensões de risco
• Qtde de funcionários
• Porte da empresa
• Complexidade do
objeto
• Qualidade na
especificação
• Qtde de participantes
• Qtde de lances
• Alertas da CGU
Irregularida
des na
Licitação
Competitivi
dade do
processo
Empresa
Aspectos
gerais da
licitação
tf-idf

14. Modelo 2: Risco do
Contrato
5ª Fase: Criação do modelo final utilizando a base de treino completa
Resultados: Matriz de Confusão
6ª Fase: Aplicação do modelo na base de teste
Resultados: Interpretação
Quantidade de atividades
da empresa
Contrato é de serviço
Desconto obtido
Lances por participante
Quantidade de sócios da empresa
Complexidade

15. Risco do processo
Risco da empresa
Questões Logísticas
Modelo 3: Seleção de
casos para auditoria
+
+
=
Score de Auditoria
• Unidade já está no plano de
auditoria?
• É Capital?
• Existe equipe apropriada?
• E o valor?

16. Modelo 3: Seleção de
casos para auditoria
Decisão Multicritério
Analytic Hierarchy Process (AHP)
Matriz de comparação dos pares de critérios

17. Modelo 3: Seleção de
casos para auditoria
Critérios para avaliação final dos contratos
• Risco inerente do fornecedor
• Risco do contrato
• Unidade auditada fica na Capital?
• Unidade auditada já no Plano Anual de Auditoria?
• Ação governamental já está priorizada?
• Há necessidade/disponibilidade de equipe especializada
• Valor

18. Modelo 3: Seleção de
casos para auditoria
Simulação: aplicando o AHP para contratos com alto risco
• Contrato que tinha o maior risco caiu para 45º. Por que?
• Baixo valor
• Unidade fora do plano de auditoria
• Contrato que era o 20º em risco subiu para primeiro. Por
que?
• Capital
• Unidade já ia ser auditada
• Valor alto

19. Conclusões
Como atuar preventivamente?
Aplicação imediata: modelo de risco para compras de TI
Criação de repositório compartilhado de indicadores /
códigos

20. Obrigado!
Leonardo Sales
leonardo.sales@cgu.gov.br