Miguel de T. e Argollo Junior, Alfredo N. Tsukumo, Amândio F. Balcão Filho, Ana Lúcia de S. Sampaio, Angela Maria Alves, Francisco F. Primo, Marcos A. C. Cruz, Antonio Montes Filho, Thais T. Maciel, Wagner R. de Martino
As normas, modelos e padrões que tratam do processo de aquisição de maneira geral e da aquisição de produtos e serviços de software de forma específica, são claras no que diz respeito à obrigatoriedade dos processos de aquisição atenderem às restrições da legislação vigente no escopo do processo da compra, sejam eles executados por instituições públicas ou privadas.
As restrições diferem entre países, entre organizações e entre projetos. As instâncias de restrição podem ser governamentais ou regulamentações, regras e políticas da empresa [ALVES 2002]. Neste projeto, o CenPRA seguiu rigorosamente a lei de licitações (Lei 8.666/93), que regula, de forma clara e transparente, a relação demanda/oferta para as aquisições em todas as esferas do governo e o decreto n.º 1070, que estabelece os critérios para compor os indicadores técnicos que serão avaliados no processo licitatório.
A comissão de licitações, cuja existência é uma exigência da Lei, convocou um grupo técnico de apoio – GTA, cujo objetivo foi prestar consultoria para elaboração dos aspectos técnicos do edital e garantir a coerência entre suas partes. O referido grupo teve também como missão a preparação e execução do julgamento das propostas e, posteriormente, será responsável pelo acompanhamento de toda a execução do objeto do processo licitatório por seu fornecedor.
O edital exigiu que as propostas técnicas abordassem os seguintes quesitos: experiência da equipe; experiência da empresa; aspectos técnicos; e aspectos de processo.
No primeiro quesito, experiência da equipe, as empresas deveriam relacionar as equipes a serem alocadas ao projeto e anexar currículos com comprovação de documentação referente a cada certificação requisitada: PMP [PMI 2004], IFPUG [IFPUG 1992] e JAVA. Cada empresa também deveria encaminhar um compromisso expresso obrigando-se a substituir qualquer integrante da equipe, no caso de seu impedimento em participar do projeto, por outro com capacitação equivalente ou superior.
No segundo quesito, experiência da empresa, as empresas deveriam encaminhar atestados expedidos por pessoas jurídicas com comprovação da realização de serviços de desenvolvimento de software de tamanho semelhante ao requerido pelo edital. Cada atestado deveria vir acompanhado por relatório que indicasse o tamanho do software, medido em pontos de função.
No terceiro quesito, as empresas deveriam responder a um questionário que tinha como objetivo avaliar os métodos de trabalho, técnicas e ferramentas utilizados nas áreas de definição de requisitos, arquitetura e definição de classes, banco de dados, documentação, segurança e testes. Estas áreas foram escolhidas, pois referem-se a aspectos críticos a qualquer projeto de desenvolvimento de software, e especialmente importantes neste, abrangendo características de estrutura, segurança e verificação do produto que será entregue. A Figura 1 mostra um exemplo de questionário.
O quarto quesito tinha como objetivo levantar aspectos básicos do processo das empresas, pois sabe-se que a qualidade de um produto ou serviço é altamente influenciada pela qualidade do processo usado para adquirir, desenvolver e mantê-lo. Esta premissa foi estabelecida há muito tempo na manufatura, baseada nos princípios de [Juran, 1988] e [Deming, 1982], entre outros, e disseminada através de normas e modelos como: NBR ISO 9000 [ABNT 2000], NBR ISO/IEC 12207 [ABNT 1998], ISO/IEC 15504-5 [ISO 2005], CMMI [Chrissis 2004] e MPS.BR [SOFTEX 2005].
Esses modelos reúnem elementos que descrevem características do processo efetivo e resultam da coleta das melhores experiências da comunidade. Dessa forma, servem, por um lado, no caso da organização desenvolvedora, como um guia para avaliar o seu desempenho e propor melhorias e, por outro lado, para a organização que adquire software, como forma de avaliar como este é desenvolvido, dando uma maior confiança na sua qualidade e no cumprimento dos prazos.
Figura 1. Exemplo de questionário técnico: Testes.
Para a avaliação das empresas, foi definido um subconjunto das práticas correspondentes às áreas de processo de gerência de projeto, gerência de requisitos, gerência de configuração e garantia da qualidade. Estas áreas foram selecionadas por serem consideradas fundamentais para melhorar a possibilidade de êxito do projeto em seu desenvolvimento, instalação e manutenção. Para cada área citada foi elaborado um questionário que continha de três a cinco questões.
As respostas do questionário técnico e de processo só seriam consideradas adequadas se estivessem fundamentadas em referências bibliográficas devidamente identificadas e reconhecidas pela comunidade de engenharia de software. Assim, mesmo respostas diferentes das apontadas usualmente nos principais modelos de referência, se bem fundamentadas, poderiam ser aceitas. Esse critério configurava uma abertura no sentido de não restringir o edital a um único modelo, mas de aceitar processos embasados em referências reconhecidas. O critério foi considerado preferível a, por exemplo, exigir uma avaliação recente em um nível do CMMI ou MPS.BR, que poderia restringir demasiadamente o universo das empresas candidatas.
Para avaliar a real utilização dos procedimentos e técnicas apresentados, solicitou-se às empresas que encaminhassem, junto com suas respostas, documentos de descrição de processos, procedimentos, técnicas e métodos utilizados e documentos de exemplos reais. Cada questão respondida de forma pertinente, mas não acompanhada de documentos comprobatórios receberia apenas 30% de seu valor máximo, ao passo que questões respondidas de forma pertinente e acompanhadas de documentos comprobatórios receberiam seu valor máximo.
Cada proposta receberia uma pontuação técnica mediante os pontos obtidos nos quesitos avaliados (experiência da equipe, experiência da empresa, aspectos técnicos, aspectos de processo). Os quesitos relativos aos aspectos técnicos e de processo tiveram pesos maiores do que os demais, pois o GTA considerou que ofereciam uma maior segurança para a seleção de empresas que possuíssem as características mais adequadas ao sucesso do projeto.
O edital exigia que as práticas avaliadas pelos questionários técnicos e de processo, consideradas críticas para o sucesso do projeto, fossem empregadas em seu desenvolvimento. Desta forma, estava previsto um mecanismo para a interrupção do contrato caso a empresa vencedora possuísse somente um conhecimento conceitual destas práticas, mas não conseguisse colocá-las em prática.
Para a avaliação das nove propostas enviadas, a equipe técnica foi dividida em duplas, considerando a especialização dos indivíduos. Desta forma, cada dupla ficou responsável por analisar um aspecto específico das propostas.
Antes do início das avaliações, cada dupla preparou um gabarito definindo os aspectos relevantes que deveriam estar presentes em cada uma das respostas para que elas pudessem ser consideradas corretas. Estes gabaritos permitiram que as avaliações fossem mais objetivas e que os resultados obtidos fossem mais homogêneos.
O trabalho de avaliação foi organizado de forma que, no dia seguinte ao da abertura do edital, todas as duplas se reuniram em uma única sala para analisar em conjunto as propostas. Esta organização visava agilizar e homogeneizar o processo de análise.
Em geral, as propostas demonstraram que as empresas empregavam processos sólidos de forma consistente, com respostas bem fundamentadas. Com isso atingimos o objetivo de selecionar uma empresa que oferecesse boas garantias de desenvolver um sistema de qualidade dentro dos prazos e custos acertados. Adicionalmente, observamos que algumas empresas apresentaram propostas que estavam muito bem organizadas, facilitando a busca de informações. Significativamente, estas empresas também apresentaram processos bem documentados e organizados.
A análise das propostas foi mais rápida do que o esperado; em um dia de trabalho esta tarefa estava completa, com um esforço total inferior a 100 homens.hora. Ressalve-se que, das nove propostas, três não apresentaram referências técnicas reconhecidas para os quesitos de técnicas e de processos. Este fato impediu que as respostas fornecidas para estes quesitos pudessem ser consideradas, causando uma redução considerável no tempo de análise. Os resultados da avaliação estão resumidos na Figura 2.
Figura 2. Tabela de pontuação – A Empresa 1 foi a vencedora da Licitação.