Defendendo o uso de avaliações diagnósticas que permitam à escola pública acompanhar os progressos dos alfabetizandos durante o primeiro ciclo, buscamos, na presente pesquisa, analisar a adequação do instrumento Provinha Brasil para a avaliação da aprendizagem da alfabetização. Nessa perspectiva, nossos objetivos específicos foram: Identificar as concepções de professoras a respeito da Provinha Brasil; Investigar como se dava a aplicação da Provinha Brasil e se esta poderia interferir nos resultados revelados pelos aprendizes; Avaliar a complexidade dos itens da Provinha Brasil, a fim de verificar se existia comparabilidade entre as edições de 2011 e 2012; e Examinar a evolução dos conhecimentos dos alunos pesquisados, na Provinha Brasil, verificando se os erros e acertos teriam a ver exclusivamente com os conhecimentos deles ou se poderiam ser influenciados pelo instrumento. Para tal, observamos a aplicação dos testes da edição de 2012 em duas turmas de uma escola que serviu como nosso campo de investigação e realizamos a aplicação (para fins de pesquisa), em períodos próximos, dos testes da edição de 2011 da Provinha, em uma das turmas. Ademais, analisamos tais provas, buscando verificar se havia comparabilidade entre o nível de complexibilidade dos itens. Os resultados demonstraram que as crianças têm interesse em responder às questões do exame e que obedecem as orientações dadas durante a aplicação. Constatamos que é necessário uma maior participação das docentes, na aplicação e no uso da Provinha, sendo adequado, também, ter certos cuidados e discussões anteriores à prova. As variações no tempo de resolução de itens ligados a diferentes descritores pareceu ter relação com o nível de complexidade das questões do exame. Embora os alunos tenham revelado progressos, ao longo do ano letivo, a comparabilidade das diferentes edições do instrumento parecia bastante questionável. A cada prova analisada, variava a distribuição quantitativa dos itens que avaliavam diferentes habilidades de alfabetização e letramento, além de terem sido constatados outros detalhes, na própria elaboração dos itens, que implicavam evidente oscilação do grau de complexidade do que as crianças eram chamadas a responder. Entre tais aspectos, ressaltamos o gênero textual utilizado, o auxílio ou não de imagens, além do fato de a criança precisar ler (ou não) o enunciado das questões.