Chile has more than two decades of assessing the quality of education through a national censal system called SIMCE. However, there are scarce studies that address this assessment system from an up-to-date concept of validity. The aim of this study wasto critically analyse the validity of SIMCE, consideringthe unitary concept of validity, the argument-based approach, the consideration of the whole process involved in the assessment system, the inclusion of the interpretations of all the stakeholders involved in the process, and threats to validity. Interviews to key stake holders were carried out along with analyses of official documents about SIMCE. An iterative analysis was executed onthe basis of the theoretical considerations, focusing on the fairness of the assessment system as understood in international standards. Some of the main findings indicate SIMCE lacks fitness-for-purpose in relation to its aim ofimproving the equity of the education system. It generates negative consequences which can be detrimental to students with more learning difficulties and from more vulnerable groups. And, it does not consider in its construction the diversity of students who have to take the tests.    Chile lleva más de dos décadas evaluando la calidad de la educación a través de un sistema nacional censal llamado SIMCE. Sin embargo, hay una escacez de estudios que se refieren a este sistema de evaluación desde un concepto actualizado de validez. El objetivo de este estudio fue analizar críticamente la validez del SIMCE, considerando el concepto unitario de validez, el enfoque basado en el argumento y la consideración de todo el proceso relacionado en el sistema de evaluación, la inclusión de interpretaciones de todos los interesados que están involucrados en el proceso y amenazas de validez. Se realizaron entrevistas a los principales interesados y se analizaron documentos oficiales del SIMCE. Se realizó un análisis de tipo iterativo, sobre la base de la teoría considerada, concentrándose en la equidad de los sistemas de evaluación como se entiende en estándares internacionales. Entre los principales resultados se encuentra que el SIMCE no cumple aquellos propósitos relacionados con una mayor equidad del sistema educativo; genera consecuencias negativas que podrían perjudicar a los estudiantes con más dificultades y de sectores más vulnerables; y no considera en su construcción la diversidad de estudiantes que deben responder las pruebas.