100 Días de Código en Python — Día 100: Proyecto de portafolio — Análisis responsable de datos sensibles: Fatal Force

Principios para este proyecto#

🏫 Para el docente: se recomienda presentar el tema con una conversación previa, acordar normas de respeto y ofrecer una alternativa equivalente (por ejemplo, el proyecto extra de la sección 7 con datos sociales de la región) a quien lo necesite. El objetivo pedagógico es el análisis crítico y responsable, no el tema en sí.

📝 Contenido original del curso#

Hoy harás un análisis profundo sobre un tema increíblemente sensible y políticamente cargado. Desde el 1 de enero de 2015, The Washington Post ha recopilado una base de datos de cada muerte por disparo causada por un policía en servicio en EE. UU. Analizarás este conjunto de datos junto con datos del censo de EE. UU. sobre tasa de pobreza, tasa de graduación de bachillerato, ingreso medio de los hogares y composición racial. Así entenderemos mejor las tendencias sociales y lo que ocurre con el uso de fuerza letal por la policía en Estados Unidos.

El cuaderno añade: aunque hay muchos desafíos en la recolección y el reporte de estos datos, el Post registra más de una docena de detalles de cada caso: raza, edad y género de la persona, si estaba armada y si atravesaba una crisis de salud mental. Obtuvo esa información de sitios web de las autoridades, noticias locales, redes sociales y bases de datos independientes ("Killed by police", "Fatal Encounters"), y en muchos casos hizo reportería adicional. Hay 4 conjuntos de datos adicionales del censo.

El cuaderno instala/actualiza plotly (en Colab), importa numpy, pandas, plotly express, matplotlib, seaborn y collections.Counter, configura el formato de números y carga los 5 CSV con encoding="windows-1252". Al final (Epílogo) invita a leer el análisis del Washington Post después de hacer el propio.

Pregunta de la tarea: cómo abordaste el proyecto; qué fue difícil y qué fácil; cómo mejorarías; tu mayor aprendizaje; qué harías distinto.

Prerequisitos: todo el bloque de ciencia de datos (Días 72–81), en especial limpieza, groupby y merge (Día 74), fechas (Día 75), plotly (Días 76 y 79), seaborn y regresión (Día 78) y distribuciones (Día 80); el Día 99.

📝 Preguntas originales del cuaderno#

¿Qué forma tienen los DataFrames? ¿Cuántas filas y columnas? ¿Nombres de columnas? ¿Hay NaN o duplicados? Considera cómo tratar los NaN; "quizá sustituir por 0 sea apropiado".

Lo que encontrarás (verificado)#

Ninguno tiene filas duplicadas.

🔎 Ejemplo explicado#

pobreza["poverty_rate"] = pd.to_numeric(pobreza["poverty_rate"], errors="coerce")

errors="coerce" convierte "-" en NaN (dato faltante), que pandas ignora al calcular promedios. Es la opción honesta: "no sabemos", en vez de "es cero".

Tu turno: limpia Median Income. ¿Qué haces con "250,000+" (significa "250 000 o más") y con "2,500-" ("2500 o menos")? Decide, justifica y cuenta cuántas filas afecta.

🐞 La trampa de las fechas (verificada)#

pd.to_datetime(muertes["date"])                     # ❌ "02/01/15" → 1 de febrero de 2015
pd.to_datetime(muertes["date"], format="%d/%m/%y")  # ✅ "02/01/15" → 2 de enero de 2015

Sin formato, pandas supone mes/día (estilo estadounidense) cuando puede, y no avisa del error en esas filas (solo un aviso general de que no pudo inferir el formato). Cuando el día es mayor que 12 (14/12/15) sí lo lee bien. Resultado: fechas mezcladas sin ningún error visible. Comprueba siempre el rango: con el formato correcto va de 2015-01-02 a 2017-07-31.

⚠️ Errores frecuentes#

Problema#

Analizar de forma rigurosa y responsable un conjunto de datos sensible, combinándolo con datos socioeconómicos.

Contexto#

Un análisis de datos puede informar debates públicos… o desinformar. Tu cuaderno será evaluado tanto por su técnica como por su responsabilidad.

Objetivo#

El cuaderno completo, con cada pregunta respondida (tabla, gráfico, conclusión, limitaciones) y un ensayo final sobre lo que los datos muestran y no muestran.

Requisitos funcionales#

1. Limpieza documentada de los 5 archivos (qué, por qué, cuántas filas afectó).
2. Las preguntas de la sección 5 respondidas con la plantilla del Día 99: qué muestra, limitaciones, hipótesis marcadas como tales.
3. Ningún nombre de persona en gráficos ni tablas.
4. Un ensayo final de 1 página comparando tus conclusiones con las del Washington Post (epílogo).

Restricciones técnicas#

• No rellenar faltantes con 0 sin justificarlo.
• Fechas con formato explícito.
• En cada gráfico de conteos, una nota sobre si se compara o no con la población.

Planificación#

1. Leer la sección 1 y conversar en clase. 2. Explorar. 3. Limpiar. 4. Responder por bloques. 5. Revisar valores de control. 6. Revisar la tabla de errores de interpretación en cada conclusión. 7. Revisión por un compañero centrada en la responsabilidad. 8. Ensayo final. 9. Corregir. 10. Publicar (sin datos personales).

Construcción por etapas#

• Etapa 1 — Exploración y limpieza de los 5 archivos.
• Etapa 2 — Contexto socioeconómico (preguntas 1 a 6).
• Etapa 3 — Perfil de los casos (7 a 15).
• Etapa 4 — Geografía y tiempo (16 a 19).
• Etapa final — Epílogo y ensayo.

Pruebas (comprobaciones del análisis)#

assert muertes["fecha"].min() == pd.Timestamp("2015-01-02")
assert muertes["fecha"].max() == pd.Timestamp("2017-07-31")
assert pobreza["poverty_rate"].isna().sum() == 201
assert (muertes["gender"] == "M").sum() == 2428

🧪 Prueba y depuración#

pobreza["poverty_rate"] = pobreza["poverty_rate"].replace("-", 0).astype(float)
muertes["fecha"] = pd.to_datetime(muertes["date"])
por_estado = pobreza.merge(raza, on="Geographic Area")
print(muertes.sort_values("age").head(10)[["name", "age", "city"]])

Encuentra cuatro problemas: los guiones se convierten en 0 (dato inventado); las fechas sin formato se leen mal; el merge falla porque en raza la columna se llama Geographic area; y se imprimen nombres de personas (innecesario e irrespetuoso para el análisis). Además, unir por estado sin agrupar primero multiplica filas (cada ciudad con cada ciudad).

⭐ Extensión del proyecto#

• 🟢 Reto 1 — Aplicación: gráfico de la columna body_camera: ¿en qué porcentaje de casos había cámara corporal? ¿Cambió con los años?
• 🟡 Reto 2 — Ampliación: con la población por estado de una fuente oficial (la Oficina del Censo de EE. UU.), calcula tasas por millón y compara el mapa de tasas con el de conteos. ¿Cambia el "estado más peligroso"?
• 🟠 Reto 3 — Desafío: repite la pregunta 7 con tasas por raza usando la composición de la población nacional (fuente oficial). Escribe con cuidado qué muestra y qué no.
• 🔴 Reto 4 — Pensamiento computacional: diseña un tablero (Días 76 y 96) que presente estos datos de forma responsable: qué gráficos incluirías, qué advertencias, qué no mostrarías y por qué. Pide a 3 personas que lo usen y anota qué conclusiones sacan: ¿son las correctas?

Situación#

Elige un tema social de tu municipio o departamento con datos en datos.gov.co o en entidades oficiales (por ejemplo, deserción escolar, cobertura de internet en colegios, calidad del agua, accidentes de tránsito) y combínalo con un indicador socioeconómico, como hizo el curso.

Requisitos#

1. Dos conjuntos de datos oficiales unidos por municipio o año (merge).
2. Aplicar la tabla de errores de interpretación de la sección 3 a cada conclusión.
3. Tasas en lugar de conteos cuando se comparen lugares de distinto tamaño.
4. Un informe de 1 página para el consejo estudiantil o la junta de acción comunal.

Decisiones que debes tomar (y justificar)#

• ¿Qué población usas como denominador de tus tasas y de qué año?
• ¿Qué recomendación harías con los datos y cuál no te permiten hacer?

Casos de prueba#

• Cada gráfico cita fuente y fecha de consulta.
• Ninguna fila con datos personales llega al informe.

Situación problema#

En muchos colegios, la información útil para la comunidad está dispersa: horarios en un PDF, actividades en mensajes de chat, datos de la biblioteca en una hoja de cálculo, el menú del restaurante escolar en una cartelera. Nadie la encuentra cuando la necesita.

Contexto#

Tu colegio (real o ficticio) necesita una plataforma de información escolar construida por estudiantes, con datos organizados, un sitio web, automatizaciones y análisis que ayuden a tomar decisiones.

Pregunta orientadora#

¿Cómo podemos usar la programación para que la información de nuestra comunidad escolar sea más accesible, útil y segura?

Objetivo#

Diseñar, construir, probar y presentar, en equipos de 3 o 4 personas, una plataforma que integre al menos seis de los grandes bloques del curso.

Bloques del curso que puede integrar#

Requerimientos#

1. Usuarios y roles: visitante, estudiante, administrador (docente), con contraseñas con hash.
2. Al menos tres módulos, por ejemplo: calendario de actividades (con estados, como el Kanban del Día 89), catálogo de la biblioteca con préstamos, menú semanal, directorio de clubes.
3. Una automatización programada (recordatorios semanales, importación de datos, copia de seguridad).
4. Un tablero de datos con al menos 3 gráficos y conclusiones responsables (sección 3).
5. Una integración con una API pública, con caché y manejo de errores (Día 96).
6. Accesibilidad y privacidad: cumplir las tablas de privacidad y de accesibilidad del Día 83; solo datos ficticios o autorizados.

Restricciones#

• Python y Flask como base; librerías adicionales justificadas.
• Código en GitHub con ramas y pull requests revisados por otro integrante.
• Nada de claves ni datos personales reales en el repositorio.
• Pruebas automáticas para la lógica y las rutas principales.

Etapas de desarrollo#

Entregables#

• Repositorio con README.md (instalación, uso, arquitectura, decisiones, "Uso de IA", consideraciones éticas).
• Diagrama de arquitectura y modelo de datos.
• Informe de pruebas (automáticas y con usuarios).
• Tablero de datos con conclusiones.
• Demostración en vivo de 10 minutos y un video de respaldo.
• Diario de equipo y reflexión individual (qué aportó cada integrante).

Casos de prueba mínimos#

Criterios técnicos de funcionamiento#

Posibles extensiones#

• Notificaciones por correo institucional (con autorización).
• Versión adaptada a celular o una aplicación de escritorio para el administrador.
• Modo sin conexión para la biblioteca.
• Publicación real para la comunidad, con autorización de las directivas.

Este proyecto admite muchas soluciones distintas: dos equipos pueden priorizar problemas diferentes y construir plataformas muy diferentes, ambas excelentes.

Conceptuales#

1. ¿Por qué comparar conteos entre estados sin considerar la población lleva a conclusiones erróneas?
2. Explica con un ejemplo propio la diferencia entre correlación y causalidad.
3. ¿Qué es la falacia ecológica?
4. ¿Por qué errors="coerce" es más honesto que fillna(0) en este proyecto?

Análisis de código#

pd.to_datetime(pd.Series(["02/01/15", "14/12/15"]), format="mixed")

Verificado: devuelve 1 de febrero de 2015 y 14 de diciembre de 2015. ¿Por qué la primera fecha está mal y la segunda bien?

Predicción#

Si 77 personas no tienen edad registrada, ¿el porcentaje de menores de 25 años es mayor o menor si divides entre todas las filas en lugar de solo las que tienen edad? Compruébalo (los dos valores verificados son 17,75 % y 18,31 %).

Depuración#

"Mi gráfico por año muestra que los casos bajaron casi a la mitad en 2017." ¿Qué está pasando?

Modificación#

Cambia el análisis de la pregunta 16 para mostrar, junto a cada ciudad, cuántos casos hubo por año.

Creación#

Escribe resumen_faltantes(df) que devuelva, para cada columna, cuántos valores faltan y qué porcentaje representan, ordenado de mayor a menor. Aplícala a los 5 archivos.