100 Días de Código en Python — Día 72: Exploración de datos con pandas — ¿qué carreras pagan más?

📝 Contenido original del curso#

Los títulos universitarios son muy costosos. ¿Se recuperan? Elegir Filosofía o Relaciones Internacionales puede preocupar a los padres, pero ¿los datos les dan la razón? La empresa PayScale hizo una encuesta de un año a 1,2 millones de estadounidenses con solo título de pregrado. Con pandas responderemos:

• ¿Qué carreras tienen los salarios iniciales más altos?
• ¿Cuáles tienen los ingresos más bajos después de graduarse?
• ¿Cuáles tienen el mayor potencial de ingresos?
• ¿Cuáles son las carreras de menor riesgo en cuanto a ingresos?
• ¿Ganan más en promedio las carreras de negocios, STEM (ciencia, tecnología, ingeniería y matemáticas) o HASS (humanidades, artes y ciencias sociales)?

Aprenderás a explorar un DataFrame, detectar valores NaN y limpiar datos, seleccionar columnas, filas y celdas, ordenar y agrupar por categoría.

Prerequisitos: pandas básico con CSV (Día 25), listas y diccionarios, print con f-strings. Recomendado: el análisis de datos del Día 53 (limpieza de precios).

📖 Por qué esto te importa (adaptación)#

En grado décimo empiezas a pensar en qué estudiar después del colegio. Hoy no vas a encontrar "la respuesta", pero sí vas a aprender a interrogar datos para tomar decisiones informadas y, sobre todo, a no creer cualquier cifra sin preguntar de dónde sale (sección 7).

📝 Contenido original del curso#

PyCharm es excelente, pero para explorar y visualizar datos es mejor un cuaderno (notebook) de Python. Google Colab se abre desde Google Drive: Nuevo → Más → Google Colaboratory. Si no puedes usarlo, instala Anaconda y usa Jupyter Notebook: Colab es "una versión en línea de Jupyter".

• El cuaderno se divide en celdas que se ejecutan por separado; el resultado aparece debajo.
• Para ejecutar una celda: Mayús + Enter.
• Colab debe conectarse a un "entorno de ejecución" (runtime) para ejecutar código.

📖 Alternativas para el aula (adaptación)#

Cómo pensar en un cuaderno: es como una calculadora que recuerda lo que hiciste en las celdas anteriores. Por eso importa el orden: si ejecutas una celda que usa clean_df antes de la que lo crea, aparece NameError. Si te pierdes, usa Reiniciar y ejecutar todo.

📝 Contenido original del curso#

Descarga salaries_by_college_major.csv de los recursos y arrástralo a la barra lateral de Colab (el ícono de la carpeta). Luego:

import pandas as pd

df = pd.read_csv('salaries_by_college_major.csv')
df.head()

.head() muestra las primeras 5 filas. En el cuaderno, la última línea de una celda se muestra automáticamente con un formato de tabla agradable. Autocompletar: Ctrl + Espacio (Windows) o ⌘ + Espacio (Mac).

🛠️ Nota técnica: en Colab, los archivos que subes a la barra lateral se borran cuando se reinicia el entorno de ejecución (por ejemplo, tras un tiempo sin uso). Si al volver aparece FileNotFoundError, súbelo otra vez o monta tu Google Drive.

🎯 Objetivo de aprendizaje#

Describir un conjunto de datos (tamaño, columnas, tipos) y detectar y eliminar datos faltantes o basura.

📝 Contenido original del curso#

Siempre el primer paso de un proyecto de datos es entender con qué se trabaja:

• ¿Cuántas filas y columnas? → df.shape
• ¿Cómo se llaman las columnas? → df.columns
• ¿Hay valores faltantes o datos "basura"? → df.isna()

Los valores NaN (Not a Number) son celdas vacías o que tienen texto donde debería haber números. Al revisar el final con df.tail(), aparece una fila con la fuente de los datos y todas las demás columnas vacías. Se elimina con dropna():

clean_df = df.dropna()
clean_df.tail()

(También se podría borrar a mano la fila de índice 50.)

📖 Lo que muestra la ejecución (verificada)#

df.shape → (51, 6)
Columnas: 'Undergraduate Major', 'Starting Median Salary', 'Mid-Career Median Salary',
          'Mid-Career 10th Percentile Salary', 'Mid-Career 90th Percentile Salary', 'Group'
Última fila (índice 50): 'Source: PayScale Inc.' y NaN en las otras 5 columnas
clean_df.shape → (50, 6)

Un truco más útil que df.isna(): df.isna() muestra una tabla enorme de True/False. Para ver cuántos faltan por columna: df.isna().sum() (verificado: 1 en cada columna salvo en Undergraduate Major). Y df.info() resume columnas, tipos y conteos de un solo golpe.

🛠️ Nota técnica: en el resumen de la lección 528 aparece el método .findna(), que no existe. Los métodos son .isna() (o su alias .isnull()) y .notna().

🛠️ Nota técnica: dropna() borra cualquier fila con al menos un NaN. Aquí solo era la fila de la fuente, pero en otros conjuntos de datos podrías perder filas valiosas sin darte cuenta. Compara siempre df.shape antes y después.

Retos adicionales (creados para esta adaptación)#

• 🟢 Reto 1 — Aplicación: usa df.info() y df.describe() e interpreta tres números de cada salida.
• 🟡 Reto 2 — Ampliación: en lugar de dropna(), elimina solo la fila de la fuente con df.drop(50) y comprueba que el resultado es igual.
• 🟠 Reto 3 — Desafío: crea una copia del CSV en la que falte el salario inicial de una carrera real. ¿Qué hace dropna()? Propón otra forma de manejarlo (por ejemplo, dropna(subset=[...]) o dejar el NaN y tenerlo en cuenta).
• 🔴 Reto 4 — Pensamiento computacional: escribe una función diagnostico(df) que imprima filas, columnas, tipos y cuántos NaN hay por columna. La usarás en todos los días del bloque.

🎯 Objetivo de aprendizaje#

Seleccionar columnas, filas y celdas, y encontrar los valores máximos y mínimos con su posición.

📝 Contenido original del curso#

clean_df['Starting Median Salary']              # una columna
clean_df['Starting Median Salary'].max()        # 74300.0
clean_df['Starting Median Salary'].idxmax()     # 43: el índice de la fila con el máximo
clean_df['Undergraduate Major'].loc[43]         # 'Physician Assistant'
clean_df['Undergraduate Major'][43]             # lo mismo, con doble corchete
clean_df.loc[43]                                # la fila completa

Reto: ¿qué carrera tiene el mayor salario a mitad de carrera (10 o más años de experiencia) y cuánto? ¿Cuál tiene el menor salario inicial? ¿Y el menor a mitad de carrera?

Solución (lección 524):

print(clean_df['Mid-Career Median Salary'].max())
print(f"Index for the max mid career salary: {clean_df['Mid-Career Median Salary'].idxmax()}")
clean_df['Undergraduate Major'][8]

print(clean_df['Starting Median Salary'].min())
clean_df['Undergraduate Major'].loc[clean_df['Starting Median Salary'].idxmin()]

clean_df.loc[clean_df['Mid-Career Median Salary'].idxmin()]

Si una celda tiene varias líneas, solo la última se muestra automáticamente; para ver las demás, usa print. Resultado: la carrera con el menor salario a mitad de carrera es Education (Educación) y la de menor salario inicial, Spanish (Español).

📖 Resultados verificados#

📖 .loc contra corchetes (adaptación)#

loc usa la etiqueta del índice (43 es el nombre de la fila, no su posición). iloc usa la posición (df.iloc[0] es siempre la primera fila). Después de dropna() u ordenar, etiqueta y posición pueden ser distintas.

⚠️ Errores frecuentes#

🎯 Objetivo de aprendizaje#

Calcular una columna nueva a partir de otras, insertarla y ordenar el DataFrame según ella.

📝 Contenido original del curso#

Carreras de menor riesgo: aquellas donde la diferencia entre los que menos ganan (percentil 10) y los que más ganan (percentil 90) es pequeña: hay más certeza sobre el salario. pandas permite restar columnas enteras:

spread_col = clean_df['Mid-Career 90th Percentile Salary'] - clean_df['Mid-Career 10th Percentile Salary']
# o: clean_df['Mid-Career 90th Percentile Salary'].subtract(clean_df['Mid-Career 10th Percentile Salary'])
clean_df.insert(1, 'Spread', spread_col)     # en la posición 1 (segunda columna)

low_risk = clean_df.sort_values('Spread')
low_risk[['Undergraduate Major', 'Spread']].head()

¿sort_values() ordena de menor a mayor o al revés? Revisa la documentación (o Mayús + Tab en el cuaderno).

Reto: las 5 carreras con mayor potencial (percentil 90 más alto) y las 5 con mayor dispersión (spread).

Solución (lección 526):

highest_potential = clean_df.sort_values('Mid-Career 90th Percentile Salary', ascending=False)
highest_potential[['Undergraduate Major', 'Mid-Career 90th Percentile Salary']].head()

highest_spread = clean_df.sort_values('Spread', ascending=False)
highest_spread[['Undergraduate Major', 'Spread']].head()

"3 de las 5 aparecen en ambas listas": hay graduados de Economía que ganan muchísimo, y otros que no tanto.

📖 Resultados verificados#

Las tres que se repiten entre "mayor potencial" y "mayor spread" son Economics, Finance y Math. sort_values() ordena de menor a mayor por defecto (ascending=True).

💡 Con pandas 3 (verificado), clean_df.insert(...) sobre el resultado de dropna() funciona sin la advertencia SettingWithCopyWarning que aparecía en versiones anteriores, gracias al modelo Copy-on-Write: clean_df es un DataFrame independiente de df.

Retos adicionales (creados para esta adaptación)#

• 🟢 Reto 1: agrega una columna Crecimiento con el porcentaje de aumento entre el salario inicial y el de mitad de carrera. ¿Qué carrera crece más?
• 🟡 Reto 2: ordena por dos columnas: primero por Group y dentro de cada grupo por salario inicial descendente.
• 🟠 Reto 3: encuentra las carreras que están a la vez entre las 10 de menor riesgo y las 25 de mayor salario inicial (pista: .isin() o intersección de conjuntos, Día 49).
• 🔴 Reto 4 — Pensamiento computacional: define tu propia medida de "mejor carrera" combinando salario inicial, crecimiento y riesgo con pesos que tú elijas. Calcula el ranking y explica por qué otra persona con otros pesos obtendría otro resultado.

🎯 Objetivo de aprendizaje#

Resumir datos por categoría con groupby, como una tabla dinámica de Excel.

📝 Contenido original del curso#

¿Qué categoría gana más en promedio: STEM, negocios o HASS? .groupby() permite manipular los datos como una tabla dinámica de Excel:

clean_df.groupby('Group').count()

Mini reto: usa .mean() para el salario promedio por grupo. Para leer mejor los números (1,012.45):

pd.options.display.float_format = '{:,.2f}'.format

Crédito extra: los datos de PayScale son de 2008 y cubren los 10 años anteriores; Finanzas aparece muy arriba, pero ese año hubo una gran crisis financiera. ¿Cambió algo? Usa el web scraping (Día 45) para compartir datos actualizados de la página de PayScale… que hoy tiene muro de pago, así que mejor en una copia antigua de la Wayback Machine.

Resumen del día: .head(), .tail(), .shape, .columns; buscar NaN y limpiar con .dropna(); columnas con df['col'] o df[['col1', 'col2']]; celdas con df['col'][índice] o .loc; .max(), .min(), .idxmax(), .idxmin(); .sort_values() e .insert(); .groupby().

📖 Explicación conceptual (verificada con pandas 3.0.6)#

count() funciona (Business 12, HASS 22, STEM 16). Pero:

🛠️ Nota técnica (verificado): clean_df.groupby('Group').mean() falla en pandas 2 y 3 con TypeError: dtype 'str' does not support operation 'mean', porque intenta promediar también la columna de texto Undergraduate Major. En versiones antiguas (las del video) pandas omitía esas columnas en silencio. La corrección:

1

clean_df.groupby('Group').mean(numeric_only=True)

o seleccionar primero las columnas numéricas que te interesan:

1

clean_df.groupby('Group')[['Starting Median Salary', 'Mid-Career Median Salary']].mean()

Resultado verificado (con el formato de miles):

🛠️ Nota técnica: en pandas 3, las columnas de texto tienen el tipo str (antes, object), como muestra df.dtypes. Es la causa del error anterior y verás ese nombre en otros mensajes.

⚠️ Errores frecuentes#

Problema#

Un grupo de estudiantes quiere una respuesta basada en datos a "¿qué carreras pagan más y cuáles son más seguras?".

Objetivo#

Un cuaderno de Jupyter o Colab que responda las 5 preguntas del curso y termine con conclusiones críticas.

Requisitos funcionales#

1. Carga, diagnóstico (shape, columns, NaN) y limpieza documentados.
2. Las carreras con mayor y menor salario inicial y a mitad de carrera.
3. Columna Spread, las 5 de menor riesgo, las 5 de mayor potencial y las 5 de mayor spread.
4. Promedios por grupo con groupby (corregido para pandas 3).
5. Una celda de texto (Markdown) con tres conclusiones y tres limitaciones de los datos (sección 7).

Restricciones técnicas#

• Cada celda con un propósito claro y un comentario o celda de texto que lo explique.
• Nombres de variables descriptivos (clean_df, low_risk…).
• El cuaderno funciona con Reiniciar y ejecutar todo.

Planificación#

1. Comprender las preguntas. 2. Entradas: el CSV. 3. Procesos: diagnosticar → limpiar → calcular → ordenar → agrupar. 4. Salidas: tablas y conclusiones. 5. Una sección del cuaderno por pregunta. 6. Escribir las preguntas como títulos antes de programar. 7. Implementar. 8. Revisar los resultados con la tabla verificada. 9. Corregir. 10. Redactar conclusiones.

Construcción paso a paso#

• Versión 1: carga y diagnóstico.
• Versión 2: valores extremos.
• Versión 3: spread y ordenamientos.
• Versión 4: agrupación.
• Versión final: conclusiones y limitaciones.

Pruebas#

Compara tus resultados con las tablas verificadas de las secciones 4, 5 y 6. Si algo no coincide, busca el error antes de seguir.

🧪 Prueba y depuración#

import pandas as pd
df = pd.read_csv('salaries_by_college_major.csv')
df.dropna()
print(df.shape)
df.insert(1, 'Spread', df['Mid-Career 90th Percentile Salary'] - df['Mid-Career 10th Percentile Salary'])
print(df.sort_values('spread').head())
print(df.groupby('Group').mean())

Encuentra cuatro problemas: df.dropna() no guarda el resultado (sigue con 51 filas); se trabaja sobre df en lugar de clean_df; 'spread' en minúsculas da KeyError; y mean() sin numeric_only=True falla en pandas 3.

⭐ Extensión del proyecto#

• Hacer el "crédito extra": comparar con datos más recientes de PayScale en la Wayback Machine (con requests y Beautiful Soup, Día 45), respetando las condiciones del sitio.
• Convertir los salarios a pesos colombianos con una tasa de cambio actual y discutir por qué esa conversión no los vuelve comparables.

Situación#

El área de orientación quiere entender qué les interesa estudiar a los estudiantes de grado 10.° y 11.° y compararlo con la información de las carreras.

Requisitos#

1. Diseña con tu grupo una encuesta anónima (Google Forms o papel) con: grado, área de interés (Ingenierías, Salud, Artes, Ciencias Sociales, Negocios, Educación, Otra), si piensa estudiar en universidad, técnico o tecnológico, y una pregunta de 1 a 5 sobre qué tanto le importa el salario al elegir.
2. Exporta las respuestas a CSV (mínimo 30, pueden ser simuladas si no hay tiempo, pero indícalo).
3. Con pandas: diagnóstico y limpieza (respuestas vacías, textos escritos distinto), conteo por área con groupby, promedio de "importancia del salario" por área y por grado.
4. Busca en el Observatorio Laboral para la Educación (OLE) información sobre las áreas más elegidas y resúmela en una celda de texto con la fuente.
5. Conclusiones con al menos dos limitaciones.

Decisiones que debes tomar (y justificar)#

• ¿Cómo garantizas el anonimato (por ejemplo, no pedir nombre ni curso exacto si el grupo es pequeño)?
• ¿Qué haces con respuestas como "ingeniería", "Ingeniería" e "ing."?

Casos de prueba#

• La suma de los conteos por área es igual al número de respuestas válidas.
• Ninguna columna del CSV final permite identificar a una persona.

Conceptuales#

1. ¿Por qué el primer paso de un proyecto de datos es explorar el DataFrame?
2. ¿Qué es un valor NaN? ¿De dónde salió el NaN de este conjunto de datos?
3. ¿Qué diferencia hay entre max() e idxmax()?
4. ¿Qué mide la columna Spread y por qué la usamos como "riesgo"?
5. Nombra tres limitaciones de estos datos para decidir qué estudiar en Colombia.

Análisis de código#

clean_df.loc[clean_df['Starting Median Salary'].idxmin(), 'Undergraduate Major']

¿Qué devuelve? ¿En qué se parece y en qué se diferencia de la solución del curso?

Predicción#

Después de clean_df = df.dropna(), ¿qué valores tienen clean_df.shape, clean_df.index[-1] y len(clean_df)?

Depuración#

clean_df.sort_values('Spread', ascending=False)
clean_df[['Undergraduate Major', 'Spread']].head()

¿Por qué la segunda línea no muestra las carreras con mayor spread?

Modificación#

Cambia el análisis por grupos para que muestre, además del promedio, el máximo y el mínimo salario inicial de cada grupo (pista: .agg(['mean', 'min', 'max']), lo verás a fondo el Día 74).

Creación#

Escribe el código que responda: ¿cuántas carreras STEM tienen un salario inicial mayor que el promedio de todas las carreras?