100 Días de Código en Python — Día 45: Web scraping con Beautiful Soup

🎯 Objetivo de aprendizaje#

Crear un objeto BeautifulSoup a partir de un archivo HTML y acceder a sus etiquetas.

🧠 ¿Qué aprenderemos?#

bs4, la clase BeautifulSoup, el analizador (html.parser o lxml), .title, .name, .string, .prettify() y el acceso a la primera etiqueta de un tipo.

📖 Explicación conceptual#

• Beautiful Soup es una librería para extraer datos de archivos HTML y XML. Se instala como beautifulsoup4 y se importa como bs4 (versión 4). Su documentación está traducida a varios idiomas, entre ellos el español.
• Analizar (parse) es convertir un texto en una estructura que el programa entiende. Beautiful Soup necesita saber qué tipo de documento recibe. Por eso se le indica un analizador:
  • "html.parser": viene con Python; no requiere instalar nada.
  • "lxml": más rápido y, según la profesora, funciona en algunos sitios donde el otro da problemas. Se instala aparte (pip install lxml).
• La sopa (soup) es un objeto que representa todo el documento: puedes navegarlo con código Python como si fuera un árbol.

🔎 Ejemplo explicado#

Archivo de práctica website.html (creado para esta guía):

<!DOCTYPE html>
<html lang="es">
<head><meta charset="UTF-8" /><title>Hoja de vida de Ana</title></head>
<body>
  <h1 id="name">Ana Pérez</h1>
  <p><em>Estudiante de grado décimo. Practicante en <strong><a href="https://www.colegio.edu.co/">Colegio Ejemplo</a></strong>.</em></p>
  <h3 class="heading">Libros favoritos</h3>
  <ol>
    <li>Cien años de soledad</li>
    <li>María</li>
  </ol>
  <h3 class="heading">Habilidades</h3>
  <ul>
    <li><a href="https://www.python.org/">Python</a></li>
    <li><a href="https://developer.mozilla.org/es/">HTML y CSS</a></li>
  </ul>
</body>
</html>

from bs4 import BeautifulSoup

with open("website.html", encoding="utf-8") as file:
    contents = file.read()                        # el HTML como texto

soup = BeautifulSoup(contents, "html.parser")     # "hacer sopa"

print(soup.title)          # <title>Hoja de vida de Ana</title>  (la etiqueta completa)
print(soup.title.name)     # title                                (el nombre de la etiqueta)
print(soup.title.string)   # Hoja de vida de Ana                  (el texto de adentro)
print(soup.a)              # el PRIMER <a> del documento
print(soup.li.getText())   # Cien años de soledad                 (el texto del primer <li>)
print(soup.prettify())     # todo el HTML con sangría, fácil de leer

Resultado verificado: las líneas comentadas coinciden con la ejecución real.

¿Por qué with open(...)? Es la forma que vimos en el Día 24: abre el archivo y lo cierra automáticamente al terminar el bloque.

⚠️ Errores frecuentes#

📝 Ejercicio original del curso: leer el archivo y hacer sopa#

• Enunciado: en el proyecto bs4-start hay un main.py vacío y un website.html (una versión simplificada de la página de hoja de vida del Día 41). Reto de la profesora: leer el contenido del archivo como texto usando with y open, antes de ver la solución.
• Luego: importar BeautifulSoup desde bs4, crear la sopa con "html.parser" y probar soup.title, soup.title.name, soup.title.string, soup.prettify(), soup.a, soup.li y soup.p.

🔍 Antes de programar#

• ¿Qué necesita recibir BeautifulSoup: el nombre del archivo o su contenido?
• ¿Qué diferencia esperas entre soup.title y soup.title.string?
• ¿Qué pasará con soup.p si hay varios párrafos?

Retos adicionales (creados para esta adaptación)#

• 🟢 Reto 1 — Aplicación: analiza con Beautiful Soup la página de tu proyecto integrador del bloque web (Días 41 a 44). Imprime su title y su primer h2.
• 🟡 Reto 2 — Ampliación: imprime el nombre de la primera etiqueta que está dentro del body (pista: explora soup.body y la documentación sobre "navegar el árbol").
• 🟠 Reto 3 — Desafío: compara soup.prettify() con el archivo original. ¿Beautiful Soup "arregla" un HTML con errores (por ejemplo, un </li> que falta)? Prueba con una copia rota del archivo y explica lo que observas, relacionándolo con lo que vimos del navegador en el Día 41.
• 🔴 Reto 4 — Pensamiento computacional: escribe una función resumen_html(ruta) que devuelva un diccionario con el título de la página, cuántos enlaces, cuántas imágenes y cuántos encabezados de cada nivel (h1 a h6) tiene. Pruébala con dos páginas distintas.

🎯 Objetivo de aprendizaje#

Usar find, find_all, select_one y select para ubicar elementos por etiqueta, atributo, clase, id o selector CSS, y extraer su texto y sus atributos.

📖 Explicación conceptual#

Sobre cada elemento encontrado:

¿Por qué class_ con guion bajo? class es una palabra reservada de Python (sirve para crear clases, Día 16). Para buscar por el atributo HTML class, Beautiful Soup usa el parámetro class_.

¿Cuándo usar selectores CSS? Cuando el elemento no tiene nada único, pero su ubicación sí lo es. En el ejemplo, el enlace de la empresa es el único a que está dentro de un p. Con find_all("a") tendrías que adivinar su posición; con select_one("p a") lo encuentras directamente. En sitios reales, muchos elementos están dentro de un div con id: primero apuntas al div y luego al elemento.

🔎 Ejemplo explicado#

all_anchor_tags = soup.find_all(name="a")
for tag in all_anchor_tags:
    print(tag.getText())       # Colegio Ejemplo / Python / HTML y CSS
    print(tag.get("href"))     # los tres enlaces

heading = soup.find(name="h1", id="name")
print(heading.getText())       # Ana Pérez

section_heading = soup.find(name="h3", class_="heading")
print(section_heading.getText())    # Libros favoritos (el primero)
print(section_heading.get("class")) # ['heading']  -> ¡una lista! un elemento puede tener varias clases

company_url = soup.select_one(selector="p a")
print(company_url.get("href"))      # https://www.colegio.edu.co/

name = soup.select_one("#name")          # id
headings = soup.select(".heading")       # clase -> lista de 2 elementos

Resultado verificado con el archivo de práctica.

⚠️ Errores frecuentes#

📝 Ejercicio original del curso: explorar el archivo con find, find_all y select#

• Tareas mostradas en la lección:
  1. Obtener todas las etiquetas a y luego todos los p con find_all.
  2. Imprimir el texto de cada enlace (con un ciclo for y getText).
  3. Imprimir el href de cada enlace (con get).
  4. Obtener el h1 que tiene id="name".
  5. Obtener el h3 con class="heading", su texto, su nombre y el valor de su atributo class.
  6. Obtener la URL de la empresa con select_one("p a").
  7. Usar selectores de id (#name) y de clase (.heading) con select_one y select.
• La profesora anuncia un cuestionario de práctica sobre búsqueda y selección (no está en la carpeta).

🔍 Antes de programar#

• ¿Cuántos elementos devolverá cada búsqueda? Escríbelo antes de ejecutar y luego compara.
• ¿Qué tiene de único el enlace de la empresa respecto a los otros enlaces?
• ¿Cuándo conviene find y cuándo find_all?

Retos adicionales (creados para esta adaptación)#

• 🟢 Reto 1: con una sola comprensión de listas, obtén una lista de tuplas (texto, enlace) de todos los a.
• 🟡 Reto 2: obtén solo los li de la lista ordenada (pista: select("ol li")). Luego, solo los li que contienen un enlace.
• 🟠 Reto 3 — Depuración: este programa falla. Encuentra los tres errores:

  titulos = soup.find_all(name="h3", class_="heading").getText()
  enlace = soup.select_one("p > a")
  print(enlace.get(href))

(Pista para el segundo: en el archivo, ¿el a es hijo directo del p? Consulta qué significa > en un selector CSS.)

• 🔴 Reto 4 — Pensamiento computacional: dada la página de tu proyecto integrador web, escribe un programa que produzca el índice de la página (todos los h2 y, debajo de cada uno, sus h3) con la sangría correcta. ¿Cómo sabes a qué h2 pertenece cada h3 si no están anidados en el HTML? (Pista: recorre los encabezados en orden.)

🎯 Objetivo de aprendizaje#

Descargar el HTML de una página real con requests, extraer datos repetidos y relacionarlos entre sí mediante índices.

📖 Explicación conceptual#

El sitio del ejemplo es Hacker News (news.ycombinator.com), de Y Combinator, donde la gente publica noticias de tecnología que otros votan.

import requests
from bs4 import BeautifulSoup

response = requests.get("https://news.ycombinator.com/")
yc_web_page = response.text                     # el mismo HTML que ves en "Ver código fuente"
soup = BeautifulSoup(yc_web_page, "html.parser")
print(soup.title.string)                        # Hacker News

El método del curso para encontrar los datos:

1. Clic derecho sobre un título → Inspeccionar.
2. Identificar la etiqueta y la clase (en el video: un a con clase storylink; los puntos, un span con clase score).
3. Buscar con find el primero; luego con find_all todos.
4. Extraer el texto, el enlace y los puntos en tres listas paralelas (el elemento 0 de cada lista corresponde al mismo artículo).
5. Convertir los puntos ("40 points") en números: int(score.getText().split()[0]).
6. Encontrar el mayor con max() y su posición con .index(), y usar esa posición en las otras listas.

🛠️ Nota técnica (verificado el 26/09/2026): Hacker News ya no usa la clase storylink: find_all("a", class_="storylink") devuelve una lista vacía. Hoy el título está en <span class="titleline"><a href="...">Título</a></span>, así que el selector que funciona es soup.select("span.titleline > a") (30 resultados). Los puntos siguen en span.score (30 resultados). Esta es la lección más importante del día: los sitios web cambian su HTML sin avisar, y un programa de scraping debe revisarse con DevTools cada vez que deja de funcionar.

🔎 Ejemplo explicado: de texto a número#

article_upvotes = [int(score.getText().split()[0]) for score in soup.find_all(name="span", class_="score")]

Se lee de adentro hacia afuera:

• score.getText() → "40 points"
• .split() → ["40", "points"] (divide por espacios)
• [0] → "40"
• int(...) → 40

Luego:

largest_number = max(article_upvotes)
largest_index = article_upvotes.index(largest_number)
# articles_texts[largest_index] y article_links[largest_index] son el título y el enlace ganadores

🛠️ Nota técnica (análisis de esta adaptación): las listas paralelas solo funcionan si cada artículo tiene título y puntos. En Hacker News, las publicaciones de ofertas de empleo aparecen sin puntos: si una de ellas está en la portada, la lista de puntos tendrá menos elementos que la de títulos y los índices se desalinearán, así que el programa mostrará el título equivocado sin dar ningún error. Una solución más robusta es recorrer cada fila de noticia y buscar su título y sus puntos dentro de ella, o guardar cada artículo como un diccionario {"titulo": ..., "enlace": ..., "puntos": ...}.

⚠️ Errores frecuentes#

📝 Ejercicio original del curso: la noticia más votada de Hacker News#

• Retos de la lección, en orden:
  1. Imprimir el título del primer artículo.
  2. Obtener su enlace y sus puntos.
  3. Cambiar a find_all y construir las listas article_texts, article_links y article_upvotes (con puntos como enteros).
  4. Imprimir el título y el enlace de la noticia con más puntos de la portada, encontrando el índice del número mayor.
• Idea de uso de la profesora: hacerlo todos los días y enviarse por correo o SMS la noticia más votada (Días 32 y 36).

🔍 Antes de programar#

• ¿Qué datos hay que obtener de cada noticia?
• ¿Cómo se relacionan tres listas separadas? ¿Qué supuesto estás haciendo?
• ¿Qué harías si dos noticias tuvieran el mismo número de puntos?

Retos adicionales (creados para esta adaptación)#

• 🟢 Reto 1: adapta el programa a la estructura actual de Hacker News e imprime las 5 noticias con más puntos, ordenadas (pista: sorted con key, o zip de las listas).
• 🟡 Reto 2: reescribe el programa para que cada noticia sea un diccionario, buscando el título y los puntos dentro de cada fila. Si una noticia no tiene puntos, asígnale 0.
• 🟠 Reto 3: guarda el resultado en un archivo CSV con fecha (datetime, Día 32) y ábrelo con pandas (Día 25) para calcular el promedio de puntos.
• 🔴 Reto 4 — Pensamiento computacional: diseña un programa que se ejecute una vez al día y te avise solo cuando aparezca una noticia sobre un tema que te interese (por ejemplo, "Python" o "robot"). ¿Qué datos debe guardar entre ejecuciones para no avisarte dos veces lo mismo?

🎯 Objetivo de aprendizaje#

Evaluar si un proyecto de scraping es legal, ético y respetuoso con el sitio, y leer un archivo robots.txt.

📖 Lo que plantea el curso#

• Los buscadores (Google, Bing) hacen scraping de toda la web constantemente para indexarla.
• Casos famosos: Genius demandó a Google por mostrar letras de canciones tomadas de su sitio (y perdió). LinkedIn demandó a hiQ, una empresa que extraía datos públicos de perfiles.
• Conclusión del curso:
  1. Los datos públicos y sin derechos de autor probablemente se pueden recolectar.
  2. El uso privado es poco problemático; el problema aparece al comercializar los datos de otros.
  3. El contenido con derechos de autor (videos de YouTube, artículos de Medium, música de Spotify) no se puede comercializar.
  4. Los datos detrás de un inicio de sesión tienen otra situación: al registrarte aceptaste unos términos que suelen prohibirlo.
  5. Que algo sea legal no significa que sea posible: muchos sitios usan CAPTCHA o reCAPTCHA para detectar bots (por ejemplo, analizando cómo se mueve el mouse antes de marcar la casilla).
  6. Una demanda cuesta mucho dinero aunque la ganes.
• Ética, según la profesora: "si no quiero que me pase algo, trato de no hacérselo a los demás".
  • Si hay una API pública, úsala (y solicita el acceso si hace falta).
  • Respeta al dueño del sitio: no hagas miles de peticiones por segundo; eso puede tumbar el sitio y parecer un ataque DDoS.
  • Lee el robots.txt (https://sitio.com/robots.txt): indica qué rutas no quiere que visiten los bots (Disallow) y cuántos segundos esperar entre peticiones (Crawl-delay).
  • La recomendación de la profesora: no más de una petición por minuto si el sitio no dice nada.

🔎 Ejemplo explicado: el robots.txt de Hacker News (verificado el 26/09/2026)#

User-Agent: *
Crawl-delay: 30
Disallow: /collapse?
Disallow: /login
Disallow: /reply?
Disallow: /vote?
...

• User-Agent: * → las reglas aplican a todos los bots.
• Crawl-delay: 30 → espera 30 segundos entre peticiones.
• Disallow: /vote? → no automatices votos; /reply? → no automatices respuestas. Tiene sentido: el sitio quiere que personas, no robots, voten y comenten.

Python trae un lector de robots.txt:

from urllib.robotparser import RobotFileParser

rp = RobotFileParser("https://news.ycombinator.com/robots.txt")
rp.read()
print(rp.can_fetch("*", "https://news.ycombinator.com/"))        # True: puedo leer la portada
print(rp.can_fetch("*", "https://news.ycombinator.com/vote?id=1"))  # False: no debo automatizar votos
print(rp.crawl_delay("*"))                                        # 30 segundos de espera

(Resultados verificados el 26/09/2026.)

📖 Adaptación para Colombia (no es contenido del curso; no es asesoría legal)#

Regla práctica para el aula: en este curso solo haremos scraping de (1) nuestros propios archivos, (2) sitios creados para practicar (los clones de App Brewery, books.toscrape.com, quotes.toscrape.com) y (3) páginas públicas, sin datos personales, respetando su robots.txt, con pocas peticiones y solo para aprender.

⚠️ Errores frecuentes de criterio#

Retos adicionales (creados para esta adaptación)#

• 🟢 Reto 1: lee el robots.txt de tres sitios (por ejemplo, Wikipedia, un periódico colombiano y el sitio de tu colegio, si lo tiene). ¿Cuál es el más permisivo? ¿Alguno tiene Crawl-delay?
• 🟡 Reto 2: escribe una función puedo_raspar(url) que use RobotFileParser y devuelva True o False, y úsala antes de cada requests.get de tus programas.
• 🟠 Reto 3 — Debate: para cada caso, decide si es aceptable y justifica con los criterios de esta sección: (a) extraer el menú del restaurante escolar publicado en la página del colegio para mostrarlo en tu app; (b) extraer todos los correos de los docentes que aparecen en el sitio del colegio para enviarles publicidad; (c) copiar las reseñas de una tienda en línea para publicarlas en tu blog; (d) descargar datos del portal de datos abiertos del Estado (datos.gov.co).
• 🔴 Reto 4 — Investigación: investiga cómo terminó el caso hiQ contra LinkedIn (hubo varias decisiones). Compara con la conclusión del video y escribe un párrafo sobre por qué "ganar" un juicio no es tan simple (ver la corrección técnica de la sección 10).

Problema#

Es de noche, todos están frente al televisor y nadie sabe qué película ver. La revista Empire publicó una lista de las 100 mejores películas de todos los tiempos, numerada de la 100 a la 1. La profesora quiere verlas todas e ir tachándolas.

Contexto#

El mismo problema aparece con listas de libros del plan lector, álbumes musicales o videojuegos. El scraping permite convertir una página en una lista de trabajo.

Objetivo#

Crear un programa que extraiga los 100 títulos y los guarde en un archivo movies.txt, uno por línea, del 1 al 100.

Requisitos funcionales (originales del curso)#

1. Tomar la URL de los recursos del curso (puede cambiar con el tiempo; no la copies del video).
2. Descargarla con requests y analizarla con Beautiful Soup.
3. Encontrar con DevTools dónde están los títulos (en el video: h3 con clase title).
4. Extraer el texto de todos los títulos.
5. Invertir la lista (en la página va de 100 a 1).
6. Escribir cada título en una línea de movies.txt.

Dato verificado el 26/09/2026: el curso usa una copia archivada de la página de Empire en Wayback Machine (web.archive.org). Con esa copia, find_all(name="h3", class_="title") devuelve 100 títulos, del "100) Stand By Me" al "1) The Godfather". Usar una copia archivada es una buena decisión: la página original de Empire cambió de diseño varias veces.

Dos formas de invertir la lista (las dos del curso):

Curiosidad del curso: la película 93 aparece con un error de escritura en la página original. "Como estamos recolectando datos, no podemos ser quisquillosos": el programa copia lo que hay. (Eso sí, podrías corregirlo tú en un paso de limpieza de datos.)

Restricciones técnicas#

requests, bs4, comprensión de listas, rebanadas y escritura de archivos. Sin copiar a mano.

Planificación#

1. Comprender: ¿qué hay en la página y qué necesito?
2. Entradas: la URL.
3. Proceso: descargar → analizar → buscar → extraer texto → invertir → escribir.
4. Salida: movies.txt con 100 líneas.
5. Dividir el problema en esas funciones.
6. Diseñar → 7. Implementar → 8. Probar → 9. Corregir → 10. Mejorar.

Construcción paso a paso#

• Versión 1 — Descargar: imprime soup.prettify() y busca un título en la salida.
• Versión 2 — Extraer: all_movies = soup.find_all(...) e imprime len(all_movies). ¿Da 100?
• Versión 3 — Texto: una comprensión de listas con getText().
• Versión 4 — Ordenar: invierte la lista y comprueba que el primer elemento empieza por "1)".
• Versión final — Guardar: with open("movies.txt", mode="w", encoding="utf-8") as file: y escribe cada título seguido de "\n".

Pruebas#

🧪 Prueba y depuración#

Este programa tiene cuatro errores. Explica el efecto de cada uno:

import requests
from bs4 import BeautifulSoup

URL = "https://web.archive.org/web/20200518073855/https://www.empireonline.com/movies/features/best-movies-2/"
response = requests.get(URL)
soup = BeautifulSoup(response, "html.parser")
all_movies = soup.find_all(name="h3", class_="title")
movie_titles = [movie.getText for movie in all_movies]
movies = movie_titles[::1]
with open("movies.txt", mode="a") as file:
    for movie in movies:
        file.write(movie)

⭐ Extensión del proyecto#

• Guarda también si la película ya fue vista ([ ] o [x] al inicio de cada línea) y crea un programa que elija una al azar entre las no vistas (random, Día 4). Esa era la idea original de la profesora.
• Separa el número del título ("1) The Godfather" → 1 y "The Godfather") y guarda un CSV.
• Genera una página HTML (Días 41 a 44) con la lista ordenada (<ol>) de películas.

Situación#

El club de lectura quiere analizar precios y calificaciones de libros, pero sin sobrecargar la tienda de nadie. Existe books.toscrape.com, una librería ficticia creada para practicar scraping: tiene 1 000 libros en 50 páginas.

Requisitos#

1. Extraer de cada libro: título, precio y calificación (de una a cinco estrellas).
2. Recorrer varias páginas siguiendo el enlace "next" (no escribas las 50 URL a mano).
3. Esperar al menos 1 segundo entre páginas.
4. Guardar un CSV y calcular: el libro más caro, el más barato, el precio promedio y cuántos libros hay de cada calificación.

Pistas verificadas (26/09/2026): cada libro está en un article.product_pod; el título completo está en el atributo title del enlace del h3; el precio, en p.price_color; la calificación es una clase del p.star-rating (por ejemplo ["star-rating", "Three"]); el enlace a la página siguiente está en li.next a. Usa response.content en lugar de response.text para que el símbolo de la libra (£) se lea bien.

Decisiones que debes tomar (y justificar)#

• ¿Cómo conviertes "Three" en el número 3?
• ¿Cómo sabes que llegaste a la última página?
• ¿Recorres las 50 páginas o solo algunas? ¿Por qué?

Casos de prueba#

• La primera página tiene 20 libros.
• El precio se guarda como número (float), no como texto con £.
• Si interrumpes el programa a mitad, ¿qué datos se pierden? Propón una mejora.

Situación problema#

En el bloque web (Días 41 a 44) construiste el sitio de un grupo del colegio. Ahora vas a construir un asistente automático en Python que lea ese sitio (y fuentes públicas autorizadas), genere reportes, vigile cambios y automatice tareas repetitivas sin afectar a nadie.

Pregunta orientadora#

¿Cómo puede un programa ahorrar tiempo a un grupo escolar recolectando y organizando información de la web de forma legal, ética y confiable?

Etapa 1 (hoy): leer tu propio sitio#

1. Escribe lector.py, que abra con Beautiful Soup el index.html de tu proyecto del bloque web (archivo local: sin peticiones a Internet).
2. Extrae: el título de la página, todos los encabezados en orden, todos los enlaces (texto y href) y todas las imágenes con su alt.
3. Genera un reporte reporte_sitio.txt con esa información y con una alerta por cada imagen sin alt o con alt vacío (así el programa revisa la accesibilidad de tu propia página).
4. Entregable: lector.py, el reporte y una captura de la ejecución.

Conceptuales#

1. ¿En qué casos se usa web scraping en lugar de una API?
2. ¿Qué hace un analizador de HTML? Nombra dos analizadores que acepta Beautiful Soup.
3. ¿Qué diferencia hay entre find y find_all? ¿Y entre select_one y select?
4. ¿Por qué se escribe class_ y no class?
5. ¿Qué indican Disallow y Crawl-delay en un robots.txt?

Análisis de código#

Explica qué hace cada línea y qué tipo de dato produce:

links = [a.get("href") for a in soup.select("ul li a")]
first = soup.find("h3", class_="heading")
total = len(soup.find_all("li"))

Predicción#

Con el archivo website.html de esta guía, ¿qué imprime cada línea?

print(len(soup.select(".heading")))
print(soup.select_one("ol li").getText())
print(soup.find("h2"))

Depuración#

soup = BeautifulSoup("website.html", "html.parser")
print(soup.title.string)

El programa muestra una advertencia MarkupResemblesLocatorWarning y luego termina con AttributeError: 'NoneType' object has no attribute 'string' (verificado). ¿Por qué? Lee con atención el texto de la advertencia: ¿qué recibió BeautifulSoup? ¿Por qué soup.title vale None?

Modificación#

Modifica el programa de Hacker News para que muestre la noticia más votada y la menos votada de la portada.

Creación#

Escribe un programa que analice quotes.toscrape.com (sitio de práctica) y muestre las citas de un autor que escriba el usuario con input(), recorriendo solo las primeras 3 páginas.