八款网页采集工具：从爬虫到浏览器 Agent

Te comparto 8 de los mejores repos de github para extraer datos de cualquier sitio web automáticamente: 1. Firecrawl Pasa una URL y recorre automáticamente todo el sitio, convirtiéndolo en datos limpios y listos para IA. Soporta páginas con JavaScript. Más de 140.000 estrellas. https://t.co/QzjMTH0M98 2. Crawl4AI Convierte cualquier web en texto que los LLM pueden leer directamente. Sin API key ni pagos. Lo creó un desarrollador que se hartó de los servicios que cobraban 16 $. Más de 70.000 estrellas. https://t.co/fzDAMr29W4 3. browser-use Agente de IA que usa el navegador como un humano: clics, login, formularios, todo. Creado por un startup de ETH Zurich. Más de 100.000 estrellas. https://t.co/MIvcLE7c8E 4. Crawlee Base completa para scraping con rotación de proxies, reintentos, anti-detección y manejo de colas. Evita bloqueos de forma profesional. https://t.co/dQLG9NJdjE 5. Scrapy El clásico framework de Python para scraping a gran escala. Lleva más de 10 años usándose y procesa millones de páginas de forma estable. Totalmente gratis. https://t.co/aJYE4Uo1Mk 6. Scrapling Se adapta automáticamente a los cambios de diseño de las webs y evita detecciones de bloqueo. Funcionalidades de nivel pago… pero gratis. https://t.co/XyqvZR4vXX 7. AutoScraper Solo le das un ejemplo de los datos que quieres y aprende solo el patrón. Extrae el resto sin escribir selectores. Muy sencillo y potente. https://t.co/c6D5FS1ZcX 8. curl-impersonate Imita las peticiones HTTP de un navegador Chrome real para saltarte las protecciones anti-bot más avanzadas. https://t.co/dcqagz1uK4 Guárdalos todos, super recomendado. Con estos puedes sacar datos limpios de casi cualquier web sin pagar servicios caros ni depender de apis limitadas.