TypesearchBot y Typesearch-User

Quiénes somos

typesearch es un buscador para agentes de IA. Los desarrolladores lo usan para encontrar noticias recientes: cada resultado trae el titular, la fecha, el nombre de tu medio y un enlace a tu nota, así que quien quiere leerla va a tu sitio. Nunca devolvemos el texto completo de una nota.

Qué tomamos, qué mostramos, qué guardamos y cómo excluirte está explicado en lenguaje llano en nuestra página para medios.

Dos user-agents

• TypesearchBot lee feeds, sitemaps de noticias, portadas y secciones, para armar el índice.
• Typesearch-User lee notas y usa el buscador del propio sitio, sólo cuando lo necesita la búsqueda de un cliente.

Los dos respetan robots.txt. La mayoría de los pedidos son pedidos HTTP simples, con estos user-agents:

Mozilla/5.0 (compatible; TypesearchBot/1.0; +https://typesearch.ai/bot)
Mozilla/5.0 (compatible; Typesearch-User/1.0; +https://typesearch.ai/bot)

Cuando una página sólo funciona con JavaScript, cualquiera de los dos la abre en Chrome sin interfaz, que mantiene el user-agent habitual de Chrome y agrega nuestro nombre al final:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/<version> Safari/537.36 TypesearchBot/1.0 (+https://typesearch.ai/bot)
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/<version> Safari/537.36 Typesearch-User/1.0 (+https://typesearch.ai/bot)

Para reconocerlos a todos, busca TypesearchBot o Typesearch-User.

Qué descargan

• Feeds y sitemaps de noticias (TypesearchBot). De los sitios de nuestro índice, revisa tus feeds RSS y tus sitemaps de noticias cada pocos minutos, en general con uno o dos pedidos por revisión. Si muchas búsquedas necesitan el mismo sitio a la vez, lo descarga una sola vez.
• Portadas y secciones (TypesearchBot). Para encontrar notas nuevas cuando un sitio no tiene un feed que funcione, y para responder la búsqueda en vivo de un cliente dentro de un sitio.
• Notas (Typesearch-User). Sólo las pocas que coinciden con la búsqueda de un cliente, para comprobar que son relevantes y elegir un fragmento muy breve. Guardamos el texto 2 días como mucho, sólo para no descargar dos veces la misma nota, y los juicios de relevancia, con hasta dos fragmentos, 8 días; nuestro índice guarda el enlace, el titular, la descripción, la fecha y la sección.
• El buscador de tu sitio (Typesearch-User). Cuando un cliente hace una búsqueda en vivo en tu sitio, puede usar tu buscador, como lo haría un lector, y leer la página de resultados si tu robots.txt lo permite.

Descargan páginas, feeds y sitemaps. El navegador sin interfaz no carga imágenes, videos, tipografías ni hojas de estilo. No inician sesión, no toman el texto de páginas marcadas como de pago o detrás de un inicio de sesión, y no envían ningún formulario salvo tu buscador público.

robots.txt

Los dos agentes leen tu robots.txt y lo consultan antes de descargar cualquier página o feed de tu sitio: feeds, sitemaps, portadas, secciones, notas y la página de resultados a la que lleva tu buscador. Si una página redirige a una dirección prohibida, no leen el destino.

• Un grupo User-agent: TypesearchBot vale para los dos agentes. Un grupo User-agent: Typesearch-User vale sólo para leer notas y usar el buscador del sitio: si lo escribes, esas lecturas lo siguen en lugar del de TypesearchBot. Si tu robots.txt no nombra a ninguno, vale el grupo *.
• Varios grupos para el mismo agente se suman en uno, como indica el RFC 9309.
• Las reglas se aplican como indica el RFC 9309: gana la regla más larga que coincide y, a igual largo, gana Allow. Los comodines * y $ funcionan.
• Respetamos Crawl-delay: los segundos de espera entre pedidos, del grupo que nos toca.
• Guardamos tu robots.txt en caché hasta una hora, así que los cambios se aplican dentro de la hora. Lo que cierra una versión nueva también sale de nuestro índice.
• Si tu robots.txt responde con un error 4xx, como 404, tratamos tu sitio como si no tuviera reglas.
• Si responde con un error 5xx o 429, o tu servidor no responde, tratamos todo tu sitio como prohibido y no descargamos nada de él. Lo volvemos a intentar unos 10 minutos después.

Para bloquear a los dos en todo tu sitio:

User-agent: TypesearchBot
Disallow: /

Para que indexemos titulares y enlaces de tus feeds, pero nunca leamos tus notas:

User-agent: Typesearch-User
Disallow: /

Para dejar a los dos fuera de una parte de tu sitio:

User-agent: TypesearchBot
Disallow: /premium/
Disallow: /archivo/

Para que los dos esperen 10 segundos entre pedidos:

User-agent: TypesearchBot
Crawl-delay: 10

Otras señales que respetamos

Además de las reglas escritas para nosotros, respetamos estas señales. La página para medios las explica en lenguaje llano.

• Bloqueos a buscadores y asistentes de IA. Si tu robots.txt bloquea a OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User o Google-Extended, lo tomamos como un bloqueo también para nosotros, en las mismas rutas, salvo que nombres a TypesearchBot (o a Typesearch-User) en un grupo propio. Los bloqueos dirigidos sólo a rastreadores de entrenamiento de IA, como GPTBot, ClaudeBot o CCBot, no se aplican a nosotros, porque no entrenamos modelos de IA.
• Content Signals de Cloudflare en robots.txt. Con search=no o ai-input=no, no rastreamos ni usamos tu sitio. ai-train=no no nos afecta: no entrenamos.
• Preferencias de IA del IETF (Content-Usage). Con search=n o ai-use=n en robots.txt, no rastreamos ni usamos tu sitio; como encabezado HTTP de una página (Content-Usage o Content-Signal), no usamos esa página.
• Reserva de minería de textos y datos (TDMRep). Con /.well-known/tdmrep.json, el encabezado tdm-reservation: 1 o la metaetiqueta tdm-reservation, no leemos ni usamos el contenido.
• Metaetiquetas robots y X-Robots-Tag, para typesearchbot, typesearch-user o todos los robots. noindex: fuera de nuestro índice y de los resultados. nosnippet: sólo titular y enlace. max-snippet:[n]: fragmentos de n caracteres como máximo. data-nosnippet: ese texto nunca se cita. noarchive: no guardamos el texto después del pedido. noai o noimageai: no usamos la página.
• Contenido de pago o para suscriptores. No tomamos el texto de las páginas marcadas como de pago (isAccessibleForFree: false) ni de las que están detrás de un inicio de sesión. Mostramos sólo el titular y la descripción que publicas en tu feed.
• Avisos de reserva de derechos como «Prohibida su reproducción», en sitios de México o Colombia: sin fragmentos, sólo el titular, tu propia descripción y el enlace.

Un bloqueo es un no

• Después de un 401 o un 403, paramos y no volvemos a tu sitio durante una hora; cada vez que se repite, el doble, hasta un día. Nunca reintentamos con otra herramienta: ni con un navegador ni desde otra dirección.
• Una verificación antibots, como «Just a moment…», nos detiene ahí mismo, con la misma pausa. No intentamos resolverla.
• Después de un 429 o un 503, esperamos, respetando Retry-After, y reintentamos más tarde con la misma identidad.

La carga sobre tus servidores

• Pocas conexiones. Como mucho tres páginas o feeds a la vez del mismo sitio, contando juntos todos sus subdominios y todos nuestros servicios, sin importar cuántos clientes estén buscando. Cien búsquedas sobre la misma noticia llegan a tus servidores como unos pocos pedidos.
• Tu ritmo. Pon Crawl-delay en el grupo que nos toca y esperamos esa cantidad de segundos entre pedidos.
• Más despacio, si lo pides. También podemos fijar una pausa mínima entre pedidos a tu sitio, menos conexiones a la vez, o las dos cosas. El límite vale para tu dominio y sus subdominios, y para todos nuestros servicios desde el pedido siguiente. Pídelo con el formulario de pedidos.
• Trabajo compartido. Una nota ya leída no se vuelve a descargar mientras la guardamos, y las búsquedas idénticas dentro de los 10 minutos se responden desde nuestra caché, sin tocar tu sitio.
• Pausas. Si los feeds de un sitio fallan una y otra vez, los pausamos: una hora la primera vez, y el doble cada vez, hasta seis horas.

Después de que nos bloquees

• Dentro de la hora de un cambio en tu robots.txt, en tus Content Signals o en tu tdmrep.json, dejamos de descargar lo que cierran, y las notas de ahí dejan de aparecer en los resultados. Las etiquetas de una página (meta robots, X-Robots-Tag, Content-Usage) valen desde la próxima vez que la leamos.
• Los datos guardados de tu sitio se borran dentro de las 72 horas, en general en minutos. Las copias de respaldo rotan dentro de los 7 días.
• Guardamos un registro de tu decisión (tu dominio, la fecha y el motivo) para seguir respetándola y, como prueba de que lo hicimos, un registro de nuestros pedidos a tu sitio y de las versiones de tu robots.txt, nunca el contenido de tus notas, hasta dos años.

Cómo verificarnos

Los pedidos de nuestro rastreador salen de las direcciones publicadas, en JSON, en https://typesearch.ai/bot/ips.json. Hoy es una sola dirección IPv4:

178.128.144.188

Además, cada pedido a tu sitio va firmado con Web Bot Auth, que usa HTTP Message Signatures (RFC 9421): una firma Ed25519 sobre @authority y signature-agent, con la etiqueta web-bot-auth y válida por cinco minutos. Nuestras claves públicas están en https://api.typesearch.ai/.well-known/http-message-signatures-directory. Cada pedido lleva estos encabezados:

Signature-Agent: "https://api.typesearch.ai"
Signature-Input: sig1=("@authority" "signature-agent");created=…;expires=…;keyid="…";alg="ed25519";nonce="…";tag="web-bot-auth"
Signature: sig1=:…:

Si algo usa nuestro nombre desde una dirección que no está en esa lista, o sin una firma válida, no somos nosotros: avísanos. La verificación por DNS inverso todavía no está disponible.

Contacto

¿Preguntas, un problema con nuestro rastreador o un pedido para que rastree menos? Escribe a bot@typesearch.ai e incluye tu dominio. En general respondemos dentro de un día hábil.

Para irte, mostrar sólo titulares y enlaces, quitar páginas o que vayamos más despacio, también puedes usar el formulario de pedidos: las exclusiones se aplican en minutos, y nunca preguntamos por qué.