internet invisible

23.11.2013

Solo una fracción de la información contenida en Internet se puede encontrar en Google y otros motores de búsqueda. Los datos almacenados en la llamada "web profunda" y "dark web" están cerrados para ellos. Este vasto universo paralelo sirve tanto para propósitos legales como ilegales.

Los motores de búsqueda como Google y Yandex son la única puerta de entrada en línea para la mayoría de los usuarios de Internet: aquellos que necesitan encontrar algo en la World Wide Web generalmente ingresan su consulta en el formulario de búsqueda de uno de estos servicios y seleccionan exactamente esa información, que aparece. en los resultados de búsqueda y, por regla general, solo en los sitios que se encuentran en las primeras páginas de los resultados de búsqueda. Pero incluso si un navegante en la World Wide Web tuviera la paciencia de abrir todos los miles de enlaces que se le muestran, solo vería una fracción de lo que está disponible en Internet, porque Google y otros motores de búsqueda no son omniscientes. Si alguien necesita ocultar algo en la Web de los motores de búsqueda, puede hacerlo fácilmente.

¿Sociedades secretas en Internet?

La capacidad de ocultar datos de los motores de búsqueda es utilizada tanto por los propietarios de sitios regulares como por los organizadores de redes anónimas, que componen parcialmente la llamada "web oscura", segmentos de la red global global que no están conectados a Internet. La idea detrás de las redes de usuarios anónimos es similar a la de las sociedades secretas y las logias masónicas del mundo real. Por cierto, en sí mismo no tiene nada que ver con actividades ilegales. El principio es simple: alguien que conoce personalmente al menos a un miembro de la logia puede ser invitado a las reuniones generales de todos los miembros. Se llevan a cabo en lugares accesibles al público, pero solo los iniciados saben exactamente qué sucede, cuándo y dónde. En Internet, se ve así: las redes anónimas usan las mismas tecnologías que otros servicios en línea: páginas web, correo electrónico, intercambio de archivos. En principio, podrían estar disponibles para todos, pero solo si este "todo el mundo" usa cierto software y sabe qué y a quién necesita encontrar.

Las redes anónimas se originaron como una respuesta de la comunidad informática al celo desmesurado de los titulares de derechos de autor y autoridades por restringir la difusión de contenidos e información digital allá por finales de los años 90 del siglo pasado y se han mejorado constantemente desde entonces. Después de que los organismos encargados de hacer cumplir la ley de todo el mundo dirigieran su atención a los servicios de intercambio de archivos y comenzaran a perseguir a sus participantes más activos, los propietarios de dichos recursos comenzaron a buscar formas de continuar sus actividades sin obstáculos y desarrollaron un análogo oculto de peer-to descentralizado. -redes de igual a igual (Peer-to-Peer, P2P, “igual a igual”), como Napster, EDonkey o BitTorrent.

En las redes de intercambio de archivos P2P, generalmente hay servidores centrales llamados rastreadores que permiten que todos los usuarios se encuentren y compartan archivos MP3, videos, programas, imágenes y cualquier otra información en forma digital, naturalmente, sin preocuparse por los derechos de autor y otras legalidades relacionadas. detalles No existen tales servidores en redes anónimas: toda la información se almacena distribuida en las computadoras de los usuarios.

Redes anónimas y la dark web

En la mayoría de los casos, no se puede acceder a la información ubicada en la "web oscura" a través de Internet, ya que es posible que dichos segmentos de la red global no tengan ninguna conexión con ella. Para ingresar a redes anónimas, deberá instalar un software especial que se encuentra en el DVD CHIP.

Hormigas P2P escrito en el lenguaje de programación Java y permite que todos intercambien archivos de forma anónima. El intercambio de tráfico no se realiza directamente, sino a través de varios nodos intermediarios. Cada participante de Ants P2P solo conoce la dirección de la computadora vecina, por lo que es imposible saber quién y dónde está transfiriendo el archivo. Los datos transmitidos se cifran mediante el algoritmo AES para mayor seguridad.


Objetivo: intercambio anónimo de archivos. Sitio web: antsp2p.sourceforge.net

bitmensaje está destinado al intercambio de mensajes cifrados de forma segura y fue concebido como una alternativa al correo electrónico y otros servicios de mensajería instantánea, cuyos datos en cualquier momento pueden estar en manos de los servicios especiales. La arquitectura de Bitmessage es similar a la arquitectura de la red Bitcoin para intercambiar dinero, pero está optimizada para la mensajería. El intercambio es posible no solo entre usuarios individuales, sino también entre grupos. Después de que Edward Snowden hiciera pública la información sobre la vigilancia masiva de los usuarios de Internet por parte de las agencias de inteligencia, Bitmessage se hizo muy popular.

Objetivo: intercambio de dinero anónimo. Sitio web: www.bitcoin.org

intercambio amistoso

A diferencia de Internet, algunas redes anónimas no son accesibles para todos. Sus creadores establecieron un objetivo: evitar la supervisión de las autoridades, quienes a menudo violan la ley al monitorear a sus ciudadanos. El sistema de anonimato desarrollado para este propósito atrajo no solo a los luchadores por la libertad de información y el intercambio de opiniones, sino también a los amantes de diversos contenidos ilegales y copias pirateadas.

Las redes ocultas creadas dentro de Internet, por analogía con P2P, se han abreviado como F2F (Friend-to-Friend, “entre sí”). El término fue acuñado por primera vez en 2000 por el programador Daniel Bricklin, quien se hizo famoso como el desarrollador de la primera hoja de cálculo para PC. A diferencia de algunas redes P2P, no tienen servidores centrales y los usuarios no pueden intercambiar archivos con nadie.

Para ponerse en contacto con sus amigos, cada miembro de la red debe conocer sus direcciones y tener sus tarjetas de presentación digitales (certificados). No hay forma de que los no iniciados rastreen el uso compartido de archivos. Si los amigos no tienen la información que le interesa, entonces el modo de operación anónimo, que es compatible con la mayoría de las redes F2F existentes, vendrá al rescate. En este caso, se permite establecer una conexión entre usuarios desconocidos. Las direcciones de los ordenadores y todos los datos personales de sus propietarios permanecen en secreto.

Freenet como rescate de la censura

Una de las redes F2F más populares es Freenet (que no debe confundirse con el nombre de algunos ISP). Gracias a un software especial, utiliza la infraestructura ya existente de la World Wide Web y los operadores de red ordinarios con su acceso a Internet, pero al mismo tiempo, por todos los medios, se aleja de la Web tradicional.


Freenet no se trata solo de compartir información entre individuos. Los sitios web clásicos también existen dentro de esta red anónima, pero no hay URL en el sentido habitual para los usuarios de Internet. Además, hay un sistema de correo electrónico aislado de la Web, foros de discusión (FMS y Frost) y un análogo de una red social (Sone). Toda la información disponible en Freenet se almacena distribuida en los discos duros de las computadoras de los usuarios en forma cifrada, y se utiliza un complejo sistema de enrutamiento para acceder a ella. Todo esto garantiza un anonimato casi completo, pero impone una serie de restricciones. En comparación con Internet, la red Freenet es significativamente más lenta. Algunas tecnologías modernas aún no están disponibles en él, por ejemplo, la generación de contenido dinámico utilizando bases de datos y scripts, que se usa ampliamente en Internet.

El objetivo de los fundadores del proyecto Freenet era crear una red global donde todos los usuarios pudieran permanecer en el anonimato y nadie pudiera decidir qué es aceptable y qué no. Esta red mantiene el espíritu de libre intercambio de información y libertad de expresión; incluso los creadores de Freenet no tienen control total sobre el sistema. En países como China, por ejemplo, las personas necesitan especialmente el libre intercambio de información sin temor a represalias del estado. El anonimato completo en Freenet y redes similares se logra solo cuando los usuarios entran en contacto entre sí con un propósito absoluto. Pero incluso si permite conexiones con extraños, será increíblemente difícil determinar las computadoras que intercambian información. La comunicación entre los dos socios es encriptada y no directa. Los flujos de datos se transmiten a través de las computadoras de otros usuarios. Es extremadamente difícil para un extraño rastrear las conexiones entre los participantes individuales.

Los sitios dentro de Freenet permanecen invisibles para los motores de búsqueda tradicionales y no tienen conexión directa con la Web global. Solo puede acceder a ellos si instala el software gratuito Freenet en su computadora y se conecta a la red. Asimismo, los datos personales de sus creadores y las direcciones de los ordenadores en los que están alojados permanecen completamente anónimos.

Con el tiempo, Freenet ha evolucionado y crecido rápidamente. Actualmente existe un directorio de sitios de acceso gratuito llamado Linkageddon. No tiene una función de búsqueda, y los usuarios de Freenet tienen que desplazarse por la matriz desordenada, encontrando las cosas más inesperadas en el proceso. En la lista, además de contenidos prohibidos, hay páginas que ofrecen copias pirateadas. Aquí, junto a los recursos que publican información fidedigna, puedes encontrar una página de algún loco que repite todo tipo de fabricaciones falsas con minuciosidad pseudocientífica. Es posible que la falta de censura sea ampliamente utilizada por alguien para investigar actividades ilegales.


El programa Frost, que se ejecuta dentro de la red Freenet, está diseñado para el intercambio anónimo de opiniones, estructurado a la manera de foros y archivos. El shell gráfico de la aplicación se parece a la portada de un cliente de correo electrónico y la interfaz se ha traducido a varios idiomas, incluido el ruso. Frost tiene las mismas características que la red Freenet. Sitio web: www.freenetproject.org/frost.html

Alternativas a Freenet

Proyecto Internet Invisible(abreviado como I2P, el proyecto de "Internet invisible") es un clon de Freenet.

Esta red fue creada para brindar acceso anónimo a varios servicios, incluidos blogs, mensajería instantánea, correo electrónico, sitios web, servicios de transferencia de archivos, etc. Como aseguran sus autores, el objetivo final del proyecto I2P es la capacidad de funcionar en condiciones difíciles, incluso bajo la presión de organizaciones con importantes recursos financieros o políticos. Los datos transmitidos a través de la red están encriptados y la red en sí está descentralizada. Puede conectarse a redes I2P no solo desde una computadora, sino también desde teléfonos inteligentes o tabletas que ejecutan el sistema Android.

Objetivo: red anónima multifuncional. Sitio web: www.i2p2.de


hiperboria es una red descentralizada experimental basada en el protocolo de red cjdns. La transmisión de datos en la capa física se puede realizar tanto utilizando la infraestructura de Internet como directamente entre enrutadores, lo que permite crear una red global con una topología de malla completamente independiente de Internet. El tráfico transmitido a través de Hyperbolia está encriptado, pero la red no es anónima: es posible establecer tanto la dirección del remitente como la del destinatario de los datos.

Objetivo: intercambio anónimo de archivos y mensajes. Sitio web: retroshare.sourceforge.net

"Dark web" sin travesuras oscuras

Las redes anónimas no tienen que ser una plataforma para la actividad ilegal, según Billy Hoffman y Matt Wood. Ambos trabajan en el departamento de I+D del gigante de TI Hewlett-Packard. En 2009, presentaron por primera vez Veiled (eng. "oculto"), un nuevo software para organizar redes anónimas de usuarios.

“Creemos que las redes anónimas podrían extenderse mucho más si no hubiera barreras para los usuarios en forma de descarga, instalación y configuración de software”, dice Billy Hoffman. Y si las redes anónimas estuvieran disponibles para un público más amplio, inmediatamente habría muchas oportunidades para su uso con fines legítimos, según creen los expertos.

Al crear Veiled, los investigadores pensaron en cómo proteger sitios como WikiLeaks que publican documentos gubernamentales confidenciales de la presión del gobierno. Hasta ahora, los propietarios del proyecto WikiLeaks utilizan servidores web ordinarios que, debido a presiones legales o políticas, pueden algún día desaparecer de la Web. Si todos sus materiales se distribuyeran de forma descentralizada a través de una red anónima, los opositores de WikiLeaks se convertirían en luchadores de molinos de viento, ya que los documentos que circulan en redes anónimas no se almacenan en servidores, sino que se distribuyen en pequeñas partes entre diferentes usuarios. Por ejemplo, la red Freenet mencionada anteriormente funciona según este principio.

Los investigadores de HP quieren simplificar las redes anónimas y, para ello, utilizan la tecnología de un navegador normal en su programa. Veiled funciona sin necesidad de descargarlo ni instalarlo en dispositivos como iPhones, así como en computadoras con sistemas operativos Windows, Mac y Linux. A primera vista, Veiled no parece ser tan poderoso como un software de redes anónimo maduro y especializado, pero tiene todas las características esenciales requeridas para una red anónima, incluido el cifrado de todos los datos transmitidos por los participantes y la capacidad de chatear. Hoffman y Wood prepararon documentación detallada para Veiled para que otros programadores puedan recrear su visión. Velado es bueno, pero dos investigadores de HP nunca publicarán este programa. El motivo es un posible conflicto legal con la empresa en la que trabajan. Sin embargo, los autores publicaron una presentación tan detallada en la Web que, según Hoffman, otros programadores podrían desarrollar fácilmente un análogo de Veiled.

La web profunda: más que WWW

La Dark Web también es invisible para los motores de búsqueda y sus usuarios, pero está organizada de una manera completamente diferente a las redes anónimas. Está formado por enormes bases de datos con diversa información y páginas de Internet normal, que, por varias razones, son inaccesibles para los motores de búsqueda populares. Los usuarios pueden acceder a ellos solo si envían una solicitud especial a la base de datos o van a páginas cuyas direcciones ya conocen.

Ahora, el propietario de cada sitio web puede determinar por sí mismo cuánto de su contenido debe ser indexado por Google y otros motores de búsqueda, y si debe estar allí. Si el propietario cierra el acceso a su recurso para los robots de búsqueda, prohíbe que los usuarios no registrados vean páginas o no se molesta en optimizar adecuadamente su servicio, entonces su información no aparecerá en las listas de resultados de búsqueda, incluso si tiene enlaces de decenas de miles. de sitios, indexados por los motores de búsqueda. En circunstancias normales, esto garantizaría la clasificación más alta en SERP. Los motores de búsqueda parecen estar ciegos de un ojo y muestran a sus usuarios solo una parte de lo que hay en Internet.

Los directorios de bibliotecas son un buen ejemplo de la "web profunda". Aunque estas listas de libros y revistas se almacenan principalmente en servidores web tradicionales, el acceso a ellos solo se permite después del registro, que los motores de búsqueda no pueden cumplir. Todo lo que tienen que hacer es "mirar afuera a la puerta cerrada" y seguir adelante. Lo mismo se aplica a las bases de datos con información sobre vuelos, materiales médicos especiales, documentación de producción diversa, redes sociales, etc. Es cierto que Google, después de comprar ITA Software (una división que desarrolla software para la industria del transporte, anteriormente una empresa independiente), decidió en menos el problema con los viajes aéreos: los usuarios estadounidenses de Google ya pueden ingresar consultas de búsqueda como "el vuelo más barato de Nueva York a Las Vegas" y obtener un resultado.

En ocasiones, los propietarios de recursos cuya información no debe ir a la Web cometen errores técnicos, como resultado de lo cual aparece información confidencial en los resultados de búsqueda (todos estos datos también pertenecen a la "web profunda"). Un incidente similar ocurrió el 18 de julio de 2011, cuando Yandex indexó parte de los mensajes SMS enviados desde el sitio web de Megafon a los suscriptores de un operador de telefonía móvil. Como explicaron más tarde los especialistas de Yandex, en la sección de envío de SMS en la página de Megafon, en el momento de la indexación por parte del motor de búsqueda, no había ningún archivo robots.txt, que contiene comandos para el robot de búsqueda. En particular, debe indicar la prohibición de indexar secciones confidenciales del sitio. Ahora, esta información ya se eliminó de los resultados de búsqueda, pero los usuarios atentos lograron guardarla y ponerla en redes de intercambio de archivos, donde está disponible hasta el día de hoy. Sin embargo, esto todavía no es una inmersión total en la "web profunda".

Acosadores de la web profunda

Motores de búsqueda como CompletePlanet y Scirus prometen abrir el acceso a las entrañas de Internet. Están organizados de manera diferente a Google y Yandex, y le permiten encontrar información en bases de datos a las que ceden los motores de búsqueda tradicionales. Por ejemplo, CompletePlanet, según sus creadores, brinda acceso a unas 70 000 bases de datos difíciles de indexar, y Scirus lo ayudará a encontrar información en varios archivos de datos científicos.

Su trabajo fue posible gracias a los robots de búsqueda avanzada (la parte del motor de búsqueda responsable de recopilar información en los sitios). Ellos, en particular, pueden generar consultas bastante significativas a las bases de datos y completar formularios para el usuario debido al soporte de idiomas específicos.

Los buscadores tradicionales también buscan llegar a la información que se encuentra en la Internet profunda, lo cual no es de extrañar, según los expertos, allí hay mil veces más información que en la superficie. Google, por ejemplo, ha desarrollado un formato especial para sitemaps, gracias al cual sus robots de búsqueda visitan incluso aquellas páginas que no están enlazadas desde otros recursos. Por supuesto, el propietario del sitio primero debe crear dicho mapa. Gradualmente, los motores de búsqueda indexarán más y más información que se encuentra en la web profunda, y la línea entre "web superficial" y "web profunda" se desdibujará. Pero una parte seguirá siendo inaccesible para la búsqueda, por ejemplo, el contenido pago proporcionado solo por suscripción.

Primer paso en la Deep Web

Puede sumergirse en la "web profunda" incluso sin instalar un software especial, con la ayuda de portales y motores de búsqueda especiales.

Proyecto OAIster(oaister.worldcat.org), iniciado por la Universidad de Michigan, busca documentos en los servidores de metadatos de más de 400 instituciones de todo el mundo. Estas son bibliotecas, organizaciones científicas, oficinas editoriales de revistas, etc. OAIster es principalmente de interés para los científicos, porque brinda acceso a aproximadamente 18 millones de grupos de datos.

Planeta completo(www.completeplanet.com) busca información donde Google y Yandex no pueden encontrarla. Los visitantes de este sitio de motor de búsqueda tienen acceso a más de 70,000 bases de datos de la web profunda y un catálogo de recursos.


Actualización del navegador

Para acceder a algunos rincones y grietas de la "web profunda", debe actualizar el navegador. Para hacer esto, debe instalar un complemento: el servicio de anonimización de Tor (www.torproject.org), que permite a los usuarios pasar desapercibidos en la Web gracias a la tecnología Onion Routing ("enrutamiento de cebolla"). Los datos se transmiten a Internet a través de una variedad de servidores proxy que cambian constantemente y se cifran. Tor se puede utilizar para acceder a Internet de forma anónima y trabajar con aplicaciones que utilizan el protocolo TCP, así como con servicios ocultos internos que forman la "web oscura". Solo se puede acceder a ellos desde la red Tor. El principio es simple a primera vista, pero en realidad todo es mucho más complicado. No hay URL en la web oscura en el sentido habitual para nosotros. Por ejemplo, las direcciones de páginas ocultas en la red Tor son combinaciones criptográficas de letras y números con el nombre de dominio ".onion". A menudo cambian, por lo que debe buscarlos nuevamente cada vez.