Osynligt internet

23.11.2013

Endast en del av informationen på Internet kan hittas på Google och andra sökmotorer. Data som lagras på den så kallade "djupa" och "mörka webben" är stängd för dem. Detta enorma parallella universum tjänar både lagliga och olagliga syften.

Sökmotorer som Google och Yandex är de enda portarna till onlinevärlden för de flesta internetanvändare: alla som behöver hitta något på World Wide Web anger vanligtvis sin fråga i sökformuläret för en av dessa tjänster och väljer exakt den informationen , som visas i sökresultaten - och som regel endast webbplatser som finns på de första sidorna med sökresultat. Men även om en webbsurfare hade tålamodet att öppna alla de tusentals länkar som visas för honom, skulle han bara se en bråkdel av det som finns tillgängligt på Internet, eftersom Google och andra sökmotorer inte är allvetande. Om någon behöver dölja något på Internet från sökmotorer kan de enkelt göra det.

Hemliga sällskap på Internet?

Möjligheten att dölja data från sökmotorer används av både ägarna av vanliga webbplatser och arrangörerna av anonyma nätverk som delvis utgör den så kallade "mörka webben" - segment av det globala globala nätverket som inte är anslutna till Internet. Tanken bakom anonyma användarnätverk liknar konceptet med hemliga sällskap och verkliga frimurarloger. Förresten, i sig har det ingenting med illegal verksamhet att göra. Principen är enkel: alla som är personligen bekanta med minst en medlem i logen kan bjudas in till bolagsstämmor för alla medlemmar. De utspelar sig på allmänt tillgängliga platser, men bara de initierade vet exakt vad som händer, när och var. På Internet ser det ut så här: Anonyma nätverk använder samma teknik som andra onlinetjänster: webbsidor, e-post, fildelning. I princip skulle de kunna vara tillgängliga för alla - men bara om att "alla" använder viss programvara och vet vad och vem de behöver hitta.

Anonyma nätverk uppstod som ett svar från datorsamhället på upphovsrättsinnehavarnas och myndigheternas överdrivna iver att begränsa distributionen av digitalt innehåll och information redan i slutet av 90-talet av förra seklet och har ständigt förbättrats sedan dess. Efter att brottsbekämpande myndigheter runt om i världen riktade sin uppmärksamhet mot fildelningstjänster och började söka efter sina mest aktiva deltagare, började ägarna av sådana resurser leta efter sätt att fortsätta sin verksamhet utan hinder och utvecklade en dold analog av decentraliserad peer-to -peer-nätverk (Peer-to-Peer, P2P, "lika med lika"), såsom Napster, EDonkey eller BitTorrent.

I P2P fildelningsnätverk finns det vanligtvis centrala servrar som kallas trackers som gör att alla användare kan hitta varandra och utbyta MP3-filer, videor, program, bilder och all annan information i digital form – naturligtvis utan att behöva oroa sig för upphovsrätt och andra relaterade lagligheter detaljer. Det finns inga sådana servrar i anonyma nätverk - all information lagras distribuerat på användarnas datorer.

Anonyma nätverk och det mörka nätet

I de flesta fall kan information som finns på den "mörka webben" inte nås via Internet, eftersom sådana delar av det globala nätverket kanske inte har någon anslutning till det alls. För att komma in i anonyma nätverk måste du installera speciell programvara som finns på CHIP DVD:n.

ANTs P2P skriven i programmeringsspråket Java och låter vem som helst anonymt dela filer. Trafik utbyts inte direkt, utan genom flera mellanliggande noder. Varje Ants P2P-deltagare känner bara till adressen till den intilliggande datorn, så det är omöjligt att ta reda på vem som överför filen och vart. Överförd data krypteras med AES-algoritmen för ökad säkerhet.

Syfte: anonym fildelning. Hemsida: antsp2p.sourceforge.net

Bitmeddelandeär designad för utbyte av säkert krypterade meddelanden och var tänkt som ett alternativ till e-post och andra snabbmeddelanden, vars data kan hamna i händerna på underrättelsetjänster när som helst. Arkitekturen för Bitmessage liknar arkitekturen för Bitcoin-nätverket, designad för utbyte av medel, men är optimerad för överföring av meddelanden. Utbyte är möjligt inte bara mellan enskilda användare, utan också mellan grupper. Efter att Edward Snowden avslöjat information om massövervakning av internetanvändare av underrättelsebyråer blev Bitmessage verkligen populärt.

Syfte: anonymt utbyte av medel. Hemsida: www.bitcoin.org

Vänligt utbyte

Till skillnad från Internet är vissa anonyma nätverk inte tillgängliga för alla. Deras skapare hade ett mål: att undvika övervakning av myndigheterna, som själva ofta bryter mot lagen genom att övervaka sina medborgare. Anonymitetssystemet som utvecklats för detta ändamål lockade inte bara kämpar för informationsfrihet och åsiktsutbyte, utan även älskare av olagligt innehåll och piratkopior.

Dolda nätverk skapade på Internet, i analogi med P2P, började förkortas till F2F (Vän-till-Vän, "till varandra"). Denna term myntades första gången 2000 av programmeraren Daniel Bricklin, som blev känd som utvecklaren av det första kalkylbladet för PC. Till skillnad från vissa P2P-nätverk har de inte centrala servrar och användare kan inte dela filer med någon.

För att komma i kontakt med dina vänner måste varje nätverksmedlem känna till sina adresser och ha sina digitala visitkort (certifikat). För den oinitierade finns det inget sätt att spåra fildelning. Om dina vänner inte har den information du är intresserad av, kommer det anonyma driftsättet, som stöds av de flesta befintliga F2F-nätverk, att komma till undsättning. I detta fall är det möjligt att upprätta en koppling mellan obekanta användare. Datoradresser och alla personuppgifter om deras ägare förblir hemliga.

Freenet som räddning från censur

Ett av de mest populära F2F-nätverken är Freenet (inte att förväxla med namnet på vissa internetleverantörer). Tack vare speciell mjukvara använder den den redan existerande infrastrukturen från World Wide Web och konventionella nätverksoperatörer med deras tillgång till Internet - men stängslar samtidigt av sig själv från det traditionella nätverket.

Freenet handlar inte bara om att dela information mellan individer. Det finns även klassiska webbplatser inom detta anonyma nätverk, men det finns inga webbadresser i den mening som internetanvändare känner till. Dessutom finns ett e-postsystem isolerat från webben, diskussionsforum (FMS och Frost) och en analog till ett socialt nätverk (Sone). All information tillgänglig på Freenet lagras distribuerad på hårddiskarna på användarnas datorer i krypterad form, och ett komplext routingsystem används för att komma åt den. Allt detta garanterar nästan fullständig anonymitet, men medför ett antal begränsningar. Jämfört med Internet är Freenet-nätverket mycket långsammare. Vissa moderna tekniker är ännu inte tillgängliga i den - till exempel generering av dynamiskt innehåll med hjälp av databaser och skript, som används flitigt på Internet.

Målet för grundarna av Freenet-projektet var att skapa ett globalt nätverk där alla användare kunde förbli anonyma och ingen skulle få bestämma vad som är acceptabelt och vad som inte är det. Detta nätverk främjar andan av fritt informationsutbyte och yttrandefrihet; Inte ens skaparna av Freenet har fullständig kontroll över systemet. I länder som Kina behöver människor särskilt fritt utbyte av information utan rädsla för repressalier från myndigheterna. Fullständig anonymitet på Freenet och liknande nätverk uppnås endast när användare kommer i kontakt med varandra på ett absolut målmedvetet sätt. Men även om du tillåter kopplingar till främlingar, kommer det att vara otroligt svårt att identifiera datorer som utbyter information. Kommunikationen mellan de två partnerna är krypterad och inte direkt. Dataströmmar överförs genom andra användares datorer. Det är oerhört svårt för en utomstående att spåra kopplingarna mellan enskilda deltagare.

Webbplatser inom Freenet förblir osynliga för traditionella sökmotorer och har ingen direkt koppling till det globala nätverket. Du kan bara komma åt dem om du installerar gratisprogramvaran Freenet på din dator och ansluter till nätverket. Dessutom förblir de personliga uppgifterna för deras skapare och adresserna till de datorer som de finns på helt anonyma.

Under åren har Freenet-nätverket utvecklats och vuxit snabbt. För närvarande finns det en katalog med fritt tillgängliga webbplatser som heter Linkageddon. Det finns ingen sökfunktion, och Freenet-användare måste bläddra igenom den osorterade arrayen och stöta på de mest oväntade sakerna. Förutom förbjudet innehåll innehåller listan sidor som erbjuder piratkopior. Här, bredvid resurserna som publicerar tillförlitlig information, kan du hitta sidan för någon galning som med pseudovetenskaplig grundlighet upprepar alla möjliga falska påhitt. Det är möjligt att bristen på censur används flitigt av någon för att utreda illegal verksamhet.

Frost-programmet, som körs inom Freenet-nätverket, är utformat för anonymt utbyte av åsikter, strukturerat som forum och filer. Det grafiska skalet på applikationen liknar omslaget till en e-postklient, och gränssnittet är översatt till flera språk, inklusive ryska. Frost har samma funktioner som Freenet-nätverket. Webbplats: www.freenetproject.org/frost.html

Freenet-alternativ

Osynligt internetprojekt(förkortat I2P, Invisible Internet Project) är en klon av Freenet.

Detta nätverk skapades för att ge anonym åtkomst till olika tjänster, inklusive bloggar, snabbmeddelanden, e-post, webbplatser, filöverföringstjänster etc. Som dess författare försäkrar är det slutliga målet med I2P-projektet förmågan att fungera under svåra förhållanden, till och med under påtryckningar från organisationer med betydande ekonomiska eller politiska resurser. Data som överförs över nätverket är krypterad och själva nätverket är decentraliserat. Du kan ansluta till I2P-nätverk inte bara från en dator utan också från smartphones eller surfplattor som kör Android-systemet.

Syfte: multifunktionellt anonymt nätverk. Hemsida: www.i2p2.de

Hyperboriaär ett experimentellt decentraliserat nätverk baserat på nätverksprotokollet cjdns. Dataöverföring på fysisk nivå kan utföras både med hjälp av internetinfrastrukturen och direkt mellan routrar, vilket gör att du kan skapa ett globalt nätverk med en mesh-topologi som är helt oberoende av internet. Trafik som överförs via Hyperbolia är krypterad, men nätverket är inte anonymt - det är möjligt att fastställa både avsändarens och mottagarens adress.

Syfte: anonymt utbyte av filer och meddelanden. Hemsida: retroshare.sourceforge.net

The Dark Web utan Shady Shenanigans

Anonyma nätverk behöver inte vara en plattform för illegal aktivitet, säger Billy Hoffman och Matt Wood. Båda arbetar på forsknings- och utvecklingsavdelningen hos IT-jätten Hewlett-Packard. 2009 introducerade de först Veiled (engelska: "dold") - ny programvara för att organisera användaranonyma nätverk.

"Vi tror att anonyma nätverk skulle kunna bli mycket mer utbredda om det inte fanns några hinder för användare att ladda ner, installera och konfigurera programvara", säger Billy Hoffman. Och om anonyma nätverk skulle bli tillgängliga för en bredare publik skulle det omedelbart finnas många möjligheter att använda dem för juridiska ändamål, tror experter.

När vi skapade Veiled tänkte forskarna på hur de skulle skydda sajter som WikiLeaks, som publicerar konfidentiella regeringsdokument, från regeringstryck. Ägarna till WikiLeaks-projektet använder fram tills nu vanliga webbservrar, som på grund av juridiska eller politiska påtryckningar en dag kan försvinna från Internet. Om allt deras material distribuerades decentraliserat via ett anonymt nätverk skulle WikiLeaks motståndare bli väderkvarnsbrottare, eftersom dokument som cirkuleras på anonyma nätverk inte lagras på servrar, utan distribueras i små delar bland olika användare. Till exempel fungerar Freenet-nätverket ovan enligt denna princip.

Forskare från HP vill förenkla anonyma nätverk och använder vanlig webbläsarteknik i sitt program för att göra detta. Veiled fungerar utan nedladdning eller installation på enheter som iPhone, samt datorer som kör Windows, Mac och Linux operativsystem. Vid första anblicken verkar Veiled inte vara lika kraftfull som mogen och specialiserad mjukvara för anonyma nätverk, men den har alla väsentliga funktioner som behövs för ett anonymt nätverk, inklusive kryptering av all data som överförs av deltagare och möjligheten att chatta. Hoffman och Wood har förberett detaljerad dokumentation för Veiled så att andra programmerare kan återskapa sin design. Veiled är bra, men de två HP-forskarna kommer aldrig att publicera det. Anledningen är en möjlig juridisk konflikt med företaget de arbetar för. Ändå lade författarna upp en så detaljerad presentation på nätet att, enligt Hoffman, andra programmerare enkelt kommer att kunna utveckla en analog till Veiled.

"Deep Web": mer än WWW

The Dark Web är också osynligt för sökmotorer och deras användare, men är organiserat helt annorlunda än anonyma nätverk. Det bildas av enorma databaser med olika information och sidor på det vanliga Internet, som av flera skäl är otillgängliga för populära sökmotorer. Användare kan bara komma åt dem om de skickar en särskild begäran till databasen eller går till sidor vars adresser är kända för dem i förväg.

Nu kan ägaren av varje webbplats själv bestämma vilken del av hans innehåll som ska ingå i indexet för Google och andra sökmotorer, och om det överhuvudtaget ska finnas där. Om ägaren stänger åtkomsten till sin resurs för sökrobotar, förbjuder oregistrerade användare att titta på sidor eller inte bryr sig om att optimera sin tjänst ordentligt, kommer hans information inte att visas i listorna med sökresultat, även om det finns länkar till den från tiotusentals webbplatser, indexerade av sökmotorer. Under normala omständigheter skulle detta garantera en toppranking i SERP:erna. Sökmotorer är liksom blinda på ett öga – och visar sina användare bara en del av det som finns på internet.

Ett bra exempel på den djupa webben är bibliotekskataloger. Även om dessa listor med böcker och tidskrifter huvudsakligen lagras på traditionella webbservrar, är åtkomst till dem endast tillåten efter registrering, vilket sökmotorer inte kan göra. Allt de kan göra är att på sätt och vis "titta utanför den låsta dörren" och gå vidare. Detsamma gäller databaser med information om flyg, specialmedicinskt material, diverse produktionsdokumentation, sociala nätverk etc. Visserligen beslutade Google, efter att ha köpt ITA Software (en division som utvecklar mjukvara för transportbranschen, tidigare ett fristående företag), kl. minst problemet med flygresor: Amerikanska Google-användare kan redan ange sökfrågor som "billigaste flyget från New York till Las Vegas" och få resultat.

Ibland gör ägare av resurser vars information inte ska visas på Internet tekniska fel, vilket resulterar i att konfidentiell information hamnar i sökresultaten (all denna information hänvisar också till "deep web"). En liknande incident inträffade den 18 juli 2011, när Yandex indexerade en del av de SMS-meddelanden som skickades från Megafons webbplats till mobiloperatörens abonnenter. Som Yandex-specialister sedan förklarade, i avsnittet för SMS-sändning på Megafon-sidan, vid tidpunkten för indexering av sökmotorn, fanns det ingen robots.txt-fil, som innehåller kommandon för sökroboten. I synnerhet bör det ange ett förbud mot att indexera konfidentiella delar av webbplatsen. Nu har denna information redan tagits bort från sökresultaten, men uppmärksamma användare lyckades spara den och lägga upp den på fildelningsnätverk, där den är tillgänglig än i dag. Detta är dock ännu inte en fullständig nedsänkning i "den djupa webben".

Stalkers of the Deep Web

Sökmotorer som CompletePlanet och Scirus lovar att öppna åtkomsten till Internets djup. De är strukturerade annorlunda än Google och Yandex, och låter dig hitta information i databaser som traditionella sökmotorer ger efter för. Till exempel ger CompletePlanet, enligt dess skapare, tillgång till cirka 70 000 komplext indexerade databaser, och Scirus hjälper dig att hitta information i olika vetenskapliga dataarkiv.

Deras arbete möjliggjordes tack vare avancerade sökrobotar (den del av sökmotorn som ansvarar för att samla in information på webbplatser). I synnerhet kan de generera ganska meningsfulla frågor till databaser och fylla i formulär för användaren tack vare stödet av specifika språk.

Traditionella sökmotorer strävar också efter att komma till informationen som finns på det djupa internet, vilket inte är förvånande - enligt experter innehåller den tusen gånger mer än på ytan. Google har till exempel utvecklat ett speciellt format för webbplatskartor, tack vare vilket dess sökrobotar besöker även de sidor som det inte finns några länkar till från andra resurser. Naturligtvis måste webbplatsägaren först skapa en sådan karta. Gradvis kommer sökmotorerna att indexera mer och mer information som finns på den djupa webben, och gränsen mellan "ytan" och "den djupa webben" kommer att suddas ut. Men en del av det kommer fortfarande att förbli otillgängligt att söka - till exempel betalinnehåll som endast tillhandahålls genom prenumeration.

Första steget in i den djupa webben

Du kan kasta dig in på den "djupa webben" även utan att installera speciell programvara - med hjälp av speciella portaler och sökmotorer.

Projekt OAIster(oaister.worldcat.org), initierad av University of Michigan, söker igenom metadataservrarna på mer än 400 institutioner runt om i världen efter dokument. Dessa är bibliotek, vetenskapliga organisationer, tidskriftsredaktioner, etc. OAIster är av intresse främst för forskare, eftersom det ger tillgång till cirka 18 miljoner datagrupper.

CompletePlanet(www.completeplanet.com) letar efter information där Google och Yandex inte kan hitta den. Besökare på denna sökmotors webbplats har tillgång till mer än 70 000 djupa webbdatabaser och en katalog med resurser.

Ombyggnad av webbläsaren

För att komma in i några av den djupa webbens skrymslen och vrår behöver du uppgradera din webbläsare. För att göra detta måste du installera ett tillägg - Tor-anonymiseringstjänsten (www.torproject.org), som tillåter användare att förbli oupptäckta på Internet tack vare Onion Routing-teknik. Data överförs till Internet genom en serie ständigt föränderliga proxyservrar och krypteras. Tor kan användas för att anonymt komma åt Internet och arbeta med både applikationer som använder TCP-protokollet och interna dolda tjänster som utgör den mörka webben. De kan endast nås från Tor-nätverket. Principen kan verka enkel vid första anblicken, men i verkligheten är allt mycket mer komplicerat. Den mörka webben har inga webbadresser i traditionell mening. Till exempel är adresserna till dolda sidor i Tor-nätverket kryptografiska kombinationer av bokstäver och siffror med domännamnet ".onion". De ändras ofta, så du måste leta efter dem igen varje gång.