Как 160 000 прихванати комуникации доведоха до най-новата ни история на НСА

Блогове

Миналия уикенд ALES публикува история, която написах с Джули Тейт и Ашкан Солтани за наблюдението на Агенцията за национална сигурност, което обхваща разговорите на хора, които не са чужди мишени. Историята, базирана на 160 000 прихванати съобщения, които получих от бившия изпълнител на АНС Едуард Сноудън, предизвика много въпроси, възражения и, мисля, недоразумения.

Някои читатели и коментатори описват историята като прекомерно твърдение на очевидното: че наблюдението на един човек включва съдържанието на хората, които говорят с него. Други казаха, че ALES, а не правителството, е нахлул в личния живот на невинни, защото ние публикувахме техните разговори, а NSA не. Според някои критици ние показахме незнание за системите на NSA или съзнателно избрахме да изкривим начина, по който работят.

(Препис: Въпроси и отговори с Бартън Гелман)

Наблюдението на АНС е сложен предмет - правно, технически и оперативно. Изготвихме историята внимателно и отстояваме всичко. Искам да разопаковам някои от основните точки и противоречия, като поръся нов материал за контекст. В този формат мога да предложа повече технически подробности за набора от данни, предоставен от Сноудън, и методите, които използвахме, за да го анализираме. Ще разгледам и някои етични проблеми и проблеми с националната сигурност, пред които сме изправени. По пътя ще обясня защо нашата история всъщност подценява своите констатации, ще изчистя спекулациите за шпиониране на президента Обама и ще проверя фактите в скорошен туит на ЦРУ за изгубени пароли.

Нека започнем с внимателно разглеждане на нашата преднина:

Според четиримесечно разследване на ALES, обикновените интернет потребители, както американски, така и неамерикански, са много повече от законно насочени чужденци в комуникациите, прихванати от Агенцията за национална сигурност от цифровите мрежи на САЩ.

Представете си голяма купчина разговори, засечени от НСА. В него има текст на чатове и имейли, заедно със снимки и други видове файлове, които някой е изпратил на някой друг. Преброихме всички хора, участвали в тези комуникации (или по-точно броя на уникалните онлайн акаунти) и сравнихме тази цифра с броя, към който се цели NSA.

Повечето от акаунтите, които открихме в купчината, не бяха мишени на NSA и не биха се квалифицирали законно като такива. Някои коментатори казаха, че това не е изненадващо и незабележимо. Ще се върна към това.

След това поставяме число върху него:

Девет от 10 притежатели на акаунти, открити в голям кеш от прихванати разговори, които бившият изпълнител на НСА Едуард Сноудън предостави изцяло на The Post, не са били предвидените цели за наблюдение, но са били уловени в мрежа, която агенцията е пуснала за някой друг.

Тази цифра всъщност е твърде ниска, но беше единствената, която можехме да измерим с някаква точност. Графика на Тод Линдеман го разби. Открихме около 11 400 уникални онлайн акаунта. Сред тях около 1200 бяха определени от АНС за чужди цели. Останалите над 10 000 бяха подобни на дигитални наблюдатели. Някои от тях познаваха целите на НСА и разговаряха с тях. Други попаднаха в купчината, като се присъединиха към стая за чат, независимо от темата, или използваха онлайн услуга, хоствана на сървър, който целта използва за нещо съвсем друго.

Нямахме официален списък с мишени на НСА. Трябваше сами да ги намерим в купчината. Солтани, независим изследовател , направи по-голямата част от тежкото вдигане на това. Тъй като информацията не беше подредена в редове и колони, както може да бъде в електронна таблица, Солтани написа компютърен код, за да извлече това, което търсихме от нещо като четвърт милион страници неструктуриран текст.

На някои от нашите въпроси не можахме да отговорим с данните, с които разполагахме. Поради тази причина в нашата история не се казва това, което някои коментатори му вменяват.

основните религии в САЩ

Това са фини разграничения, но са важни, защото отчитахме само това, което можехме да преброим. Не казахме, че NSA е прихванала по-голям брой разговори или по-голям обем съдържание, принадлежащо на странични лица, отколкото цели. Казахме, че има повече участници (уникални онлайн акаунти) в тези разговори, които не са били мишени, отколкото участниците, които са били.

Също така не казахме, че в купчината има повече американци, отколкото чужди цели. Подозираме, че предложението може да е вярно, но не можахме да го установим надеждно.

Ето, от третия параграф, са някои от нещата, които бихме могли да преброим:

Близо половината от файловете за наблюдение, поразително висок дял, съдържаха имена, имейл адреси или други подробности, които NSA отбеляза като принадлежащи на граждани или жители на САЩ. Анализаторите на NSA маскираха или минимизираха повече от 65 000 такива препратки, за да защитят поверителността на американците, но The Post откри близо 900 допълнителни имейл адреса, разкрити във файловете, които биха могли да бъдат силно свързани с граждани на САЩ или жители на САЩ.

Това са три отделни и значими измервания.

1. Американците – говорещи, разговаряни с тях или за които се говори – бяха идентифицирани в близо половината от файловете, които съдържаха прихванати разговори. Това беше резултат, който не очаквахме от наблюдение, насочено към чужденци, намиращи се в чужбина.

2. NSA погълна толкова много съдържание, докато шпионира 1250 чужденци, че трябваше да заличи 65 000 препратки към американски граждани и притежатели на зелена карта. Тази цифра не включва американски компании, които също са американски лица по закон за наблюдение.

3. Анализаторите на NSA оставиха значителен брой имейл адреси в САЩ немаскирани. Чрез копаене в публични и търговски достъпни данни, изследователите от Солтани и ALES Джули Тейт и Дженифър Дженкинс свързаха около 900 от заловените акаунти с самоличността на САЩ. Техните източници се основават на стандартни търсения в Интернет, записи за регистрация на акаунти, промени в пощенските адреси в САЩ, бази данни за маркетинг на продукти, съдебни документи и списъци за регистрация на избиратели. Качеството на тези данни е несъвършено, но вероятно е точни в повечето случаи.

От въоръжените сили до NSA до Министерството на финансите, PostTV разбива 16 различни агенции и организации, които събират разузнавателна информация за правителството на САЩ - и 17-ия офис, който ги наблюдава. (Дейвин Кобърн/ALES)„Случайни“ и „минимизирани“ американци

Условията и правилата за минимизиране са непрозрачни и често са били използвани за погрешно насочване на обществения дебат. На NSA е забранено да се насочва към американски граждани, притежатели на зелена карта или компании за наблюдение без индивидуална заповед от съдия. Ако се насочи към американци по невнимание - като ги вярва, че са чужденци, след което открие обратното - NSA обикновено отхвърля разговорите им.

Всичко това е добро за поверителност, но няма много общо с начина, по който американците всъщност са заловени от системите за събиране на NSA. Американските разузнавателни служби рутинно използват методи за събиране на информация срещу чужденци, които предвидимо - със сигурност - приемат и големи обеми от съобщения от САЩ.

Това се нарича случайно събиране. NSA не отхвърля тези разговори в САЩ. Той ги съхранява, с имена без цензура, в хранилище, наречено PINWALE и други централни бази данни. Никой закон не забранява на NSA да търси в това съдържание имена на САЩ и други идентификатори и го прави. ЦРУ също прави това, а наскоро ФБР съобщи, че претърсва данните толкова рутинно, че не може да даде брой. Правилата за минимизиране поставят условия за тези търсения и ограничават, но не забраняват, разпространението на самоличности в САЩ в доклади до други агенции.

Няма начин да се предотврати инцидентно събиране, но изборът на политиката решава колко от това ще се случи и какво е позволено на NSA и други агенции да правят с неговите плодове.

В малко забележим пасаж от доклада си президентската група за преглед на разузнавателните и комуникационните технологии призова в края на миналата година ( Препоръка 12, стр. 28 ), че случайно придобитата информация за американците трябва да бъде прочистена при разкриване, освен ако не предоставя ценни чужди разузнавателни данни или предупреждава за сериозна вреда на другите. Повечето от това, което NSA съхранява сега, вероятно ще трябва да бъде изхвърлено според този стандарт. Президентът и неговият персонал го оставиха настрана без обществен коментар.

Досега не беше възможно да се обсъди конкретно случайното събиране. Не знаехме колко от това се е случило или естеството на събраното частно съдържание. NSA не отговаря на обществени въпроси за тези неща. Службата на директора на националното разузнаване твърди, че не е в състояние дори да прецени колко американци са засегнати. И нито един външен надзорен орган – включително Конгреса, съдилищата, Съвета за надзор на поверителността и гражданските свободи или Групата за преглед на разузнавателните и комуникационните технологии – няма достъп до достатъчно прихванато съдържание, за да прецени сам.

„Когато предположиш. . . '

Някои ветерани от разузнаването твърдяха тази седмица, че нашата история е раздвижила неизненадващи факти. Бившият главен съветник на NSA Стюарт Бейкър пише (на уебсайта на The Post), че наблюдението на цел очевидно придобива комуникациите на други хора. (Изследователи на социалните мрежи навсякъде: Е, да, компютърен учен Робърт Олсън туитира .)

Ако това е всичко, което The Post казваше, според Бейкър:

. . . присъщата пристрастност в мярката е такава, че изисква потвърждение. (В края на краищата, това ви позволява да кажете „половината от всички притежатели на акаунти в базата данни не са били целта“, ако агенцията съхранява само едно съобщение, изпратено до целта.) Това е нещо, което всеки половинчат разумен редактор би трябвало да разпознае.

Както отбелязах по-горе, ние се съгласихме, че случайното събиране, абстрактно, не е новина. В началото на нашата история казахме, че това е неизбежно при много форми на наблюдение.

Мащабът на тази колекция и интимните тайни, които тя разкрива, може да не изненадат учените от разузнаването, които разбират страничните ефекти от наблюдението и приемат натрапчивостта за даденост. Това обаче е изненадващо — и въз основа на реакциите на читателите, обезпокоително — за много хора, които разчитаха на обществените уверения, че NSA се фокусира строго върху чужди цели и не може да чете имейли в САЩ без заповед.

Ето как формулирахме този въпрос:

Досиетата за наблюдение подчертават политическа дилема, която се излъчва само абстрактно публично. В прихванатите съобщения има открития със значителна разузнавателна стойност – и съпътстваща вреда за неприкосновеността на личния живот в мащаб, с който администрацията на Обама не е била готова да се справи.

Марк Амбиндер, журналист, който е написал много за наблюдението, предложи по-подробна критика. Заслужава малко по-дълъг отговор, тъй като е широко цитиран. Амбиндер основава заключението си, че нашата история е разваляне на неправилни предположения за нашия набор от данни и погрешни описания на системите, които NSA използва за прихващане и обработка на комуникации.

Съгласно раздел 702 от изменения Закон за наблюдение на външното разузнаване, пише Амбиндер, вътрешните операции на НСА започват със сертифициран от съда клас цели – като „руските правителствени служители, живеещи в Юта.“ Всъщност целевите класове, сертифицирани от съда на FISA, са много по-широки (Русия като цяло е една от 193 сертифицирани страни, представляващи интерес) и съдът не е информиран за конкретните цели, които NSA избира от сертифициран клас. Това дава на агенцията много повече свобода за наблюдение, отколкото предполага Амбиндер.

След това, пише Амбиндер, NSA се опитва автоматично да елиминира колкото е възможно повече от имейлите и чатовете на целите с хора в Съединените щати. Това е неправилно. Съществуват системи, които се опитват да победят или филтрират разговори, които са само домашни или само сред американците. Но NSA няма законово задължение и на практика не се опитва да филтрира граждани или жители на САЩ, които комуникират с чужда цел.

Тези две грешки довеждат Амбиндер до основния му аргумент, който е, че високият дял на случайното събиране и разкритите американски самоличности, които открихме, са резултат от технически ограничения на автоматизираната система за минимизиране. Но това не е проблем, пише той, защото дефектите се лекуват ръчно по-късно в процеса. От анализаторите на NSA се изисква само да минимизират всяка комуникация на американско лице, която виждат, пише той, а нашата история се основава на прихванато съдържание, което анализаторите все още не са проучили.

Комуникацията просто не беше разгледана. Никое човешко същество не го е видяло. Репортерите на The Post разгледаха всеки ред от 160 000 прихващания. Анализаторите на NSA не правят това/не могат да направят това, защото системата SIGINT нямаше да функционира за секунда, ако го направиха.

Това също е погрешно. Всичко в извадката, която анализирахме, беше оценено от анализатори на NSA в Хавай, изтеглено от централните хранилища на агенцията и сведено до минимум на ръка след автоматизирани усилия за скриване на самоличностите в САЩ. Описвам данните по-подробно в края на тази публикация.

Ако нашата извадка не беше оценена, много повече от 90 процента от хората в нея щяха да бъдат нецелеви. Ако не беше сведен до минимум, щяхме да намерим много повече американци, отколкото сме идентифицирали сами.

Защо нашите констатации бяха подценени

В цифрите, които докладвахме, включихме всеки разкрит онлайн акаунт. Не включихме минимизираните акаунти, защото нямахме начин да разберем колко са уникални.

Например, бихме могли да преброим 2 721 срещания на термина минимизирано лице в САЩ, 5 060 минимизирано потребителско име в САЩ и 57 331 минимизиран IP адрес в САЩ. (Има малко над 1000 допълнителни категории минимизирано съдържание.) Но на теория не можем да изключим, че всички тези термини съответстват на един човек – фигура, подобна на Зелиг, чиито разговори по някакъв начин обхващат вселена от 11 000 акаунта. В действителност е вероятно маскираните самоличности на САЩ да са в стотици или хиляди.

Не включихме нито един от тях в нашата статистика, защото избрахме да не приписваме число, което не можем да преброим. Сред акаунтите, които можехме да идентифицираме с увереност, 900 принадлежаха на американци и 1250 на чуждестранни цели. Ако само 400 от десетките хиляди маскирани самоличности на САЩ са уникални, тогава базата данни съдържа повече американци, отколкото законни чуждестранни цели.

„Минимизиран президент на САЩ влиза в бар“

Много близо читатели неразбран пасаж, дълбоко в нашата история, който се отнася до президента Обама. Те мислеха, че това означава, че АНС прихваща електронната му поща. Не стана. (Шпионирането на президента е вид новини, на които вероятно можете да разчитате, че The Post ще постави на върха.) Ако очаквах това четиво, щях да напиша следните параграфи по различен начин:

Във файловете се появяват повече от 1000 различни термина за минимизиране, които се опитват да прикрият самоличността на възможни, потенциални и вероятни лица от САЩ, заедно с имената на американски компании за напитки, университети, вериги за бързо хранене и хостове за уеб поща.

Някои от тях граничат с абсурда, използвайки заглавия, които биха могли да се отнасят само за един мъж. Минимизиран избран президент на САЩ започва да се появява във файловете в началото на 2009 г., а препратките към настоящия минимизиран президент на САЩ се появяват 1227 пъти през следващите четири години.

Нито един от тях не бяха разговори, в които Обама участва. Проверихме внимателно. Вместо това статистиката се отнася до разговори, в които някой друг споменава името на президента. Никой от тях не включва вътрешна информация.

В един прихванат разговор някой разказва шега, която започва: [МИНИМИЗИРАН ЛИЦЕ НА ЩАТА] & [МИНИМИЗИРАН ПРЕЗИДЕНТ НА ​​ЩАТА] влизат в бар. Ударната линия намира своя път към геноцид. Това не е приятелска шега. В друг обмен някой се подиграва на познат, като казва, че съветът му за жените е като съвет за исляма от [МИНИМИЗИРАН БИВШЪТ ПРЕЗИДЕНТ НА ​​САЩ].

Някои недоразумения са трудни за лечение. Забелязах в Twitter на неделя и понеделник че разговорите на Обама не са били прихванати. Няколко от тези, които отговориха, бяха не наклонен да се вярвам то.

Много хора питаха, след като историята беше публикувана, дали сме открили прихванати разговори от други избрани служители, съдии, журналисти или неправителствени организации. Ние не. Файловете включват минимизирани препратки към един сенатор, един член на Конгреса, трима съдии, три американски телевизионни оператори и няколко неправителствени организации. Във всички тези случаи темите бяха споменати от други хора в разговори за обществени събития.

Нашето позоваване на Обама имаше за цел да направи още една точка. Противопоставихме стриктната грижа на NSA за минимизирането в много контексти с политики, които позволяват на анализатор да разчита на съмнителни доказателства като основа за преценка на дадена цел като неприемлива за тази защита на поверителността. Открихме много случаи, в които анализаторите основават разумно убеждение за чуждестранност на факта, че целта говори чужд език или влиза от IP адрес, който изглежда е в чужбина. Тези критерии ще се прилагат за десетки милиони американци.

Техническа поддръжка от Langley

ЦРУ отвори акаунт в Twitter миналия месец и използва нахален хумор, за да спечели много последователи за кратко време. В понеделник сметката беше изпратена това съобщение : Не, не знаем вашата парола, така че не можем да ви я изпратим. Той стана вирусен с повече от 12 000 ретуита.

Както се случва, файловете на NSA, които разгледахме, включваха 1152 минимизирани пароли за САЩ, което означава пароли за американски имейл акаунти и чат акаунти, прихванати от връзки за данни в САЩ. Не очаквайте техническа поддръжка от Лангли, но ЦРУ има достъп до този необработен трафик.

„Невинен“ срещу „интимен“

Критиката на Стюарт Бейкър към нашата история направи втора точка, която не споменах по-горе:

Историята е изградена около подразбиращото се твърдение, че 90% от данните за прихващане на NSA са за невинни хора. Мисля, че статистиката е фалшива.

Не е това, което казва историята или какво означава. Не се опитвахме да измерваме вината или добродетелта. За големи обеми прихванато съдържание определящото качество е интимността, а не невинността.

Бейкър направи, че собствената му пощенска кутия звучи доста скучно, изпълнена с рутинни бизнес и еднократни съобщения, с които мога да се справя с кратък отговор (или като игнорирам съобщението). Както се случва, електронната поща не съставлява по-голямата част от това, което NSA прихваща. Много повече от съдържанието идва от чат на живо, среда за млади хора, която е изпълнена с грижите на младите.

Сред по-голямата част от хората, които не са мишени на NSA, много от разговорите в нашата извадка са изключително лични. Често те са много далеч от публикуване, без редактиране.

Той: Какво ще кажеш за теб [глагол, притежателно прилагателно, съществително]

Тя: I [глагол] ако ти [друг глагол].

Той: Това може да се уреди.

Тя: Наистина имам нужда от наказание.

Друга млада жена, също не е мишена, отговаря на ухажор, който предлага да посети.

Тя: не мислете, че това би било честно спрямо човека, когото виждам

Той: може да си малко палав понякога хаха

Тя: Да хаха

От там тръгва разговорът. Има ли значение за жената или за нейния приятел, че АНС е записала нейното плъзгане към изневяра, ако никой от тях не знае? (Тя е австралийски гражданин, чиято самоличност би трябвало да бъде сведена до минимум със същата грижа поради американец, но името и снимките й са разкрити.)

Има ли значение за син, че медицинските досиета на баща му, или за майка, че снимките на къпането на бебето й са в магазините на NSA?

В началото на дебата за Сноудън председателят на комисията по разузнаването на Камарата на представителите Майк Роджърс каза в изслушване че фактът, че не сме имали никакви оплаквания, представени с някаква конкретна аргументация, че тяхната поверителност е била нарушена, ясно показва, че системата работи.

Но кой би се оплаквал? попита свидетелят, професорът по право в Американския университет Стивън Владек.

Някой, чиято поверителност е била нарушена, отвърна Роджърс. Не можете да нарушите поверителността си, ако не знаете, че поверителността ви е нарушена.

Владек остро не се съгласи с това твърдение. Правилата и процедурите на NSA, каза той, не могат да бъдат оценени без обективен поглед върху това какво прави с правомощията си. Това е дебатът, който нашата история трябваше да информира.

Гърне, запознай се с чайник

При изготвянето на нашата история се сблъскахме с парадокс: как да докладваме за вреди върху неприкосновеността на личния живот, без да ги усложняваме? Някои читатели бяха обезпокоени от нашия цитат на частна кореспонденция — и дори от решението ни да го прочетем.

Бен Уитс, писане на Lawfare , описва трансфера на Сноудън на съдържание от NSA към мен по следния начин:

Изпълнителят предоставя кеш от 160 000 такива разговора - някои от които много дълги - на трета страна. Той прави това очевидно безразборно и не оставя нищо повече от доверие, че получателят ще използва материала отговорно. След това третата страна продължава да публикува пасажи. . . от кореспонденцията на частно лице, написана на гадже за тяхната очевидна афера — частно лице, което е обвинено в неправомерни действия. . . . Ако въпросният изпълнител беше някой друг освен Едуард Сноудън, ние веднага щяхме да признаем това разкриване за това, което е: масивно нарушение на гражданските свободи точно от типа, който поставихме разузнаването под върховенството на закона, за да се опитаме да предотвратим.

Тук разпознаваме дилема, но не смятаме, че отговорът е очевиден. Имаше важна история за наблюдение и поверителност. Не вярвахме, че можем да го кажем с широки намеци за неуточнено лично съдържание в прихванатите файлове на NSA. Ние също така вярвахме, че трябва да придадем тежест на последиците за поверителността и националната сигурност от цитирането им.

По отношение на жената, която цитирахме, Уитс пише, че въпреки че деликатно запазихме името й извън историята, целият й социален свят ще знае коя е тя. Това е спекулация. Жената ми казва друго.

От самото начало решихме, че няма да цитираме нито един разговор без съгласието на говорещия. Австралийката ни даде това, при условие че сме пропуснали името й и други подробности, които тя уточни. След това тя написа, за да похвали една фантастична статия и каза, че нейният работодател и приятели, освен тези, които вече знаеха историята, не са я свързали с нея.

Много благодаря, написа тя. Оценявам усилията ви за анонимност.

Като оставим настрана единствения пример, Уитс прави по-широка атака срещу Сноудън – в неограниченото упражняване на неговата неограничена дискреция – избирайки Гелман като единствен контрол и баланс при разкриването на лични данни – Гелман, който, за разлика от NSA, няма законов стандарт, за да изпълни до и без надзор от Конгреса или съдилищата.

Вярно е, че с малки изключения като клевета, правителството не определя стандарти за публикуване и не ме принуждава да ги следвам. Това е доста основна характеристика на нашата конституционна система. Начинът, по който използвам тази свобода, и изборът, който The Post направи за тази история, са честна игра, която всеки може да прецени. Ние сме доволни от нашия избор и начина, по който сме ги направили.

Да поискаме съгласие преди цитиране не беше единственото ни или дори първото ни съображение. Отрано осъзнахме, че съществуват рискове за националната сигурност при простото уведомяване на някого, че разговорите й са били прихванати. Направихме независими доклади, за да установим, преди да й се обадя, че бившето гадже на австралийката вече не е под наблюдение и вече не се разглежда от американското разузнаване като заплаха.

Дори когато пропускахме имена, не се чувствахме свободни да цитираме прихванати разговори без внимателно обмисляне. Отличителен език може да бъде разпознат от цел за наблюдение и по същия начин, алюзии за неудобни тайни, когато се чете от някой близък до цитираното лице.

Както беше посочено в нашата история, ние сами се убедихме в извадката на Сноудън, че наблюдението по раздел 702 е довело до голяма част от ценни разузнавателни данни. Ако кажем на мишена пряко или косвено, че е под микроскопа на NSA, щяхме да застрашим това.

Когато потърсихме примери, които бихме могли да цитираме, започнахме с проверка дали дадена цел за наблюдение е все още жива и на свобода. Чрез независими доклади идентифицирахме четирима, които бяха в ареста. Доведохме тези имена до НСА и ЦРУ. Служители на разузнаването ни дадоха конкретни и убедителни причини, неофициални, защо всяко споменаване на двама от тях би провалило текущите операции. Изпуснахме ги и цитирахме другите двама – Мухамад Тахир Шахзад, базиран в Пакистан конструктор на бомби, и Умар Патек, заподозрян за терористичен атентат през 2002 г. на индонезийския остров Бали – в нашата история.

Съществуват рискове за поверителността, както отбелязват някои критици, съхраняването на копия на прихванатите файлове. Съществуват сравними рискове за националната сигурност, ако някой открадне архива. Предприехме значителни мерки, със съвети от водещи експерти, за да запазим материала възможно най-безопасен от външни лица. Нито един служител на ALES няма непроверен достъп и много малко имат изобщо достъп. Унищожаването на файловете сега би било най-сигурният начин да се гарантира, че няма да бъдат нарушени. Това би повдигнало правни въпроси и ще спре работата ни по история за продължаващ глобален внос. Не сме вземали решение в дългосрочен план.

Данни и методи

В набора от данни, който анализирахме, имаше 22 000 електронни файла, съдържащи съдържание, прихванато от NSA между 2009 и 2012 г. Те идваха от хранилище, хоствано в регионалното съоръжение на NSA Kunia на Хаваите, което беше споделено от група анализатори, специализирани в югоизточната част Азиатски заплахи и цели.

Тази база данни на Хавай по същество беше курирана от членове на групата. Те използваха много по-голям магазин от сурово или необработено съдържание, хостван в централата на NSA, и импортираха селекции от него в шаблони за оценен материал. Специални контроли за достъп защитиха файловете и на двете места, тъй като комуникациите бяха получени от мрежови комутатори и компютърни сървъри в Съединените щати. До 2008 г. този вид събиране изискваше индивидуална заповед от съдия. Раздел 702 от FISA позволява на NSA да избира десетки хиляди цели самостоятелно по правила и процедури, преглеждани от съда веднъж годишно.

Тъй като нашата извадка е била подбрана ръчно от анализатори за базата данни на Хавай, имаше много по-малко неуместно съдържание и случайно събрани съобщения от САЩ, отколкото одиторът би намерил в централната база данни на PINWALE, от която е извлечена.

Около 16 000 от файловете с данни съдържаха текста на прихванати разговори. Останалите бяха снимки или документи като медицински досиета, ваучери за пътуване, училищни преписи и брачни договори. Преобразувахме всеки текст във файловете с изображения в машинно четима форма.

Някои файлове имат само един обмен на имейл или незабавни съобщения. Други включват много отделни разговори с много участници. Други пък имаха дълги, непрекъснати преписи за чат, които се простираха в продължение на няколко дни и стотици страници.

За да анализира файловете, Солтани ги погълна в база данни. След това бихме могли да търсим количествено измерима информация с инструменти за маниаци като регулярни изрази на Unix и SQL или структуриран език за заявки.

Искахме да знаем, например, колко различни разговора има във файловете. Солтани опита няколко метода, за да намери границите във всеки файл с документи. Той определи данните като мръсни, с печатни грешки и несъответствия в използването на форматиране и официални шаблони. Солтани коригира тези грешки, като използва множество критерии в своите търсения, като първия възникнал PINWALE идентификатор в заглавка. Сравняването им ни доведе до публикуваната цифра от 160 000 разговора.

Солтани направи по-голямата част от анализа, но той ме научи да правя собствени запитвания. Имейл адресите, за да вземем много прост пример, винаги са съставени от допустим набор от знаци преди и след знака @, с точка във втората половина. Тази заявка намери 12 310 посещения. След изчистване на фалшиви положителни резултати и добавяне на дръжки за чат и Facebook ID, стигнахме до публикуваната цифра от около 11 400 уникални акаунта.

Трябваше да използваме по-сложни методи, за да определим кои от тези акаунти са мишени на NSA. Сравнихме няколко подхода, които дадоха сходни, но не идентични резултати. След като проучихме защо се различават, преценихме, че броят на уникалните означения на случаите или CASN е най-надежден.

Означението на регистрите изглежда така: P2BSQC090008441. Преди година публикувахме удобен слайд, за да го декодираме.


Знаците SQC означават програмата PRISM, която събира съдържанието на онлайн акаунти от девет големи интернет компании в САЩ. P2 идентифицира целта като акаунт в Yahoo, B казва, че това е акаунт в чат, а останалото идентифицира годината, в която е започнало наблюдението (2009) и уникалния сериен номер на целта.

Събиране от мрежови комутатори, които NSA нарича Upstream, използва означения на случаите, които започват с XX.SQF. Те се наричат ​​още колекция на ФБР FISA, управлявана от бюрото и споделяна с NSA. Upstream се използва най-често за по-ефимерни форми на чат, които не са лесно достъпни от сървърите на интернет компании.

Общият брой на мишените, като се брои по CASN, достигна 1257. Направихме проверка на номера - имаше ли смисъл? — като прочетете съдържанието на голяма извадка от техните разговори.

Джули Тейт и Дженифър Дженкинс положиха огромен труд, за да определят имената на притежателите на акаунти и да изследват техните публични записи. В почти всеки случай причините за интереса на NSA бяха очевидни. Сред повече от 10 000 нецелеви акаунта, комуникациите отразяват нормален диапазон на човешкото взаимодействие.

Поради промените, които Конгресът направи в раздел 702, Съветът за надзор на неприкосновеността на личния живот и гражданските свободи съобщи, че обемът на нецелево събиране - и случайно съдържание от САЩ в него - са нараснали експоненциално.

Бордът се раздели по въпроса дали правителството трябва да бъде задължено да получи заповед за претърсване и използване на тези прихванати разговори в САЩ. (Сега не е необходима заповед.) Президентската група за преглед отиде по-далеч, като препоръча на NSA да изхвърли съдържанието на САЩ при повечето обстоятелства.

Администрацията на Обама не е изпълнила нито една от тези препоръки. Нашата история добави информация, която не може да бъде намерена никъде другаде, относно заложените на карта конкуриращи се интереси.