'스테로이드에 대한 Google 검색'은 다크 웹을 빛으로 가져옵니다

우리에게 인터넷을 제공 한 정부 기관은 이제 소위 딥 웹의 내용을 조명하는 강력한 새 검색 엔진을 개발했습니다. 

DARPA (Defense Advanced Research Projects Agency)는 1 년 전 Memex Deep Web Search Engine에 대한 작업을 시작했으며 이번 주에는 Scientific American과 "60 Minutes"에 도구를 공개했습니다. 

17 개의 서로 다른 계약 업체 팀에서 개발중인 Memex는 더 나은 인터넷 콘텐츠 맵을 구축하고 법 집행관 및 다른 사람들에게 도움이 될 수있는 온라인 데이터의 패턴을 발견하는 것을 목표로합니다. 초기 실험은 인신 매매 범의 움직임을 매핑하는 데 초점을 맞추었지만 언젠가는이 기술을 대테러, 실종자, 질병 대응 및 재난 구호와 같은 조사 노력에 적용 할 수 있습니다.

DARPA의 정보 혁신 사무소 책임자 인 Dan Kaufman은 Memex가 보이지 않는 것을 보이게하는 것이 전부라고 말합니다. "인터넷은 사람들이 생각하는 것보다 훨씬 더 큽니다."DARPA 프로그램 관리자 인 Chris White가 "60 Minutes"라고 말했습니다. "일부 추산에 따르면 Google, Microsoft Bing 및 Yahoo는 웹 콘텐츠의 약 5 % 만 액세스 할 수 있습니다."

Google과 Bing은 인기도와 순위를 기반으로 결과를 생성하지만 Memex는 일반적으로 비정형 데이터, 연결되지 않은 콘텐츠, 상업용 검색 엔진이 크롤링하기 전에 제거 된 임시 페이지, 채팅 포럼 등 상업용 검색 엔진에서 무시하는 콘텐츠를 검색합니다. 일반 검색 엔진은 이러한 딥 웹 데이터를 무시합니다. 브라우저 회사가 돈을 버는 웹 광고주는이 데이터에 관심이 없기 때문입니다.

Memex는 또한 범죄자가 비즈니스를 수행하는 어둡거나 익명의 웹을 크롤링하는 메커니즘을 자동화합니다. TOR 익명 브라우저를 통해서만 액세스 할 수있는 이러한 숨겨진 서비스 페이지는 일반적으로 불법 마약 및 기타 밀수품을 판매하는 법 집행 기관의 레이더하에 작동합니다. 한때 다크 웹 활동이 1,000 페이지 정도라고 생각했던 곳에서 White는 Scientific American에 다크 웹 페이지가 30,000 ~ 40,000 페이지 사이에있을 수 있다고 말했습니다.

지금까지 이러한 사이트를 체계적으로 보는 것은 어려웠습니다. 그러나 Memex (Manhattan DA Cyrus Vance Jr.가 "스테로이드에 대한 Google 검색"이라고 부름)는 콘텐츠의 색인을 생성 할뿐만 아니라이를 분석하여 법 집행에 유용 할 수있는 숨겨진 관계를 발견합니다.

DARPA의 검색 도구는 맨해튼의 새로운 인신 매매 대응 부서를 포함하여 작년에 법 집행 기관을 선택하기 위해 도입되었습니다. Memex는 현재 추구하는 모든 인신 매매 사건에 사용되며 최소 20 건의 성매매 조사를 생성하는 역할을했습니다. 강력한 웹 크롤러는 여러 데이터 간의 관계를 식별하고 조사자가 패턴을 감지하는 데 도움이되는 데이터 맵을 생성 할 수 있습니다.

White는 "60 Minutes"의 데모에서 Memex가 섹스에 대한 온라인 광고와 관련된 데이터를 기반으로 인신 매매 범의 움직임을 추적 할 수있는 방법을 보여주었습니다. 화이트는 "때로는 IP 주소의 기능이지만 때로는 광고의 전화 번호 나 주소 또는 광고를 게시 한 장치의 위치 정보의 기능 일 수 있습니다."라고 말했습니다. "때로는 위치에 기여하는 다른 유물이 있습니다."

White는 Memex가 정보를 검색하기 위해 해킹에 의존하지 않는다고 강조했습니다. "암호로 보호 된 것이 있으면 공개 콘텐츠가 아니며 Memex는이를 검색하지 않습니다."라고 그는 Scientific American에 말했습니다. "우리는 스누핑과 감시의 유령을 끌어 들여서이 작업을 불필요하게 흐리게하고 싶지 않았습니다."-Edward Snowden의 NSA 폭로 이후 민감한 주제였습니다.

Memex는 그 이름 ( "메모리"와 "인덱스"의 조합)을 얻었으며 1945 년 Vannevar Bush가 기술 한 가상 장치에서 영감을 얻어 PC, 인터넷 및 향후 70 년의 주요 IT 발전을 예고했습니다. 이제 DARPA와 Memex는 "Minority Report"에 묘사 된 필립 딕의 미래형 경찰 부서에 한 걸음 더 가까이 다가 갈 수있는 것 같습니다.

몇 주 후에 시작되는 새로운 테스트에는 연방 및 지방 검사, 지역 및 국가 법 집행 기관, 여러 NGO가 포함됩니다. Scientific American 보고서에 따르면 "인신 매매 범의 얼굴이나 배경의 텔레비전 화면을 포함하여 수사에 도움이 될 수있는 부분이 난독 화 된 경우에도 사진을 분석 할 수있는 새로운 이미지 검색 기능을 테스트"하는 것을 목표로합니다.

화이트는 더 큰 소스 풀에서 수집 된 정보와 상호 작용하고 정보를 제공하는 더 나은 방법을 발명함으로써 "우리는 모든 사람에 대한 검색을 개선하고자합니다. 프로그래머가 아닌 사람의 사용 편의성은 필수적입니다."라고 말했습니다.