개요
악성코드 DNA 프로파일링 검색 엔진 Codex Gigas는 수집한 악성코드에서 무언가를 특정 짓기 위해 악성코드의 패턴과 특성을 찾아낸다.
Codex Gigas는 악성코드 수집과 분석하여 악성코드 내부를 조사할 수 있고, 많은 수의 파일에서 특성을 검색할 수 있는 악성코드 프로파일링 검색 엔진이다. 예를 들어, 파일 수준의 해시에 의존하는 대신에 파일 규격에 정의되어 있는 함수 호출, 문자열, 정수, 파일 세그먼트, 코드 영역과 같은 다른 기능을 계산할 수 있고, 기타 추가적으로 142가지 검색 가능한 패턴을 제공하기에 이들을 섞어 검색할 수 있다.
구성 (선택사항)
MongoDB 경로
MongoDB의 기본 경로는 codex-backed와 codex-fronted의 메인 경로에 설정되어 있다. 만약 기본 경로를 변경하고 싶다면 docker-compose.yml의 네 번째 줄을 수정한다.
- ../mongo-data/:/data/dbVirusTotal
VirusTotal은 파일을 요청해 백신의 결과를 검색하기에 유용하다. 자신의 VirusTotal API key를 src/secrets.py에 추가한다. 그런 다음 컨테이너를 재시작한다.
sudo docker-compose restartCodex Gigas 설치
docker & docker-compose 설치
먼저 docker와 docker-compose를 설치한다. Codex Gigas 설치는 우분투 14.04 LTS 운영체제에서 진행했다.
wget -qO- https://get.docker.com/ | sh
sudo usermod -aG docker $(whoami)
sudo apt-get install python-pip
sudo pip install docker-composeCodex Gigas 설치
docker를 활용하여 Codex Gigas를 설치한다. 성공적으로 설치가 끝난 메시지는 바로 웹 서비스가 실행된 메시지로 만나볼 수 있다.
sudo apt-get install p7zip-full git
git clone https://github.com/codexgigassys/codex-backend
git clone https://github.com/codexgigassys/codex-frontend
cd codex-backend/yara/
./setupYarGen.sh
cd ..
cp src/secrets.py.sample src/secrets.py설치가 모두 끝났다면 도커 서비스를 실행한다. 그리고 docker-compose 명령으로 도커 이용한 설치와 웹 서버 운영을 할 수 있다.
sudo service docker start
sudo docker-compose up원하는 경우 도커 컨테이너를 stop/start 할 수 있다.
sudo docker-compose stop
sudo docker-compose start파일 불러오기
대규모 파일을 로드하기 위해 file_to_load 폴더에 파일들을 저장하고 다음 명령을 실행한다.
curl http://127.0.0.1:4500/api/v1/load_to_mongo즉시 사용 가능한 가상 머신
원하는 VM 파일을 다운로드할 수 있다. 내부에는 가상 머신 시작과 동시에 Codex Gigas가 실행되도록 구성했다.
- VMware (sha1: 9C6B3F8F37C8BD119E5C8A07050CB28C1A7E2DF3)
- VirtualBox (sha1: 8289A8BEAF2D75A6D2B4E80ADEB943A806E26373)
VM 패스워드: codex
APT-notes 샘플 - https://github.com/kbandla/APTnotes
테스트를 위해 지난 수년간 APT 보고서에 언급되었던 5437개의 실행 가능한 샘플 (sha1: 6EA9BBFBB5FB0EB0D025221A522D907E6D4956A0)을 수집했다. zip 압축 파일의 패스워드를 알고싶다면, CodexGigasSys 트위터로 직접 메시지를 보내주길 바란다.
개발
이 오픈소스에 기여하고 싶다면, Codex Gigas는 BSD 라이선스로 열려있고, 큰 커뮤니티에 의존해 공동 개발할 수 있게 노력하고 있다. 티켓 발급, 요청하기, 기능 제안, 버그 수정 등 모두 환영한다.
새로운 모듈이나 패치를 개발할 때, 이 프로젝트를 유지하기 위해 일반적인 코딩 스타일을 준수하길 부탁드린다. 새로운 기능이나 중요한 버그를 수정하는 것을 소개할 때 우리의 가이드 문서에 요약과 가능성을 소개하여 포함하는 것 또한 부탁드린다.
디버깅하고 싶다면 다음 명령으로 손쉽게 할 수 있다.
sudo docker-compose --service-ports --rm api이 방법은 응용프로그램이 백그라운드에서 동작하지 않고 IPython에서 embed()를 사용할 수 있다.
Codex Gigas 플러그인을 통해 파일의 메타데이터를 추출한다. 각 플러그인은 파일 형태로 수신하고, 수신한 파일은 MongoDB에 저장되어 파이썬 딕셔너리 형태로 반환한다. 플러그인 위치는 src/PlugIns이다. 새로운 플러그인을 추가하기 위해서는 윈도우에서 실행 가능한 형태로 제작한 파일은 src/PlugIns/PE/에, 플러그인 이름은 Prosessors/PEProcessor.py와 PlugIns/PE/__init__.py에 추가한다.
사용자 가이드
Codex Gigas는 도커 컨테이너를 시작한 후 http://127.0.0.1:6100으로 접속할 수 있다.
Codex Gigas를 이용한 검색
Codex Gigas를 이용한 고급 검색
Section name과 같이 다른 특징을 포함하여 특정 파일을 찾고싶다면 search 창에 찾고자 하는 기준을 선택하고 검색한다.
추가되는 상자는 다음과 같이 볼 수 있다.
다른 원하는 조건을 추가할 수도 있다.
텍스트 상자의 오른쪽에 있는 X를 클릭하여 선택한 기준을 지울 수 있다. 또한 오른쪽에 있는 더하기 기호를 통해 같은 유형을 여러개 추가하여 다양한 조건으로 검색할 수 있다.
엔진의 일부 기능을 보여주기 위해 스턱스넷, 디노, 제우스를 검색할 수 있도록 구성했다.
Stuxnet이 사용한 DLL을 검색하기:
악성코드 샘플을 실행하기 위해서는 특정 라이브러리를 가지고 있는 DLL을 사용할 수 있다. 예로, 스턱스넷은 s7otbxdx.dll을 사용하고 이 .dll은 시멘스 시맨틱 S7 PLC(Programmable Logic Computers의 약자로 자동화 시스템을 의미)의 일부분이다. 이 정보를 Portable Executable > Imports > Library에서 검색할 수 있다.
Library를 클릭하면 다음과 같이 검색할 수 있다.
Library 입력 박스에 s7otbxdx.dll를 입력하고 출력되는 결과를 제한하도록 선택한 후에 검색 버튼을 클릭한다. 제한 수치를 0으로 사용하는 경우, 무제한으로 검색하기에 사용할 때 주의한다. 참고로 오타가 있는 .dll이나 데이터베이스에 .dll이 없는 경우 다음과 같이 텍스트박스는 빨강색으로 강조되어 보여준다.
또한, "Attributes for results preview"의 드롭다운 목록을 볼 수 있는데, 하나 이상의 카테고리를 선택하여 속성을 선택할 수 있다. 예를 들어, Time Date Stamp, Description 그리고 Size를 선택하여 그 결과를 받아 볼 수 있다. 어떠한 특성을 선택하지 않을 경우, 일치하는 검색 조건에 맞는 각각 파일의 SHA1, Description, Size만을 보여준다. 검색 결과는 아래 그림과 같다.
파일 크기나 시간과 같이 특정 속성을 필터링하여 검색할 수 있는 filter function을 사용할 수 있다.
지금까지 살펴본 것처럼 많은 데이터를 찾기 위해 유용한 버튼들이 있다.
체크 버튼 Check all을 선택할 경우, 검색된 모든 결과를 선택한다.
Download Button은 선택한 결과를 zip 파일로 압축하여 다운로드한다. 파일의 패스워드는 "codex"를 사용한다.
Export Button은 선택한 파일로부터 메타데이터를 추출하여 텍스트 파일로 다운로드한다.
Process Button은 프로레스 큐에 파일을 추가한다.
새로운 플러그인을 추가하거나 기존의 플러그인을 변경할 경우에 유용하다. Copy hashes button은 선택한 모든 해시를 복사한다.
Generate Yara Rule 버튼은 선택한 파일에 대한 Yara 룰을 생성한다. 이 기능은 yarGen을 사용하는데, yarGen을 사용하려면 시스템에 최소 5GB 이상의 메모리가 필요하다.
추가로, 결과 중 하나를 선택하면 metadata tree를 볼 수 있다.
메타데이터 트리는 몇가지 형태로 구성되고, 어떤 파일인가에 따라 다양할 것이다.
문자열을 이용하여 Dino (Animal Farm APT의 일부)를 검색하기:
"Dino.exe" 처럼 바이너리의 원래 이름은 작성자의 기록에 의해 표시된다. 다른 Dino 샘플을 검색하기 위해 이 문자열을 사용할 수 있다.
이제 찾고자 하는 문자열 "dino.exe'를 입력한다.
search을 클릭하면 기준과 일치하는 파일을 볼 수 있다.
Zeus 파일 섹션을 이용하여 검색하기:
일반 파일 섹션은 악성코드 변종을 관찰 할 수 있다. 이 경우 제우스의 .data 섹션의 SHA1은 'edbc64b30aceabd6e7d32defc698c1475861a42d'이다.
위에서 볼 수 있듯이, 이 해시를 가지는 .data 섹션과 일치하는 파일이 많이 있다. Size와 Time data stamp는 모든 결과에 대해 동일하다. 화면 오른쪽에 있는 Charts Section을 사용하면 시각화된 정보를 통해 작업을 쉽게 할 수 있다.
열을 기준으로 결과를 정렬하려면 열 이름을 클릭 할 수 있으며, 아래 그림은 file_entropy를 클릭하면 어떤 결과가 보여줄지 그 예로 살펴볼 수 있다.
단순 비교 기능
Codex Gigas의 다른 유용한 기능은 단순 비교 기능이다. 이미 검색을 수행한 후에 화면 오른쪽에 발견될 수 있다.
최선의 선택한 두 파일을 비교하고 두 파일 사이의 차이를 시각화하여 유사점을 찾을 수 있게 기능을 제공한다. 그냥 필요로하는 파일을 선택하고 표시된 블록 중 하나를 드래그한다. 사용자는 화면에 맞게 최대화하고 결과를 더 잘 시각화 할 수 있게 클릭할 수 있다.
위의 각 개별 파일의 메타데이터를 보고 아래처럼 비교한다.
Diff tab에서 다음을 볼 수 있다.
- 수정된 속성은 노랑색으로 강조
- 새로운 속성은 녹색으로 강조
- 삭제된 속성은 빨강색으로 강조
- 동일 속성은 흰색으로 강조
이러한 비교는 기본으로 첫 번째 박스에서 파일을 사용하여 만들어진다.
동등 탭에서 두 파일이 일치하는 모든 메타데이터를 볼 수 있다.
샘플 핸들링
파일 버튼 기능
Download Button은 앞서 언급한 다운로드 버튼과 유사한 기능을 가지고 있지만, 현재 보여지는 파일만 다운로드한다. .zip 파일의 패스워드는 동일하게 "codex"다.
Process Button은 자동으로 파일을 재 프로세스하고 결과를 업데이트한다.
Export Button은 메타데이터를 .txt 파일로 내보낸다.
VT scan Data 버튼은 현재 보고 있는 파일 해시를 통해 찾은 정보를 수집하고 메타데이터 트리에 추가한다.
스캔 영역에서 각 백신 공급 업체에서 탐지한 결과를 자세히 확인할 수 있다.
샘플 다운로드
다운로드 탭의 텍스트박스에 해시 목록을 입력하여 여러 샘플을 다운로드할 수 있다. zip 파일은 "codex" 암호를 가진다. 이 기능의 사용은 실제 악성코드를 다운로드 하는 것이기에 위험할 수 있다.
"File buttons functionality" 섹션에 설명된 다운로드 버튼을 사용하는 것과 같이 파일을 다운로드할 수 있다.
샘플 업로드
Codex Gigas는 선택한 샘플을 업로드하고, 파일의 메타데이터에 대한 자세한 정보를 수집하고 처리할 수 있는 기능을 제공한다. 우선 선택한 샘플을 업로드하라면 기능 패널에서 업로드 탭으로 이동한다. 다음 처럼 페이지가 표시된다.
여기서 파일을 업로드하려면 Browse... 버튼(그림에서는 Examinar...로 표시되어 있으나, 실제 구축하면 Browse...로 표시)을 클릭, 이동 그리고 체크하여 파일을 업로드한다.
성공적으로 업로드되면 파일의 SHA1 해시를 보여준다. 이 해시를 사용하여 Codex Gigas 엔진에 의해 분석된 해당 파일의 정보를 찾아 볼 수 있다.
대규모 샘플 업로드
시간을 절약하기 위해 여러 개의 파일을 업로드하길 원한다면 기능 패널의 Load 탭으로 이동한다. 그러면 다음과 같은 화면을 볼 수 있다.
Codex Gigas 홈 폴더에 위치한 files_to_load 폴더에 다수의 악성코드를 복사한 후 load를 클릭하면 한 번에 파일들이 데이터베이스에 분석되어 저장된다.
Codex Gigas의 샘플 처리
업로드된 파일은 해시(MD5, SHA1, SHA256)로 검색하거나, 이미 알고 있는 파일의 속성을 이용하여 메타데이터 정보를 얻을 수 있다. 이렇게 하려면 기능 패널에서 Process tab으로 이동하고 정보가 필요한 파일의 해시를 복사 붙여넣기 한 후에 Process 버튼을 클릭한다.
검색하려한 해시를 Codex Gigas에서 찾을 수 없는 경우 "Not Found"가 표시되고 리스트에서 누락된다. 원하는 필드를 처리한 후에는 Search 기능으로 검색할 수 있다.
Codex Gigas Thanks
다음 도구를 제작한 개발자들에게 감사의 인사를 드린다.
Projects
- yarGen (Florian Roth) https://github.com/Neo23x0/yarGen
- pefile (Ero Carrera) https://github.com/erocarrera/pefile
- ssdeep (jollheef) https://github.com/jollheef/ssdeep
사용 후기
- 웹 서버는 크롬 브라우저와 인터넷 익스플로러에선 원활하게 동작하지 않고 파이어폭스에서 잘 동작한다.
- 어떤 데이터를 저장하고 운영할 것인지 자동화되어 고민할 필요는 없지만, 추가적으로 검색하여 새로운 정보를 추출하기 위해서는 분석가의 기억력에 의존해야한다.
- 동적 분석으로 나오는 결과를 사용하는 부분이 없기 때문에 아쉽다.
- Cuckoo나 MISP 등 섞어 사용하면 좋을 것 같다.
참고 사이트
- How To Install and Use Docker Compose on Ubuntu 14.04, https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-compose-on-ubuntu-14-04
- CodexGigas's Github, https://github.com/codexgigassys
본 문서는 (주)한국정보보호교육센터 f-NGS 연구소에서 의역하고 작성한 내용입니다.
Written and Translated by Hakawati in KISEC 40th
'Advanced > OpenSource Tools' 카테고리의 다른 글
| [Defensive Security] Cuckoo Sandbox 2.0.0 번역 (0) | 2017.04.11 |
|---|---|
| [Defensive Security] Cuckoo Sandbox 2.0-RC2 번역 (0) | 2017.04.11 |
| [Defensive Security] Cuckoo Sandbox 2.0-RC1 번역 (0) | 2017.04.11 |
| [Defensive Security] nightHawk Response v1.0.2 (0) | 2016.07.21 |
