Selon l' enquête SANS Cyber Threat Intelligence (CTI) 2021 , 66,3% des entreprises utilisent des sources ouvertes pour collecter des indicateurs de compromis et tentent de travailler avec plusieurs sources en même temps. Il semblerait que la collecte d'indicateurs à partir de sources ouvertes soit une tâche assez simple: il vous suffit de télécharger un fichier txt ou csv à partir d'un site, et c'est tout. En réalité, de nombreux problèmes peuvent être rencontrés en cours de route. Dans cet article, nous vous dirons quelles peuvent être ces difficultés, de quoi dépendent la structure et le format du flux, quelles métriques aident à évaluer l'utilité des flux, et montrerons également avec un exemple réel ce que vous pouvez apprendre du flux. Pour plus d'objectivité, nous avons préparé cet article avec Kolya Arefiev de RST Cloud ,engagé dans l'agrégation, l'enrichissement, le nettoyage et le classement des indicateurs publiés par des chercheurs indépendants en sécurité de l'information.
Quels sont les pièges des open sources TI
Faisons une réservation tout de suite: il ne sera pas possible de contourner les problèmes en travaillant avec des indicateurs issus de sources ouvertes. La toute première fois que vous chargez de tels indicateurs dans des outils de protection, vous recevrez des milliers de réponses par jour. Sans démonter les 100 premiers résultats, vous allez probablement cracher sur cette entreprise et désactiver simplement le flux.
Essayons de décrire les principaux problèmes à résoudre lors de la collecte d'indicateurs à partir de sources ouvertes:
Sélection des sources
Vous ne devez pas rechercher le nombre d'indicateurs dans la source et choisir ceux avec le plus d'indicateurs. Faites un contrôle ponctuel de certains des indicateurs du flux, évaluez-les en termes de nombre de faux positifs.
Comprendre la structure de votre flux
, . , , : , (, , , , ?). , , IP, , url hash . 2C, , url, .
, ? ? , ? ?
, , . , , . ? , , ?
, , . 4 , , . « » , .
127.0.0.1, microsoft.com SHA256 calc.exe — . , .
- . , , ASN, Whois, Geo-, , .. , , , .
, . , IT , , . RST Cloud IoC, 365 .
: « »
, . , , , .
, , . , « ».
« », 2013 David J Bianco.
. , , txt- csv-. - .
, :
812 | ROGERS-COMMUNICATIONS | 99.250.237.110 | 2021-04-05 04:46:22
852 | ASN852 | 66.183.170.4 | 2021-04-05 02:50:15
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.13 | 2021-03-31 19:52:48
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.14 | 2021-04-03 14:50:55
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.16 | 2021-04-05 09:45:03
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.17 | 2021-04-04 18:13:59
:
Family,URL,IP,FirstSeen
Pony,http[:]//officeman[.]tk/admin.php,207[.]180.230.128,01-06-2020
Pony,http[:]//learn[.]cloudience[.]com/admin.php,192[.]145.234.108,01-06-2020
Pony,http://vman23[.]com/admin.php,95.213.204.53,01-06-2020
. , . , , (TTP) APT.
, , json, yaml, xml - , . , STIX 2, .
, . , json — 1 3 . , , , . .
:
, , , RST Cloud.
json :
{
"id": "572f891c-dd92-31d3-a2e7-c448a4b72b22",
"title": "RST Threat feed. IOC: defender5.coachwithak.com",
"description": "IOC with tags: c2. Related threats: silverfish_group",
"threat": ["silverfish_group"],
"domain": "defender5.coachwithak.com",
"fseen": 1616630400,
"lseen": 1617408000,
"collect": 1617494400,
"tags": ["c2"],
"resolved": {
"ip": {
"a": ["37.48.84.156"],
"cname": []
},
"whois": {
"created": "2019-07-31 20:36:52",
"updated": "2020-08-01 10:58:42",
"expires": "2021-07-31 20:36:52",
"age": 608,
"registrar": "GoDaddycom LLC",
"registrant": "unknown",
"havedata": "true"
}
},
"score": {
"total": 55,
"src": 73.75,
"tags": 0.89,
"frequency": 0.85
},
"fp": {
"alarm": "false",
"descr": ""
}
}
, :
GUID .
— TI- , .
.
-
— . (C2C).
IP-, , — , IP DNS-.
Whois- — TI- , . -«», , . APT- C2C- .
— . , 70 50, .
, . TI- , . : , .
, (False-Positive), . false, , .
?
threat intelligence — , , , , . , . , , , .
-? , — , , . , . ?
, «» , , , .
, , , :
( ) , :
? , , , .
CIRCL.lu. , . , ?
3 157 852 . , .
CIRCL , . ? , , . EDR-, netflow :
, . , , , : (CVE). TI : , .
. , ( ). , TI . : , .
— , . , TI . :
. . , , : .
, , — . : ( ) . :
, , . , . , , - , . — , , .
. , CIRCL 1% 2% c digitalside botvrj , botvrj — 30% 1% c CIRCL digitalside ( , botvrj CIRCL - ).
OTX - Project TajMahal IBM X-Force Project TajMahal. , .
, - , . , , , . , TI. , Youtube- « » .
: , R-Vision Threat Intelligence Platform,
, RST Cloud