django-structlogのログとJupyter Notbookで、ログ解析・セキュリティー対策をした方法を紹介

import matplotlib.pyplot as plt
import json as json

## ログファイルを指定
f = open('C:\\Users\\xxxxx xxxxx\\Downloads\\MyDocs\\Study\\DataScience\\BlogAccess\\access.json', 'r', encoding="utf-8")

row_no = 0

## ループ
while True:

    ## ファイルを読み取る
    line = f.readline()

    if line:

        ## 1行ずつjson形式のString型ログをjson型に変換
        json_str = json.loads(line)        

        ## 1行ずつ必要な項目のみ抽出し、[ key、value ]の2次元配列に格納（子配列）
        dict["ip"] = json_str["ip"]
        dict["ts"] = json_str["timestamp"]
        dict["id"] = json_str["request_id"]
        dict["req"] = json_str["request"]
        #print(row_no, ": ", dict)


        ## [ key、value ]の2次元配列に格納（親配列）
        dictWrap[row_no] = dict
        row_no=row_no+1

        ## 配列を初期化
        dict = {}

    else:
        print(row_no, ":", line)
        break


## [ https://lab.syncer.jp/Tool/JSON-Viewer/ ]で配列の形式と整合性を確認
json = json.dumps(dictWrap)
#print(json)


bad_ip_list = []
bad_req_list = []


## 自分のスマホやPCのIPを除外したいので、予めここでリストに渡しておく
## IPはここで確認可能　[ https://www.cman.jp/network/support/go_access.cgi ]
myIPs = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"]

## 検索ワードを格納
searchWords = ['php', 'PHP', '?', 'login', 'admin']

## jsonデータの多次元配列を1つずつ回していく
for k, v in dictWrap.items():

    ## 各項目を変数に代入
    ip  = v["ip"]
    ts  = v["ts"]
    id  = v["id"]
    req = v["req"]

    ## reqから各検索ワードリストを含むログを探す
    for word in searchWords:
        if word in req:

            if ip in myIPs:
                #print("自分：　" + ip)
                continue
            else:

                ## 悪意あるIPアドレスを重複なく格納
                if ip not in bad_ip_list:
                    bad_ip_list.append(ip)
                    print("【BAD_IP 】：　" + ip + "【REQUEST】：　" + req)    

                ## 悪意あるリクエストを重複なく格納
                if req not in bad_req_list:
                    bad_req_list.append(req)
                    print("【BAD_REQ】：　" + req)


    ## トータルのアクセスIP情報を追加で格納していく
    all_ip_list.append(ip)


    ## 変数を初期化
    ip = ts =  id = req = ""


## set関数でリスト型を集合型に型変換して重複を無くす
ip_list = set(all_ip_list)


print('■特定IPアドレス　アクセス回数：　\n　　( xxx.xxx.xxx.xxx )　-->　{}回'.format(all_ip_list.count('xxx.xxx.xxx.xxx')))
print(f'■アクセスIPアドレス総数： \n　　{len(ip_list)} 個')
print(f'■アクセスIPアドレス一覧： \n　　{ip_list}')

server {
    listen  443 ssl;
    server_name  yuki-yamashita.site;
    ssl_certificate         ******************************************************;
    ssl_certificate_key     ******************************************************;

    ...

    # BLOCKED IPs LIST
    deny xxx.xxx.xxx.xxx;
    deny xxx.xxx.xxx.xxx;
    deny xxx.xxx.xxx.xxx;
    deny xxx.xxx.xxx.xxx;
    deny xxx.xxx.xxx.xxx;

    ...

    }
    

# systemctl restart nginx

# または、systemctl reload nginx