본문 바로가기
공부방/파이썬

python pandas 이용하여 apache_log.txt 파일을 CSV파일로 변환 하기 logparser

by 빵끗미 2022. 7. 8.
반응형

 

 

 

안녕하세요 빵끗미에요

 

 

인터넷을 뒤져가면서 apache_log파일을 csv파일로 변환하는 방법을 찾아보다가

 

판다스를 이용하는 방법을 찾았어요

 

판다스 사용방법을 잘 몰라서 다른 분들이 가이드 해놓은 부분을 읽어가면서 

 

찾아냈어요

 

파이썬에서 판다스 이용하여 로그 파일을 csv로 변환 저장하는 방법에 대하여 시작해볼게요

 

작성자는 주피터를 이용하여 테스트를 진행했어요

 

첫 번째 판다스 라이브러리 import 하기

ㄴ 판다스를 사용하기 위해서는 해당 라이브러리를 import 해줘야 해요

import pandas as pd

 

두 번째 로그파일 불러오기
ㄴ pd.read_csv() 함수는 csv 확장자 파일을 불러와 pandas에서 제공하는 데이터 프레임 형식으로 만들어 주는 함수예요

 pd.read_csv() 괄호 안에 파일 경로를 적어주시면 돼요

ㄴ delimiter=' '는 구분자를 공백으로 사용하고 있어요

log = pd.read_csv('D:/web_log/access.log.2022-07-03', delimiter=' ')


세 번째 로그파일을 csv 형식으로 변환하기

ㄴ to_csv() 함수를 사용하여 txt 파일을 csv파일로 변환할 수 있어요 괄호 안에는 저장될 파일 경로와 파일명을 적어주시면 돼요

log.to_csv('apache_log.csv', index=None)

 

 

 

 

 

완성 코드

import pandas as pd

log = pd.read_csv('D:/web_log/access.log.2022-07-03', delimiter=' ')
log.to_csv('apache_log.csv', index=None)

 

완성된 코드를 실행하게 되면 해당 경로에 apache_log.csv 파일이 생겨요

 

해당 파일 안에 아파치 로그가 정상적으로 들어가 있는지 확인해 볼게요

ㄴ csv 파일을 열게 되면 구분자 공백 기준으로 컬럼에 로그 기록이 들어가 있는 것을 확인돼요

 

 

짧은 시간에 판다스에 대하여 알아봤지만 너무 어렵네요

 

앞으로 포기하지 않고 공부 열심히 해서 데이터 분석할 수 있도록 노력해볼게요

 

 

반응형

댓글