Notice
Recent Posts
Recent Comments
Link
«   2024/10   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31
Tags more
Archives
Today
Total
관리 메뉴

목록사전 (1)

NaggingMachine

형태소 분석기로 웹 문서 파싱하여 단어만 추출해보자

예전부터 웹 문서 파싱해서 분석하는 작업을 하려고 했는데, 한다한다하면서 미뤄오던걸 어떤(?) 계기가 있어서 시작하게 되었다. 그리고 그 결과를 다른 분들께 도움이 되고자 공유한다. 온라인 사이트의 단어들을 추출하는 간단한 과정을 수행하고자 한다면 다음과 같은 작업이 필요하다. 1. 웹 문서를 다운로드 받는다.2. 웹 문서에서 쓸데없는 태그를 제외하고 문장만 추출한다(소위 말하는 readability)/3. 형태소 분석기를 활용하여 단어를 추출한다.4. 만약 단어들을 분석하고자 한다면 DB에 저장한다(인덱싱). 우선은 어디까지 가능한지 간단하게 테스트해보기 위해서 오픈 소스들을 찾아봤는데, 아니나 다를까 2시간 정도만에 뚝딱 완성이 가능할 정도로 이미 많은 분들이 험난한 여정을 거쳤고, 그 결과를 확인할..
TechnoBabbler 2013. 7. 25. 17:33
이전 Prev 1 Next 다음