NaggingMachine

예전부터 웹 문서 파싱해서 분석하는 작업을 하려고 했는데, 한다한다하면서 미뤄오던걸 어떤(?) 계기가 있어서 시작하게 되었다. 그리고 그 결과를 다른 분들께 도움이 되고자 공유한다. 온라인 사이트의 단어들을 추출하는 간단한 과정을 수행하고자 한다면 다음과 같은 작업이 필요하다. 1. 웹 문서를 다운로드 받는다.2. 웹 문서에서 쓸데없는 태그를 제외하고 문장만 추출한다(소위 말하는 readability)/3. 형태소 분석기를 활용하여 단어를 추출한다.4. 만약 단어들을 분석하고자 한다면 DB에 저장한다(인덱싱). 우선은 어디까지 가능한지 간단하게 테스트해보기 위해서 오픈 소스들을 찾아봤는데, 아니나 다를까 2시간 정도만에 뚝딱 완성이 가능할 정도로 이미 많은 분들이 험난한 여정을 거쳤고, 그 결과를 확인할..

간단하게 작업해야하는게 있어서 형태소 분석기를 찾아봤다. 여기저기에서 만든 프로젝트들이 있고, 크게는 서울대와 KAIST에서 연구중인 프로젝트가 있는데, 꼬꼬마는 어딜봐도 사전을 찾기가 어려워서 사용하기를 포기. 그런데 KAIST에서 공개한 프로젝트, 한나눔 한국어 형태소 분석기 (HanNanum)에는 사전도 포함되어 있고 실제로 사전을 임의로 구축하기도 매우 쉬워서 확장 가능성도 높겠다 싶어서 사용해보기로 했다. 인상적인 부분은 workflow라는 구조를 채택해서 형태소 분석 자체를 플러그인 방식으로 처리하도록 했다. - 프로젝트 홈페이지: http://kldp.net/projects/hannanum- 다운로드: http://kldp.net/projects/hannanum/download- 블로그에서 ..

현재 올린 버그가 총 3040여개정도가 되는데, 큰 문제는 없고 (워낙 Windows라는 제품이 오래된 제품이고 그만큼 튜닝도 잘 되어 있으니) 군데군데 영문과의 차이로 인한 문제점들만이 있을 뿐이네요. Microsft가 올 연말에 Windows 7을 출시할 계획이라고 하는데 이번에는 정말로 Windows XP를 뒤엎을 수 있을만한 제품이 나올 수 있을거라고 기대하고 있습니다. 그나저나 윈도우는 보통 서비스팩 2가 나오기전까지는 기업에서 도입을 안한다는 불문율도 있다던데, Windows 7을 출시하면서 한달 간격으로 서비스팩 내 놓으면 내년 상반기에는 기업에서도 도입을 검토해 보겠네요. 하하하..

얼마전 "훈민정음의 비밀"이라는 책을 봤습니다. 도서관에 책 빌리러 갔다가 훈민정음에 관한 소설이라고 적혀있길래 빌려왔는데 블로그에 글을 남기고 다른 분들과 함께 읽고 싶을 만큼 재밌더군요. 부제에 있는 것처럼 세자빈 봉씨 살인사건에 관련된 내용인데, 실제로는 세자빈 봉씨의 살인 사건이라기 보다는 훈민정음 보급에 따른 당시 시대적 상황에 대한 사실적인 기록이 아닐까라고 생각을 해봤습니다. 소설의 내용이 약간 어려울것 같다구요? 전혀 그렇지 않습니다. 저처럼 역사에 거의 무지한 사람도 흥미롭게 봤을정도니까요. 구성도 치밀하고, 혹시나 나중에 영화로 나오게 되지 않을까라고 생각해봤습니다. 실제 책을 읽으면서는 영화의 장면들을 꿈꾸면서 읽었거든요. 구체적인 내용을 언급하면 그건 스포일러가 될테니 가볍게, 하지..