- Korea times
- 끌리면 오라...BGM 광고음악 라이브러리
- KartOO visual meta search engi…
- E-Book
- Channel9
- MSDN
- 여리의 작업실
- 유경상의 .NET 블로그
- window 쪼물딱 거리기
- 블루 홈(소현이 누님)
- IT 관련 전반 내용(정환이네)
- 비너스의 정보 공유(유틸리티들)
- 형기의 자료공간(디지털ERA에서 콘텐츠ERA로)
- EzineArticles (여러 분야의 글들이 올라옴)
- Relationship을 보여주는 라이브러리
- OpenRCE
- 젠틀의 블로그(무선 통신의 모든것)
- 헐랭이와 IT보안
- 워니. 추억ㅇㅔ ㅂㅣ추ㅇㅓ.
- Computer Forensics
- 토익 광장(YBM)
- Korea Times 이용하기
- Larkware Software
- TCP/UDP
- Black Hat
- DEF CON
- Slashdot
- ReallyUsefulEbooks.com Update
- 실리콘밸리 뉴스
- Application Development Trends
- Visual Studio Hacks
- MIT OCW
- Redmond Developer News
- SecurityFocus
- Microsoft Window Hacking Porta…
- Darknet - Don't Learn to Hack …
- Windows Tips, Tricks and Hacks
- Hack In the Box
- (IN)SECURE Magazine
- SuperSite Windows Vista
- Government Security
- Life is Still Talking (Good)
- PHRACK
- Found+Read(resource for startu…
- Jonathan Boutelle
- Venture Hacks
- 스마트플레이스
- All about Intellipedia
- Undocumented Windows 2000 Secr…
- HexBlog (Decompiler)
- TED (Ideas worth spreading)
- Crash Dump Analysis and Debugg…
- Rootkit
- DDK Developers(MS)
- 미친 감자의 블로그
- The Art of Assembly Language
- Chpie (키보드 후킹)
- Drivers Online
- (음악) Delicate SONG
- Reverse Engineering Community
- Software Best Practices
- Sara Ford's WebLog
- Cheat Happens
- Debugging,Unpacking,Assembling…
- 윤석찬님 블로그
- OK 괜찮아 다 잘 될거야
- RingBlog
- Art Life :: 하늘소
- IT's Paradise
- John Robbins!
- Wintellect
- Hacked Gadgets
- 소프트웨어 이야기
- Ryan Naraine's Zero Day
- VULN
- Stay Secure
- EBS 영어 공부(블루워터)
- 101BLoG : "Bright Size Life" o…
- Hacker Challenge
- Hackers Center
- White Hat, Chicago Con
- Ethical Hacker Network
- ChaseNet (Security)
- TechTarget
- Entrepreneur
- Infopackets
- Popular Science
- Dark Reading - The Business of…
- How Stuff Works
- codeDriver - Crack (역공학)
- Gadget (Windows)
- Serious Code
- Iguacu Blog(블루문)
- SecurityProof
- Power of Community(Hacker)
- Crack ?
- Security Freak
- Data Network Resource
- FoundStone - Security Consulti…
- Google Online Security Blog
- (BOOK) Cool DogBooks
- SachaBarber (좋은 개발자)
- System Software Incorporation
- 스카이 벤처
- NewsTorrent
- 글로벌 IT 네트워크
- Ethical Hacking and Infosec
- Realms of Hacking tricks
- CodeBreakers Journal
- Anti Rootkit Blog
- The Reverse Code Engineering C…
- Anti-Debug Tools
- Reverse Code Engineering Video…
- Damn Vulnerable linux
- Security Problems
- French Reverse Engineering Tea…
- Monac
- Open Source Vulnerability Data…
- Viruschaser 검사(바이러스)
- Windows Tips
- 보안 대처 연습
- [Download] Kartz CD
- [Download] FlMS Download
- [Download] DDL2
- 중국 해킹 사이트(안전중국)
- 바이러스 분석
- Javascript 전문가
- Virus Alert Zone (바이러스 분석)
- Computer World
- 문스랩닷컴(보안)
- Unpack China
- Black Storm Reverse Engineerin…
- 역공학 Reverser
- 문화 망명지 - 시, 소설
- WPF MVP
- Research Channel
- The Problem Solver - C# MVP
- Reversing - 리버스 엔지니어링
- Nigel Spencer's Blog (.NET)
- Kirill Osenkov (.NET C# IDE Te…
- H33T (BitTorrnet 검색 사이트)
- ITL (해킹, 보안)
- ITL (Invisible Things Lab) Blo…
- ebook, pdf, chm
- 주식 - 멘토클리닉
- CherryLove - 바이러스, 백신, 악성코드
- PMP
- 영원한 해커, hacker
- 리버싱, PE
- 신호철 - dsphome
- TechEd 2009
- SHOUT
- [도서] 오디오북
- [도서] 전자책
- [도서] 국내도서요약
- [도서] 해외도서요약
- TopCorder - 프로그래밍 연습
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- .NET Framework
- 역공학
- hacking
- VSTS 2010
- Windows 7
- Visual Studio
- 비주얼 스튜디오
- 해킹
- 구글
- 디버깅
- WPF
- english
- 마이크로소프트
- 비주얼스튜디오
- 보안
- 디버그랩
- security
- C#
- .net
- VSTS
- 닷넷
- visual studio 2010
- MVP
- Microsoft
- Windows
- 책
- debugging
- .net framework 4
- Today
- Total
NaggingMachine
Google AppEngine의 데이터를 export 하는 방법 본문
Google AppEngine의 데이터를 Export 하는 방법은 어렵다. 어려워도 너무 어렵다. 왜 이렇게 어렵게 만들어 놓았는지 모르겠지만, 너무 어렵다. 하지만 방법이 없지는 않다. 원한다면 다양한 방법으로 export할 수 있다.
우선 구글이 추천하는 방법이 있다.
https://developers.google.com/bigquery/articles/datastoretobigquery
구글에서도 알고 있듯이 일반적인 패턴은 DataStore에 데이터를 생성한 다음, 만들어진 데이터를 분석하기 위해서 아마도 BigQuery와 같은 쿼리 기반의 데이터 저장소로 옮겨야 할 것이다. 그런데 이게 방식이 좀 어려운게 DataStore에서 스키마를 작성하는 것만으로도 곧바로 BigQuery로 넘어가면 좋으련만 그렇게 되지 않고, DataStore -> Cloud Storage -> BigQuery 이런식이다. 그러니까 DataStore에서 Cloud Storage로 export하고, BigQuery가 Cloud Storage에서 데이터를 import하는 방식이다. 여기에 추가적으로 권한 문제까지 있어서 Google API Console등에서 권한을 적절하게 설정하지 않으면(권한 설정하려면 Billing까지 등록해야 한다. ㅠㅠ), 실행되지가 않으므로 주의해야 한다.
다행히도 구글이 이를 위한 아주 간단한 툴을 제공하고 있다는 소식이다! 베타테스터로 등록하면 사용해볼 수 있다고 하는데, 나도 등록 신청을 했다
https://docs.google.com/spreadsheet/viewform?formkey=dHdpeXlmRlZCNWlYSE9BcE5jc2NYOUE6MQ
그런데 이 방법 말고 그냥 DataStore에서 Cloud Storage로 export한 다음 그걸 로컬로 불러들여와서 분석하는 방법도 있다. 하지만 이것도 간단하지는 않다.
http://gbayer.com/big-data/app-engine-datastore-how-to-efficiently-export-your-data/
여기에 추가적으로 GAE에서 생성한 로그를 export해야하는데(로그는 소중하니까), 이 방법도 여의치가 않다. log2bq라는 툴이 있다. 그런데 구글이 제공한 log2bq는 여러가지 제약 사항이 있어서 이를 개선한 오픈소스 프로젝트를 개발해봤다. l2bq(https://github.com/kevinseo/l2bq)인데 자바로 되어 있다. 하지만 전체적인 논리를 이해하는데에는 큰 무리가 없을 것이다.
'TechnoBabbler' 카테고리의 다른 글
Snake Traverse 문제 (0) | 2013.12.19 |
---|---|
Global company의 Global Promotion 작업을 마무리 하며... (0) | 2013.12.13 |
ElasticSearch를 이용한 PDF와 Word 문서 검색 서비스 만들기 (0) | 2013.12.01 |
AppInventor2 소스 코드 구동시키기 (0) | 2013.10.21 |
Facebook App을 이용해서 Wall에 글쓰기 How write to Facebook wall via Facebook App (0) | 2013.09.23 |