본 과정은 텍스트마이닝을 위한 데이터수집에 대한 학습과정입니다. 영어나 또는 한국어 텍스트마이닝 및 텍스트분석을 위해서는 다양한 데이터를 수집해서 분석하는 경우가 많습니다. 이러한 데이터는 공개된 데이터를 기반으로도 하지만 목적이 있는 분석의 경우에는 대부분 직접 인터넷을 통해서 데이터수집을 해야합니다. 그러한 데이터수집을 어떻게 하는지에 대해서 학습하는 과정입니다.

 

▶교육대상

1. 데이터수집 학습에 부담을 가지는 학습자 

2. 빠른 시간에 데이터수집 및 관련 라이브러리를 배우고자 하는 자

 

▶학습내용

1. 크롤링을 하기 위한 Beautiful soup의 다양한 검색 방법 익히기(3)

2. 크롤링을 하기 위한 Beautiful soup의 다양한 검색 방법 익히기(4)

3. 웹사이트 HTML 내용 wb 모드로 파일 저장한 후 불러들여서 분석하기(1)

4. 웹사이트 HTML 내용 wb 모드로 파일 저장한 후 불러들여서 분석하기(2) - re 정규식 사용1

5. 웹사이트 HTML 내용 wb 모드로 파일 저장한 후 불러들여서 분석하기(3) - re 정규식 사용2

6. 웹사이트 HTML 내용 wb 모드로 파일 저장한 후 불러들여서 분석하기(4) - re 정규식 사용3

7. 포털 사이트에서 뉴스 기사 크롤링 실습(1)

8. 포털 사이트에서 뉴스 기사 크롤링 실습(2)

9. 포털 사이트에서 뉴스 기사 크롤링 실습(3)

10. 포털 사이트에서 뉴스 기사 크롤링 실습(4) - 기사 헤드라인만 정규식으로 추출하기

11. 포털 사이트에서 뉴스 기사 크롤링 실습(5) - 기사 본문 내용 추출하기

12. 포털 사이트에서 뉴스 기사 크롤링 실습(6) - 마무리

13. 포털 사이트에서 뉴스 기사 크롤링 실습(7) - 추가사항들1

14. 포털 사이트에서 뉴스 기사 크롤링 실습(8) - 추가사항들2

15. 실시간 포털 사이트 뉴스 기사 가져오기(크롤링 실습)

16. 실시간 포털 사이트 뉴스 기사 수집한 내용들 파일로 저장하기(1)

17. 실시간 포털 사이트 뉴스 기사 수집한 내용들 파일로 저장하기(2)

18. 수집된 텍스트데이터 파일 저장시 필요한 시간 모듈 time, datetime 알아보기(1)

19. 수집된 텍스트데이터 파일 저장시 필요한 시간 모듈 time, datetime 알아보기(2)

20. 수집된 텍스트데이터 파일 저장시 필요한 시간 모듈 time, datetime 알아보기(3)

21. 수집된 텍스트데이터 파일 저장시 필요한 시간 모듈 time, datetime 알아보기(4)

 

▶수료기준

항목	진도율	진행단계평가	최종평가	과제	수료점수
평가비율	100%	0%	0%	0%	60점이상
수료조건	80%	없음	없음	없음

※ 수료기준은 각 평가항목의 점수가 수료기준 점수 이상이고 총점이 60점 이상이어야 합니다.

-영어 및 한국어 텍스트 분석시 필요한 데이터수집을 인터넷으로 어떻게 하는지 학습하고 과정 이수 후 포털 사이트의 뉴스 기사 등을 스스로 할 수 있도록 목표한다