전체 글273 혼공데 Yes24 책 페이지 정보 가져오기 request.get, BeautifulSoup 혼자 공부하는 데이터분석 116p~ 도서리스트 가져오기(이것도 도서200개인데, 이전에 실습한 자료랑 다른 데이터긴함) requests 로 웹 페이지에 HTTP 요청을 보내고 웹페이지에서는 HTML 코드를 보내준다 requests.get(보내고 싶은 url주소)을 통해 웹 페이지에 요청을하고 응답온 거를 r 변수에 다시 넣는다. 그러면 이렇게 HTML 코드로 온다. HTML 코드가 엄청 긴데 여기서 나는 YES24 상세페이지에 들어가는 태그를 찾아야된다.크롬 개발자 도구로 이거를 쉽게 찾을 수 있다. 크롬 창에서 F12누르면 바로 개발자 도구로 이동하고 (우측에 보이는 코드들이 다 HTML코드다)1번에 있는 버튼을 누르고(ctrl+shift+c) 웹페이지에 마우스 커서를 올리면 해당 부.. 2024. 6. 6. 주피터 노트북 괄호안에서 엔터(줄바꾸기) 단축키 없나 파이참에 진짜 편한 단축키가 있었는데Shift + Enter였나?코드를 입력하다가 괄호닫을 필요없이 그냥 단축키 누르면 바로다음행으로 넘어가는게 있었는데 검색해도 안뜸 2024. 6. 6. find(), find_all(), .string, get_text() 링크 https://computer-science-student.tistory.com/234 [파이썬, Python] BeautifulSoup으로 크롤링(crawling)(1) - find(), find_all(), .string, get_text()BeautifulSoup Beautiful Soup은 HTML 및 XML 문서를 구문 분석하기위한 Python 패키지이다. HTML에서 데이터를 추출하는 데 사용할 수있는 구문 분석 된 페이지에 대한 구문 분석 트리를 만들며, 웹 스크래핑computer-science-student.tistory.com 설명 깔끔 2024. 6. 6. 혼공데 API 호출한 걸 DataFrame으로 url 변수에 링크주소(호출 URL)를 넣는다 URL이 HTTP GET 방식으로 파라미터 값을 전달하기 떄문에 URL을 requests.get() 함수에다 집어넣는다. get함수는 requests 패키지의 Response 클래스 객체를 반환한다. json()메서드는 웹서버로 받은 JSON문자열을 → 파이썬 객체로 변환시켜준다 print(data)가 아니라 그냥 data를 입력하면 깔끔하게 구분해서 보여준다.data response requests age pageNo ..... docs doc data 딕셔너리 안에 resopnse 안에 age, pageNo, ... docs(얘는 리스트) 가 있다.docs 안에 또 doc가 여러개 있는 구.. 2024. 6. 2. 혼공데 fromstring, findtext, findall, pd.read_xml [2] 앞서 공부한 내용이 좀 부족한 것 같아서 부모 자식 자식 자식 엘리먼트인 경우도 한번 해봤다. 2024. 6. 2. 혼공데 도서관 사이트 API 호출하기 서론이 길었는데 이제 진짜 API활용하여 외부 사이트에서 데이터 가져오기 혼자 공부하는 데이터분석 102p~ https://www.data4library.kr/ 도서관 정보나루전국 서울 부산 대구 인천 광주 대전 울산 세종 경기 강원 충북 충남 전북 전남 경북 경남 제주 전체 영유아(0~5) 유아(6~7) 초등(8~13) 청소년(14~19) 20대 30대 40대 50대 60대 이상 전체 영유아(남) 영유www.data4library.kr 회원가입하고 로그인하고 인증키발급까지 요청하고 수락해주면 데이터를 받아볼 수 있다. 데이터활용-오픈API 활용 매뉴얼도 다운받고 매뉴얼에는 호출하는 방식(이런거를 HTTP GET 방식이라고 한다)코드, 코드설명 등등 가르쳐준다 authkey를 입력해야되는데 이거는.. 2024. 6. 1. 이전 1 ··· 4 5 6 7 8 9 10 ··· 46 다음
