본문 바로가기

파이썬. 데이터분석119

type과 dtype 차이 https://velog.io/@nochesita/Fund-08.-Numpy-2 [Numpy] type()과 dtype()의 차이Numpy 넘파이 (2)velog.io   dtype은 ndarray 원소의 데이터 타입을 반환한다.반면 type(A)은 A의 데이터 타입을 반환한다. dtype은 알맹이에 있는 데이터타입, type은 그 변수 전체의 데이터 타입을 보는 것 2024. 7. 30.
파이썬 reshape [Python] reshape(-1,1)에서 -1의 의미?. arange()를 이용해서 1차원 배열 만들기 | by Sooyeon, Lee | Medium 2024. 7. 29.
혼공데 Yes24 책 페이지 정보 가져오기 request.get, BeautifulSoup 혼자 공부하는 데이터분석 116p~ 도서리스트 가져오기(이것도 도서200개인데, 이전에 실습한 자료랑 다른 데이터긴함)   requests 로 웹 페이지에 HTTP 요청을 보내고 웹페이지에서는 HTML 코드를 보내준다  requests.get(보내고 싶은 url주소)을 통해 웹 페이지에 요청을하고 응답온 거를 r 변수에 다시 넣는다.   그러면 이렇게 HTML 코드로 온다.  HTML 코드가 엄청 긴데 여기서 나는 YES24 상세페이지에 들어가는 태그를 찾아야된다.크롬 개발자 도구로 이거를 쉽게 찾을 수 있다.     크롬 창에서 F12누르면 바로 개발자 도구로 이동하고 (우측에 보이는 코드들이 다 HTML코드다)1번에 있는 버튼을 누르고(ctrl+shift+c) 웹페이지에 마우스 커서를 올리면 해당 부.. 2024. 6. 6.
find(), find_all(), .string, get_text() 링크 https://computer-science-student.tistory.com/234 [파이썬, Python] BeautifulSoup으로 크롤링(crawling)(1) - find(), find_all(), .string, get_text()BeautifulSoup Beautiful Soup은 HTML 및 XML 문서를 구문 분석하기위한 Python 패키지이다. HTML에서 데이터를 추출하는 데 사용할 수있는 구문 분석 된 페이지에 대한 구문 분석 트리를 만들며, 웹 스크래핑computer-science-student.tistory.com 설명 깔끔 2024. 6. 6.
혼공데 API 호출한 걸 DataFrame으로 url 변수에 링크주소(호출 URL)를 넣는다 URL이 HTTP GET 방식으로 파라미터 값을 전달하기 떄문에 URL을 requests.get() 함수에다 집어넣는다. get함수는  requests 패키지의 Response 클래스 객체를 반환한다.  json()메서드는 웹서버로 받은 JSON문자열을 → 파이썬 객체로 변환시켜준다    print(data)가 아니라 그냥 data를 입력하면 깔끔하게 구분해서 보여준다.data   response     requests     age     pageNo     .....     docs         doc data 딕셔너리 안에 resopnse 안에  age, pageNo, ... docs(얘는 리스트)  가 있다.docs 안에 또 doc가 여러개 있는 구.. 2024. 6. 2.
혼공데 fromstring, findtext, findall, pd.read_xml [2] 앞서 공부한 내용이 좀 부족한 것 같아서 부모 자식 자식 자식 엘리먼트인 경우도 한번 해봤다. 2024. 6. 2.
혼공데 도서관 사이트 API 호출하기 서론이 길었는데 이제 진짜 API활용하여 외부 사이트에서 데이터 가져오기 혼자 공부하는 데이터분석 102p~ https://www.data4library.kr/ 도서관 정보나루전국 서울 부산 대구 인천 광주 대전 울산 세종 경기 강원 충북 충남 전북 전남 경북 경남 제주 전체 영유아(0~5) 유아(6~7) 초등(8~13) 청소년(14~19) 20대 30대 40대 50대 60대 이상 전체 영유아(남) 영유www.data4library.kr 회원가입하고 로그인하고 인증키발급까지 요청하고 수락해주면 데이터를 받아볼 수 있다. 데이터활용-오픈API 활용 매뉴얼도 다운받고   매뉴얼에는 호출하는 방식(이런거를 HTTP GET 방식이라고 한다)코드, 코드설명 등등 가르쳐준다   authkey를 입력해야되는데 이거는.. 2024. 6. 1.
혼공데 fromstring, findtext, findall, pd.read_xml 혼자 공부하는 데이터분석 p96~  fromstring은 부모 엘리먼트를 뱉어낸다.정확히는 ElementTree 모듈아래 정의된 Element클래스의 객체 ※엘리먼트(Element)는 위에 이 부모 엘리먼츠.일반적으로 엘리먼트는  2022 처럼 시작태그>내용까지를 엘리먼트라 한다.   A는 book이라는 Element tag를 달아주면 엘리먼트 이름을 알 수 있다 findtext는 자식 엘리먼트를 탐색한다   findall는 지정한 태그명과 일치하는 모든 하위 엘리먼트를 찾아 리스트로 반환한다.    B의 부모 엘리먼트는 books다        순환문을 이용해서 자식 엘리먼트 모두 불러오기    그냥 가장 간단한 방법.. 2024. 6. 1.