본문 바로가기

분류 전체보기273

SQL로 어떻게 데이터를 가져오는지 sql을 배워야겠다는 생각이 든게, 엑셀은 데이터가 몇만행이 되면 파일이 무거워지고 일이 안되는 경우가 많다. 근데 sql은 어떤 데이터창고?DB?에서 마음대로 꺼내올수 있다는 식으로 얘기를 해서 관심을 갖게 됐는데, 어떻게 가져오는지 모르겠다. 개발자한테 요청해야되나? 답변 https://brunch.co.kr/@minu-log/4 데이터 분석, SQL만 잘 다뤄도 먹고 들어갑니다. 데이터를 분석하려면 데이터 추출부터 | (개인 웹사이트(링크)에 재발행했습니다.) 이전 글(마케터의 데이터 분석 공부, 어디부터 시작해야 하나요?)에서 데이터 분석을 깊게 공부하고 싶은 분이 brunch.co.kr 회사 대부분의 모든 데이터는 SQL형식으로 저장되어있다고 한다. 어떻게 가져오는지는 그 회사직원만 알 것 같다.. 2022. 6. 12.
Pandas DataFrame : merge, join Merge는 유용해보인다. join은 쓸모없어보인다. join은 거의 쓸 일이 없을것 같으므로 마지막에 간단하게 설명합니다. 코드잇 데이터분석 11.데이터합치기 left right full outer inner 예시 left와 right의 차이 중요한점 1. 밑에보면 하나는 df1,df2 left고 나머지 하나는 df2, df1 right다 둘다 df1중심이라 결과는 같을것 같지만 자세히보면 column순서가 바뀐다. 중요한점 2. merge는 겹치는 column을 알아서 없애주는데 concat은 단순히 합치는거라서 겹치는 column('Korean Name')이 생긴다. 밑에보면 Korean Name이 2개 Join Merge는 눈치있게 알아서 value를 기준으로 합쳐주는데, Join은 index를 .. 2022. 6. 11.
데이터 공유 사이트 국내 사이트 서울열린데이터광장 https://data.seoul.go.kr/ 공공데이터포털 https://www.data.go.kr e-나라지표 http://www.index.go.kr/ 국가통계포털 http://kosis.kr 서울특별시 빅데이터 캠퍼스 https://bigdata.seoul.go.kr/ 통계청 http://kostat.go.kr/ 통계청 kostat.go.kr 해외 사이트 구글 데이터 검색 https://toolbox.google.com/datasetsearch 캐글 https://www.kaggle.com/datasets Awesome Public Datasets Github https://github.com/awesomedata/awesome-public-datasets Data .. 2022. 6. 9.
CSV 파일 만드는법 코드잇 문제풀이할때 웹에서 푸는건 좀 별로고 주피터 노트북에서 풀고싶어졌고, 어떻게 데이터를 끌고올까 생각하다 찾게됐다. https://ko.wikihow.com/CSV-%ED%8C%8C%EC%9D%BC-%EB%A7%8C%EB%93%9C%EB%8A%94-%EB%B0%A9%EB%B2%95 CSV 파일 만드는 방법 CSV(comma separated values, 쉼표로 값이 구분된 데이터) 파일은 데이터를 표 형식으로 저장할 수 있어 대규모 데이터베이스를 관리해야 할 때 유용하다. CSV 파일은 마이크로소프트 액셀, 오픈오피스 Ca ko.wikihow.com 2번에 메모장방식을 사용했다. data에 있는 자료를 통째로 복사해서 메모장에 붙여넣기하고 다른이름으로 저장-> 끝에 .csv만 붙여주면 그냥 csv.. 2022. 6. 9.
6/8 코딩공부의 어려운점 오늘 배운것 : 코드잇 데이터사이언스 - 데이터클리닝 6강까지 봤다. 박스plot에서 어떻게 이상값을 제거하는지 공부함 항상 공부할 떄 마다 느끼는 점이 수업듣고 공부하는 시간보다 그 외 잡시간이 너무많이 소요되는 것 같다. 오늘은 갑자기 코드잇에서 주는 데이터가 다 깨져서 나오고. 검색해도 답이없다 csv파일 인코딩문제인것 같은데 메모장으로도 해보고 csv파일열기로도 해보고 엑셀파일로도 저장해봤는데 다 안된다. 항상보면 이런거 때문에 속도가 느려지는 것 같다. 수업그대로 따라해도 잘 안될떄가 있고, 내가 좀 응용하려고 하면 또 안되고... 모를때마다 바로 옆에있는 사람이 딱딱 가르쳐주면 효율이 5배는 오를 것 같은데, 인터넷에 검색하는 시간도 오래걸리고 이걸 직접해보려는데 막히고 '왜 이러지..하..'.. 2022. 6. 8.
코드잇 사이트 후기(전체) https://www.codeit.kr/ 코딩이 처음이라면, 코드잇 월 3만원대로 Python, JavaScript, HTML/CSS, Java 등 2,600개 이상 프로그래밍 강의를 무제한 수강하세요 www.codeit.kr 완강 : 컴퓨터 개론, 프로그래밍 기초 in Python 데이터 사이언스는 후반부 html 쪽 제외하고는 다 들었고, 업무자동화는 2번째 토픽인 OS 라이브러리는 안듣고 1번째 토픽만 들었다. 코드잇을 처음 구독한게 4/11일. VBA는 강의가 마땅히 마음에 드는게없어서 거의 책보고 공부했는데 파이썬은 자료, 강의가 풍부하니까 강의를 듣기로 마음먹었다. 선택장애가 있어서 구글에 '파이썬 강의'쳐서 관련 사이트는 다들어가봤다. 그 중에서 코드잇을 선택한 이유 1. 일단 가격이 저렴했.. 2022. 6. 6.
인코딩(글자 깨지는 문제) 출처 : https://www.youtube.com/watch?v=ABPOjjre0C8 제목 : 문자 인코딩 초간단 개념 정리 (UTF-8, 아스키, 유니코드...) 뷁갌앓젏. 살다보면 이런글자를 많이보고 아까도 CSV파일을 여는데 파일 글자가 깨져서 검색후 찾아보게됨. 영상 요약 : '문자표'라는 개념을 먼저 이해해야된다. 기계끼리는 당연히 숫자로 이야기한다. 그래서 한글로 print하려면 숫자로 말해줘야된다. ex) '1이 입력되면 '가'라는 글자를 모니터에 print시켜라' 처럼. 근데 컴퓨터끼리도 말이 다를 수 있어서 이걸 표준화시켜야되는데 이게 '문자표' 아스키코드(문자표)같은 초창기때만해도 영어만썼고 개발자들이 많지않아서 표준화하기 쉬웠는데, 이젠 언어도 많아지고 개발자들도 많아져서 통일하기가.. 2022. 6. 5.
22/6/3 오늘생각 코딩 관련하여 배울게 진짜 많다. 데이터분석, 데이터시각화, 데이터전처리, 사무자동화, 파이썬, SQL, 태블로, 라이브러리 활용하는법 디버깅하는법 데이터추출하는법........ 정말 많고 복잡한데 오히려 그래서 기대가 되기도하고 걱정도 된다. 어제도 쥬피터노트북 하는데 글자하나 틀렸다고 작동이 계속안되는데 한숨나옴. 파이참처럼 친절하지도않고 나중에 실무에서 활용할 때 얘떄문에 얼마나 머리아플지 벌써 걱정됨. 패스트캠퍼스에서 50%쿠폰줘서 이걸로 직장인 데이터분석 강의살려고 생각중. 결제수단 뭘로할지만 고르면됨 월욜날 100% 페이백쿠폰주면 엑셀강의사서 서식양식부터 다운받아야겠다 코드잇 11일날 구독해놓은거 해지되니까 데이터분석 일단 다봐야됨 2022. 6. 3.

티스토리툴바