공부기록/파이썬14 03-1 혼공 파이썬 데이터 분석 불필요한 데이터 삭제하기 데이터정제: 수집된 데이터에서 잘못된 부분을 고치거나 제거하여 필요한 데이터를 준비하는 과정 데이터 올바르게 정제되지 못하면 분석된 결과 왜곡될 수 있음 데이터 랭글링(데이터 먼징):데이터 정제하는 과정과 분석 및 머신러닝에 적합한 형태로 데이터를 변환하는 과정 원소별 비교: 판다스의 데이터프레임과 인덱스를 하나의 값과 비교하면 데이터프레임과 인덱스에 있는 모든 원소와 비교 비교한 결과는 True 또는 False 로 이루어진 불리언 배열로 반환 넘파이:파이썬의 대표적 다차원 배열 판다스의 데이터프레임과 달리 한 종류의 데이터만 담을 수 있지만 매우 효율적이며 높은 성능 파이썬의 다른 과학 패키지와 호환성이 높으며 기본 데이터 구조로 널리 사용 [핵심함수와 메서드] DataFram.. 2023. 7. 26. Chapter02-2 혼공 파이썬 데이터 분석 웹스크래핑 사용하기 웹스크래핑:웹사이트에서 필요한 데이터 추출하는 기술 사용하기 먼저 공개API를 통해 사용할 수 있는지 확인 필요 뷰티풀수프:HTML문서 파싱하는데 사용하는 대표적 파이썬 패키지 Requests 패키지로 가져온 HTML에서 원하는 태그나 텍스트를 찾는 기능을 제공 핵심 함수와 메서드 Loc:레이블 또는 불리언 배열로 데이터 프레임의 행과 열을 선택 정수로 지정하면 인덱스의 레이블로 간주 불리언 배열로 지정할 경우 배열의 길이는 행 또는 열의 전체 길이와 같아야 한다 BeautifulSoup.find():현재 태그 아래의 지식 태그 중에서 지정된 이름에 맞는 모든 태그 찾는다 찾은 태그가 없을 경우 None 반환 BeautifulSoup.find.all():현재 태그 아래의 자식 태그 중.. 2023. 7. 24. Chapter02-1 혼공 파이썬 데이터 분석 API사용하기 API: 프로그램 간 데이터 전달하기 위해 정한 규칙 HTTP:웹 페이지를 전송하기 위한 통신 규약 HTML:웹 페이지 문서 (HTML같은 언어를 마크업,와 같은 표시를 태그) 파이썬에서 JSON 데이터 다루기 JSON:데이터 전달 포맷(HTML,XML보다 사람이 읽기 편하고 간단하게 파이썬 객체로 변환 가능) (JSON형식은 키와 값에 큰따움표 사용,파이썬은 큰따움표 작은따움표 둘다 사용 가능) (JSON문자열을 파이썬 프로그램에서 사용하려면 다시 파이썬 딕셔너리로 바꾸어야 함) 문자열이 긴 경우 세겹따옴표(""")사용해 여려 줄에 걸친 문자열 만듦 d4_str = """ [ {"name": "혼자 공부하는 데이터 분석", "author": "박해선", "year": 2022}, {"na.. 2023. 7. 24. Chapter01-1 혼공 파이썬 데이터 분석 데이터분석이란? 1.구글 코랩:구글 계정 소유자 누구나 사용가능한 웹 브라우저 기반 파이썬 코드 실행 환경 2.마크다운 서식_HTML과 같이 일반 텍스트로 서식있는 문서를 작성하는데 사용 #제목1:태그와 동일 **혼공분석**:글자 굵게 *혼공분석*,_혼공분석_:글자 기울임꼴 ~~혼공분석~~:취소선 추가 'print("hello world!")':코드 서체 > 혼공분석:들여쓰기 *혼공분석,-혼공분석:글머리기호 [미디어](http://~~~):링크 만들기 :이미지 추가 $ y=x \times z$:레이텍 추가 3.도서 데이터 찾기 실습 코랩에서 데이터 확인_ csv파일은 콤마(,)로 구분된 텍스트 파일,한 줄이 하나의 레코드,레코드는 콤마로 구성된 여러 필드로 구성 코랩에서 .. 2023. 7. 24. 이전 1 2 3 4 다음