본문 바로가기

머신러닝16

[강연 및 세미나] : 모두를 위한 ML / Data, ML, Service, and Platform 모두를 위한 ML / Data, ML, Service, and Platform 참석일 : 21.12.29 유형 : 실시간 온라인 강연 주제 : 머신러닝과 데이터 이야기 발표자 : 박종천 님 참고 링크 : https://okky.kr/article/1123562 OKKY 커뮤니티에서 박종천님이 발표하는 머신러닝과 데이터에 관한 세미나에 참석했다. 머신러닝과 데이터 분석에 관심은 있지만 평소에 잘 모르는 부분이 많기도 했고 아직은 시기상조인 것 같아서 디테일하게 접근해 본 적이 없기 때문에 이 기회에 뼈대라도 세워두자라는 마음으로 신청을 하게 되었다. 우선, 말씀이 매우 빠르시다. 덕분에 알찬 강의가 되었지만 놓치는 부분이 있을까봐 조마조마 하면서 정신 바짝 차리고 들었다. 강의 순서가 너무 좋았다. 머신러.. 2021. 12. 29.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 분석 기초 테이블을 파일에 저장하자. [파이썬 머신러닝 실무 테크닉 100] : 분석 기초 테이블을 파일에 저장하자. 분석 기초 테이블을 파일에 저장하자. 가공한 데이터를 파일에 저장한다. output_dir = os.path.join(current_dir, 'output_data') os.makedirs(output_dir, exist_ok=True) os의 path.join()로 조인한다. os의 makedirs()를 통해 폴더를 만들어준다. 폴더가 존재하면 에러가 발생 exist_ok=True 설정으로 방지 가능 output_file = os.path.join(output_dir, 'order_data.csv') order_data.to_csv(output_file, index=False) os의 path.join()로 조인한다. in.. 2021. 12. 29.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 마스터가 존재하지 않는 코드에 이름을 설정하자 [파이썬 머신러닝 실무 테크닉 100] : 마스터가 존재하지 않는 코드에 이름을 설정하자 마스터가 존재하지 않는 코드에 이름을 설정하자 마스터가 제공되지 않아 값은 볼 수 있지만 무엇을 의미하는지 알 수 없다. order_data.loc[order_data['takeout_flag'] == 0, 'takeout_name'] = 'delivery' order_data.loc[order_data['takeout_flag'] == 1, 'takeout_name'] = 'takeout' order_data takeout_flag가 0이면 delivery, 1이면 takeout으로 takeout_name에 설정한다. order_data.loc[order_data['status'] == 0, 'status_name.. 2021. 12. 28.

[TIL] : 60 일일 배움을 위한 Today I Learned ! 소경관 프로젝트를 진행하면서 갑자기 바뀐 사항에 대해 정리했다. 머신러닝 파이썬 머신러닝 책을 읽으면서 기초에 대한 실습은 가능하면 다 진행하려 한다. 기초를 오늘도 진행했고 공부하고 정리했다. 메리크리스마스 오늘은 크리스마스다. 공부는 이따 저녁에 조금 더 하던가 하고 일단은 여기서 마친다. 요즘 공부하는 책 두 권을 맨날 번갈아보면서 천천히 읽으니까 살짝 답답해서 스프린트에 대한 독서용으로 읽을 책을 서점에서 구매할까 한다. 책이 비싸지기도 했고 동영상 강의나 책이나 지식을 배우는데 돈을 아끼는 스타일이 아니지만 책 두 권만 사도 요즘은 6만원이다.. 너무 비싸서 책을 고르는 게 전보다 더 신중해졌다. 구독하는 책 어플은 대부분 소설이나 베스트 셀러 .. 2021. 12. 25.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 마스터가 존재하지 않는 코드에 이름을 설정하자 [파이썬 머신러닝 실무 테크닉 100] : 마스터가 존재하지 않는 코드에 이름을 설정하자 마스터가 존재하지 않는 코드에 이름을 설정하자 마스터가 없어 값을 볼 수 없는 값이 있다. order_data.loc[order_data['takeout_flag'] == 0, 'takeout_name'] = 'delivery' order_data.loc[order_data['takeout_flag'] == 1, 'takeout_name'] = 'takeout' order_data takeout_flag의 경우에 따른 이름을 설정한다. 0인 상황일 시 delivery 1인 상황일 시 takeout order_data.loc[order_data['status'] == 0, 'status_name'] = '주문 접수' .. 2021. 12. 25.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 마스터 데이터를 조인하자 [파이썬 머신러닝 실무 테크닉 100] : 마스터 데이터를 조인하자 마스터 데이터를 조인하자 데이터를 가로로 결합한다. 조인을 하면 데이터가 연결되므로 분석이 더 쉬워진다. order_data = pd.merge(order_data, m_store, on = 'store_id', how = 'left') order_data 두 데이터를 조인한다. on = 을 통해 연결할 값을 가로로 결합할 수 있다. how = 를 통해 두 데이터 중 어느 데이터를 주죽으로 할 것인지 결정한다. order_data = pd.merge(order_data, m_area, on='area_cd', how='left') order_data 도서명 : 파이썬 머신러닝 실무 테크닉 100 출판사 : Jpub (제이펍) 학습 페이지.. 2021. 12. 25.

[TIL] : 59 일일 배움을 위한 Today I Learned ! 소경관 개인 프로젝트를 진행하는데 문제가 많다. 우선 오늘은 어제 이어서 Ubuntu에서 MongoDB 계정 설정을 마쳤고, Robo 3T를 이용해서 외부 접속을 성공시켰다. 근데 문제가 생겼는데 log4j 취약점 관련 사항 때문에 교수님이 프로젝트를 바꿔서 적용시키라고 하셨다. 공지로 필수로 바꿔서 개발하라고 되어 있기 때문에 프로젝트 변경을 일단 했고 내일 천천히 고쳐나가면서 시작하면 될 것 같다. 아직 개발을 본격적으로 못 하고 있는 게 아이디어 구현이 머릿속에서 구체적이지 않은 탓인 것 같다. 2021.12.24 - [Project/소경관] - [소경관] : Ubuntu MongoDB root 계정 설정 및 Robo 3T 외부 접속 오류 노트 프로.. 2021. 12. 24.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 불필요한 데이터를 제거하자 [파이썬 머신러닝 실무 테크닉 100] : 불필요한 데이터를 제거하자 order_data = order_all.loc[order_all['store_id'] != 999] order_data 필요하지 않은 정보를 제거한다. 도서명 : 파이썬 머신러닝 실무 테크닉 100 출판사 : Jpub (제이펍) 학습 페이지 : 18, 19 해당 글의 실습 예제와 코드는 파이썬 머신러닝 실무 테크닉 100 책을 참고하고 있습니다. 출판사에 허락을 받고 올리는 글 입니다. 참고 2021.12.23 - [프로그래밍언어/Python] - [Python] : [파이썬 머신러닝 실무 테크닉 100] : 머신러닝 공부를 시작한다. 2021. 12. 24.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 데이터 통계량을 확인하자 [파이썬 머신러닝 실무 테크닉 100] : 데이터 통계량을 확인하자 데이터 통계량을 확인하자 하나로 모은 데이터를 확인한다. 결손값을 확인해야 한다. 결손값이 있다면 집계, 머신러닝에 큰 영향을 준다. order_all.isnull().sum() isnull() 함수를 통해 결손값의 수를 출력한다. True/Flase 형태로 값을 반환한다. True의 수를 열마다 sum() 함수로 집계한다. order_all.describe() describe() 함수를 통해 통계량을 출력합니다. 수치 데이터를 집계하기 때문에 데이터 타입이 수치면 모두 집계한다. order_all['total_amount'].describe() 확인하고 싶은 부분만 집계하여 확인한다. print(order_all['order_accep.. 2021. 12. 24.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 여러 데이터를 유니온하기 [파이썬 머신러닝 실무 테크닉 100] : 여러 데이터를 유니온(결합)하자 얻은 파일 목록을 기반으로 반복 처리를 한다. order_all = pd.DataFrame() file = tbl_order_files[0] order_data = pd.read_csv(file) print(f'{file}:{len(order_data)}') order_all = pd.concat([order_all, order_data], ignore_index=True) order_all 처리 결과 저장을 위한 pd.DataFrame()이다. print는 표시 포멧을 지정하는 방법이다. {} 안에 변수를 그대로 기입할 수 있다. order_all = pd.DataFrame() for file in tbl_order_files:.. 2021. 12. 24.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 폴더 안에 있는 파일을 확인하자 [파이썬 머신러닝 실무 테크닉 100] : 폴더 안에 있는 파일을 확인하자 폴더와 내용을 확인한다. import os current_dir = os.getcwd() current_dir os 라이브러리를 임포트 한다. as를 통해 별칭을 부여할 수도 있지만 라이브러리 명 자체가 길지 않으니 따로 붙이진 않는다. getcwd() 함수를 통해 현재 디렉터리를 얻는다. os.listdir(current_dir) os.listdir()을 통해 현재 디렉터리 아래의 모든 폴더 이름과 파일 이름을 리스트로 저장한다. tbl_order_file = os.path.join(current_dir, 'c:/python/chapter01/tbl_order_*.csv') tbl_order_file os.path.join()을.. 2021. 12. 24.

[TIL] : 58 일일 배움을 위한 Today I Learned ! 소경관 프로젝트 진행 중 교수님의 요구 사항이 들어와서 데이터 베이스 관련해서 변경하고 있다. 일단 NoSQL 기반으로 해야 하기 때문에 Ubuntu에 MongoDB를 설치하고 어떻게 바꿔줘야 할지 생각을 하고 있다. 2021.12.23 - [Project/소경관] - [소경관] : 프로젝트 진행 중 요구 사항 발생 ! 2021.12.23 - [Project/소경관] - [소경관] : Ubuntu 18.04.05에 MongoDB 설치 Python 커뮤니티에 리뷰 이벤트로 받은 머신러닝 관련 책 내용이 너무 좋아서 오늘 출판사에 이메일을 보내 저작권 관련 블로그 포스팅 문의를 넣어 답을 받았다. 앞으로 파이썬 데이터 분석 머신 러닝에 대한 공부도 조금씩 해.. 2021. 12. 23.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 데이터 결합하기 [파이썬 머신러닝 실무 테크닉 100] : 데이터를 유니온(결합)하자 세로로 결합하는 것이 유니온(union)이다. 가로로 결합하는 것은 조인(join)이다. tbl_order_4와 tbl_order_5를 유니온한다. tbl_order_5 = pd.read_csv('c:/python/chapter01/tbl_order_202105.csv') tbl_order_5 tbl_order_5를 로딩한다. order_all = pd.concat([tbl_order_4, tbl_order_5], ignore_index=True) order_all pd.concat 함수로 유니온을 수행한다. ignore_index = True는 데이터 프레임마다 가지고 있는 인덱스 번호를 0부터 다시 쓰는 것을 의미한다. 필요에 따라.. 2021. 12. 23.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 데이터를 모두 로딩하자 [파이썬 머신러닝 실무 테크닉 100] : 데이터를 모두 로딩하자 데이터를 모두 로딩하자 세 종류의 데이터를 읽어 내용을 표시한다. 데이터 베이스에서 추출한 CSV 형식의 파일이다. import pandas as pd m_store = pd.read_csv('C:/python/chapter01/m_store.csv') m_store 파이썬 라이브러리인 pandas를 로딩한다. import pandas 뒤에 as pd를 붙여 별칭을 만들어준다. 파일을 로딩하고 데이터 프레임 타입의 변수 m_store에 저장한다. 0번 인덱스부터 표시되어 번호는 데이터 프레임에 자동으로 설정된다. len(m_store) 데이터 건수를 확인할 수 있다. m_store.head() 데이터의 처음 5개를 확인할 수 있다. m_a.. 2021. 12. 23.

[Python] : [파이썬 머신러닝 실무 테크닉 100] : 머신러닝 공부를 시작한다. [파이썬 머신러닝 실무 테크닉 100] : 머신러닝 공부를 시작한다. 최근에 OKKY 커뮤니티에서 책 리뷰 이벤트에 당첨이 되었다. 당첨된 책은 [파이썬 머신러닝 실무 테크닉 100] 이라는 책인데 머신러닝을 활용해서 데이터를 분석하는 실무적인 내용이 많이 들어있는 책이다. 나는 웹 프로그래밍도 관심이 있지만 파이썬에도 관심이 있고 머신러닝은 저번 한이음 프로젝트 때 많이 경험을 못 해봤기 때문에 추가로 더 공부하고 싶은 마음이 있었다. 그런데 어쩌다 이렇게 리뷰 이벤트에 당첨되는 덕에 책을 무료로 볼 수 있게 되긴 했는데 오?, 내용이 생각보다 괜찮다. 일단 테크닉 100이란 말과 같이 거의 대부분 실무 테크닉으로 책이 서술되어 있었고 각 기술마다 설명과 배경을 제공해주고 있는 책이라 공부하기에 딱 좋.. 2021. 12. 23.

[TIL] : 57 일일 배움을 위한 Today I Learned ! 소경관 머리 아픈 데이터 모델링은 잠시 넣어두고 진도를 나갈 수 있는 파트 먼저 구현을 하기 시작했다. 유저 테이블을 생성하고 사용하기 위해 DTO 등록까지 마쳤다. SQL Query는 vi를 사용해 텍스트 관리할 예정이다. 2021.12.22 - [Project/소경관] - [소경관] : user_info 테이블 생성 및 컬럼 추가 2021.12.22 - [Project/소경관] - [소경관] : UserDTO 코딩 및 DTO 등록 알고리즘 파이썬 알고리즘 한 문제를 풀었다. 어제 했던 소수 구하기의 응용 버전이다. 같은 걸 하다 보면 어느 정도 감이 온다. 2021.12.22 - [Algorithm/파이썬 알고리즘 문제풀이 (코딩테스트대비)] - [파.. 2021. 12. 22.

이전 1 다음

티스토리툴바