본문 바로가기

공부57

혼자 공부하는 머신러닝 + 딥러닝 8장 8-2 합성곱 신경망을 사용한 이미지 분류 패션 MNIST 데이터 불러오기 데이터 스케일을 0~255사이에서 0~1 사이로 바꾸고 훈련세트와 검증세트로 나눔 from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = \ keras.datasets.fashion_mnist.load_data() train_scaled = train_input.reshape(-1, 28, 28, 1) / 255.0 입력 이미지는 항상 깊이(채널) 차원이 있어야함. Conv2D 층을 사용하기 위해 마지막에 채널 차원을 추가해야함 train_.. 2023. 11. 19.
SQL 레벨업 - 7장 21강 서브쿼리가 일으키는 폐해 1. 서브쿼리의 문제점: 실체적인 데이터를 저장하지 않음 - 연산 비용추가 실체적 데이터를 저장하고 있지 않아서, 서브쿼리에 접근할 때 마다 SELECT 구문 실행해야함. -> 복잡할수록 실행 비용이 더 높아짐 - 데이터 I/O 비용 발생 메모리 용량이 충분하지 않으면 오버헤드 발생. ( DBMS 가 저장소에 있는 파일에 결과를 쓸 수 있음) - 최적화 불가 서브쿼리로 만들어지는 데이터는 테이블과 차이가 없지만, 서브쿼리에는 메타 정보 (명시적 제약, 인덱스) 가 존재하지 않아서 옵티마이저 가 쿼리를 해석하기 위한 정보를 서브 쿼리에서 얻을 수 없음 2. 서브쿼리 의존증 고객의 구입 명세 정보를 저장하는 테이블(Receipts)에 순번(Seq 또는 AI idx) 필드는 오.. 2023. 11. 18.
혼자 공부하는 머신러닝 + 딥러닝 7장 7-1 인공신경망 뉴런(=유닛) : 인공 신경망에서 z값을 계산하는 단위 ex)z1~ z10 (z_티셔츠, z_바지... ) 출력층: z1~z10 을 계산하고 클래스를 예측하여, 신경망의 최종 값을 만듦 . 선형 계산만 발생 입력층: 인공 신경망에서 픽셀값 자체, 특별한 계산 하지않음 ex)x1~x784 (픽셀1,픽셀2 ...) 인공 신경망 모델 1. 텐서플로와 케라스 구글이 2015년 11월 오픈소스로 공개한 딥러닝 라이브러리 ; 인기가 제일 많음 from tensorflow import keras 텐서플로에는 저수준의 API / 고수준의 API (케라스;딥러닝 라이브러리) 포함 딥러닝 라이브러리 머신러닝 라이브러리와 달리 GPU(그래픽 처리 장치) 사용해 인공 신경망을 훈련 GPU는 벡터와 행렬 연산.. 2023. 11. 12.
SQL 레벨업 - 6장 18강 기능적 관점으로 구분하는 결합의 종류 1. 크로스 결합 - 모든 결합의 모체 - 크로스 결합의 작동 SELECT *FROM Employees CROSS JOIN Departments; 2개의 테이블의 레코드에서 가능한 모든 조합을 구하는 연산 (사원 테이블 레코드) * (부서 테이블 레코드) 만큼의 레코드 결과 생성 - 크로스 결합이 실무에서 사용되지 않는 이유 1. 이러한 결과가 필요한 경우가 없다 2. 비용이 매우 많이 드는 연산이다 -결합 조건이 없으면 DBMS 는 어쩔 수 없이 두 개의 테이블에서 나올 수 있는 모든 조합을 만들어 버린다. 2. 내부 결합 - '데카르트 곱의 부분 집합' 이라는 의미 - 내부 결합의 작동 SELECT E.emp_id, E.emp_name, E.dept_id,.. 2023. 11. 12.
혼자공부하는 머신러닝 + 딥러닝 5장 5-3 트리의 앙상블 정형 데이터 - 데이터 베이스, 엑셀, CSV 로 저장하기 쉬운 데이터 비정형 데이터 - 데이터 베이스, 엑셀로 표현하기 어려운 데이터 (ex. 텍스트 데이터, 사진, 디지털 음악) 앙상블 학습 ensemble learning : 정형데이터를 다루는 데 가장 좋은 알고리즘 랜덤 포레스트 Random forest 여러 개의 결정 트리(Decision Tree)를 사용하여 데이터를 학습하고 예측하는 모델 여러 개의 결정 트리를 만들고, 각 트리의 예측을 종합하여 높은 정확도의 예측을 수행 부트스트랩 샘플링 (Bootstrap sampling) 랜덤 포레스트는 원본 데이터에서 랜덤하게 중복을 허용(뽑은 데이터를 다시 넣어서 랜덤하게 뽑음)하여 샘플을 선택하고 이렇게 만들어진 부트스트랩 샘.. 2023. 10. 28.
SQL 레벨업 - 5장 14강 반복문 의존증 반복문 의존증 - 문제를 작게 나우어 레코드라는 단위에 이를 때까지 자르고 그러한 레코느에 반복문을 적용해서 문제를 해결하려는 태도 SQL 은 반복문이 없음. 내부적으로는 반복문 사용 하나의 레코드마다 작은 SQL을 사용해 접근함. 비즈니스 로직은 호스트 언어(절차형 언어)에서 반복 처리를 구현하는 것이 일반적임. 나머지는 c#이나 자바에서 구현하면 됨. 15강 반복계의 공포 1. 반복계의 단점 같은 기능을 구현한다고 가정하면, 반복계로 구현한 코드는 포장계로 구현한 코드에 성능적으로 이길 수가 없음. 처리하는 레코드 수가 적을 때는 반복계와 포장계에 큰 차이가 없음.하지만 처리하는 레코드 수가 많아지면 차이가 점점 벌어짐. 반복계의 처리기간= * - SQL 실행의 오버 헤드 SQL.. 2023. 10. 8.

티스토리툴바