AI ／ DL47 [AI 데이터 분석] 산업 데이터를 활용한 인공지능 프로젝트 03. 반도체 공정 데이터를 활용한 공정 이상 예측 보호되어 있는 글 입니다. 2022. 10. 10. [AI 데이터 분석] 산업 데이터를 활용한 인공지능 프로젝트 02. 교통 표지판 이미지 분류 보호되어 있는 글 입니다. 2022. 10. 10. [AI 데이터 분석] 산업 데이터를 활용한 인공지능 프로젝트 01. 의류 판매 상품 리뷰 분석을 통한 상품 추천 여부 예측 보호되어 있는 글 입니다. 2022. 10. 10. [AI 데이터 분석] 딥러닝 시작하기 03. 다양한 신경망 (2) 자연어 처리 과정 자연어 전 처리(Preprocessing) 단여 표현(Word Embedding) 모델 적용하기 (Modeling) 원 상태 그대로의 자연어는 전 처리 과정이 필요하다. 대표적 전 처리 과정은 다음과 같다. 오류 교정(Noise canceling) 잘못된 문장을 표준화에 맞게끔 변경하는 일이다. 자연어 문장의 스펠링 체크 및 띄어쓰기 오류 교정 과정이다. 기본적인 오류 교정은 거쳐야 깔끔해지고 성능도 좋아진다. 토큰화(Tokenizing) 문장을 나누는데 그 나눠진 단위를 토큰(Token)이라 한다. 토큰은 어절, 단어 등으로 목적에 따라 사용자가 다르게 정의한다. 문장 데이터를 딥러닝으로 입력해줘야 하는데 이미지 데이터에서도 이미지 그 자체를 입력으로 사용할 수 없었다. 하물며 문장을.. 2022. 10. 9. [AI 데이터 분석] 딥러닝 시작하기 03. 다양한 신경망 (1) 기존의 데이터는 정형화된 DataFrame 형태로 입력을 해왔는데, 이미지 데이터는 그렇지 않다. 컴퓨터에게 이미지는 각 픽셀 값을 가진 숫자 배열로 인식된다. 이미지를 픽셀이란 작은 정사각형 단위로 나눠서 각 색깔에 맞게 값이 지정되는 것이다. 이미지 전 처리 모두 같은 크기를 갖는 이미지로 통일한다. 1) 가로 세로 픽셀 사이즈를 표현하는 해상도 통일을 먼저 진행한 후, 2) 색을 표현하는 방식을 통일한다(RGB, HSV, Gray-scale, Binary, ...) MNIST 데이터는 이미지 데이터이지만 가로 길이와 세로 길이만 존재하는 2차원 데이터이다. CNN 모델은 채널(RGB 혹은 흑백)까지 고려한 3차원 데이터를 입력으로 받기에 채널 차원을 추가해 데이터의 모양(Shape)을 바꿔준다. 합.. 2022. 10. 8. [AI 데이터 분석] 딥러닝 시작하기 02. 텐서플로우와 신경망 딥러닝 모델 딥러닝 모델은 다수의 히든층이 있는 모델을 얘기한다. 각 층을 구성하는 요소를 Node/Unit이라 부르고, 모델을 구성하는 층을 Layer라 부르고, 노드 간의 연결 정도(화살표)를 가중치(Weight)라 한다. 숫자가 크면 연결 강도가 크고 작으면 연결 강도가 작은 것이다. 예측값과 실제값 간의 오차값을 최소화하기 위해 오차값을 최소화하기 위해 오차값을 최소화하는 모델의 인자를 찾는 알고리즘을 적용한다. Loss function을 최소화하는 가중치를 찾기 위해 최적화 알고리즘을 적용한다. 딥러닝 모델이 예측값을 구하는 방식을 순전파(Forward propagation)이라 한다. 입력값을 바탕으로 출력값을 계산하는 과정이다. 활성함수는 비선형함수라서, 딥러닝 모델이 비선형적인 데이터에도 .. 2022. 10. 8. [AI 데이터 분석] 딥러닝 시작하기 01. 퍼셉트론 딥러닝 머신러닝의 여러 방법론 중 하나로, 인경신경망에 기반하여 컴퓨터에게 사람의 사고방식을 가르치는 방법이다. 일굴 인식 카메라나 기계 번역 모델, 알파고 제로와 같은 적용 사례가 있다. (알파고는 본래 강화 학습 모델이었으나 딥러닝이 결합함) 딥러닝 모델은 데이터의 특성을 스스로 학습하는 게 특징이다. 인공신경망 생물학의 신경망에서 영감을 얻은 학습 알고리즘으로, 사람의 신경 시스템을 모방했다. 퍼셉트론 $x_1, x_2$와 같이 입력 값을 신호로 받으면 가중치는 들어오는 신호의 증폭 정도를 정해준다. bias는 입력하는 값에 상관없이 무조건 입력되는 값이다. 수식에 맞게 합산이 되고, 활성화 함수(Activation function)을 거쳐야만 y값이 출력된다. 여기서 활성화 함수가 $x>=0$일 .. 2022. 10. 8. [Github으로 따라하는 버전 관리] Git 협업 Branch 큰 개발 프로젝트를 진행한다 가정해보자. 여러 개발 팀 혹은 팀원으로 나뉘어 진행할 것이다. 예를 들어, 머신러닝 개발 프로젝트를 진행하는 팀에서는 데이터를 전처리하고 저장을 하는 팀, 모델을 개발하는 팀, 모델을 서빙하는 팀이 있을 수 있다. 각 팀 안에서는 버그를 수정하거나 새로운 기능을 개발해야 하는 일이 많을 것이다. 각 팀별로 버전을 관리할 필요성이 있다. 이럴 때, 각 팀에서는 개발 프로젝트의 소스코드를 바탕으로 개발을 해나갸야할 것이다. 이후 개발이 완성되면 프로젝트에 병합을 시켜 새로운 버전을 생성하여 다른 팀원들과 충돌나지 않으면서 프로젝트를 진행할 수 있다. 브랜치(branch)는 프로젝트를 바탕으로 독립적으로 개발을 할 수 있는 저장소(작업영역)이다. 저장소를 처음 만.. 2022. 10. 7. 이전 1 2 3 4 5 6 다음
