MLOps란?MLOps란 머신 러닝(Machine Learning)과 운영(Operations)을 합친 용어로 프로덕션환경에서 머신 러닝(ML) 모델이 지속적이고 안정적으로 배포되도록 유지, 관리, 모니터링 해주는 것입니다. MLOps는 머신러닝 모델 개발과 운영을 통합해 ML 시스템을 자동으로 유지, 관리, 운영합니다. MLOps의 대상은 머신 러닝 모델을 개발하는 것뿐만 아니라 데이터를 수집하고 분석하는 단계와 학습하여 배포하는 과정, 즉 전체 AI 생애 주기가 포함됩니다. 출처 : elice https://elice.io/ko/newsroom/whats_mlops 개발에도 DevOps가 있듯이 머신러닝 개발에도 MLOps가 있다.인공지능 개발에는 데이터 전처리, 학습, 평가, 추론, 모니터링 등 복..
대부분 인공지능 모델은 파이썬으로 개발된다.그렇다고 인공지능 모델 서빙을 파이썬 서버로 해야되느냐? 그건아니다.가장 많이 사용되는 추론 서버로는 Nvidia Triton이 있고, 다양한 형태로 서빙될 수 있다. js를 주언어를 사용하고 있는 곳에서는 js로 서빙하고 싶을 수 있다. 그럴때 어떤 모델이든 변환을 도와주는 ONNX를 사용할 수 있다. tensorflow로 학습한 이미지 분류 모델을 js로 변환하여 추론을 하려했다.onnx로 변환은 성공했고, 그 다음 추론을 해보아야하는데 이미지를 float으로 읽어와야하는 문제를 마주했다..!파이썬은 pillow도 있고, opencv도 있고,,(글을 쓰면서 opencv가 python 라이브러리가 아니었다는 사실이 번뜩 떠오르면서 opencv.js 가 있다는..
블로그를 쓰면서 가끔 썸네일 이미지를 생성형 AI를 이용해서 만들어서 사용했다. 주로 DALL-E 2를 이용했는데 원하는 퀄리티의 그림이 잘 안나와서 '무료버전이라 그런가' 생각했다. 그래서 배포된 서비스를 이용하지 말고 직접 모델을 돌리면 나아질까? 싶어서 직접 해보기로 했다. 설치 후 이용해 본 결과 원하는 퀄리티 이미지가 나오지 않는 것은 무료버전이 문제가 아니라 프롬프트의 문제였다. 이것이 프롬프트 엔지니어링의 중요성??!! Stable Diffusion을 WebUI로 제공하는 오픈소스가 있어서 이용했다. Mac을 이용하고 있으니 Apple Silicon에 설치하는 위키에 들어가서 하나씩 환경을 구축했다. Installation on Apple Silicon Stable Diffusion web ..
최근 애플에서 발표한 논문으로 기존 이미지 모델에서 이미지 파일들을 RGB 형식으로 디코딩하여 모델에 사용했던 것과 달리 디코딩 과정없이 바이트 형식으로 모델 학습 및 추론을 하는 내용의 연구이다. 바이트 데이터를 이용하여 LLM Transformer를 이용하여 바이트 데이터를 토큰별로 임베딩하여 추론을 진행한다. Bytes Are All You Need: Transformers Operating Directly On File Bytes Modern deep learning approaches usually transform inputs into a modality-specific form. For example, the most common deep learning approach to image cl..
In [ ]: import torch from torch import nn import torch.nn.functional as F from torch.utils.data import Dataset, DataLoader from torchvision import datasets import torch.optim as optim from torchvision.transforms import ToTensor import matplotlib.pyplot as plt import numpy as np import json from tqdm.auto import tqdm import time In [ ]: class Config: def __init__(self, path): self.path = path wit..
AutoEncoder AutoEncoder는 Manifold Learning의 비선형 변환 모델 중 하나로, 비지도 방식으로 신경망을 훈련하여 Encoder를 통해 입력 데이터를 최대한 압축하여 입력데이터를 잘 표현할 수 있는 z 벡터를 만들고 이를 다시 Decoder를 통해 원본 데이터로 복원하는 것을 말한다. AutoEncoder는 Representation Learning으로 구분할 수 있다. Manifold Learning Manifold 란? 모든 데이터를 최대한 오차없이 잘 아우를 수 있는 subspace(부분공간)을 의미 고차원의 manifold를 잘 찾아낸다면, 고차원의 manifold를 저차원으로 압축했을때 각 데이터들의 특징을 유지 stop-thinking-start-now.tistor..
Manifold 란? 모든 데이터를 최대한 오차없이 잘 아우를 수 있는 subspace(부분공간)을 의미 고차원의 manifold를 잘 찾아낸다면, 고차원의 manifold를 저차원으로 압축했을때 각 데이터들의 특징을 유지하면서 압축이 가능하다. 장점 차원 축소, 의미있는 특징 추출, 데이터 가시화, 차원의 저주 해결 Data compression example : Lossy Image Compression with compressive Autoencoders, '17.03.01 CNN, 오토인토더을 이용하여 jpeg보다 손실이 적은 이미지 압축방식을 제안 Data visualization t-SNE UMAP Curse of dimensinality Manifold Hypothhesis : assumpt..
D : disriminatorr, G : Generative $$ min_G max_V V(D,G) $$ $$ V(D, G) = E_{x~p_{data(x)}}[logD(x)] + E_{z~p_{z(z)}}[log(1-D(G(z))] $$ GAN Tutorial Google Colaboratory Notebook Run, share, and edit Python notebooks colab.research.google.com Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera Learn online and earn valuable credentials from top universities like Yal..
