본문 바로가기

AI 이야기

GPT-3는 우리 중에 최약체지 | Facebook의 BlenderBot 2.0 챗봇은 스스로 새로운 것을 배우고 기억할 수 있습니다 모델 구조 둘 비교라네요 https://parl.ai/projects/blenderbot2/ Blenderbot2 BlenderBot 2.0: An open source chatbot that builds long-term memory and searches the internet A chatbot with its own long-term memory and the ability to access the internet. It outperforms existing models in terms of longer conversations over multiple sess parl.ai 와... Facebook AI Research has built and open-sourced BlenderBot 2.0, .. 더보기
프로그래머가 대체될 수도 있다는 생각을 딱히 못했는데... https://maily.so/kyeom.ai/posts/b04a6c 프로그래머가 대체될 수도 있다는 생각을 딱히 못했는데... AI가 대신 코딩해준다고? maily.so AI가 대신 코딩해준다고? 이런 생각을 해보셨나요? Jordan Singer on Twitter “This changes everything. 🤯 With GPT-3, I built a Figma plugin to design for you. I call it "Designer" https://t.co/OzW1sKNLEC” twitter.com 언제나 세상은 생각보다 빨리 변하는 거 같습니다. twitter.com We’ve detected that JavaScript is disabled in this browser. Please e.. 더보기
한국어 가사 데이터 KoGPT2 Fine Tuning gyunggyung/KoGPT2-FineTuning 한국어 가사 데이터 KoGPT2 Fine Tuning . Contribute to gyunggyung/KoGPT2-FineTuning development by creating an account on GitHub. github.com SKT-AI에서 약 20GB의 한국어 데이터를 Pre-Training 시킨 KoGPT2를 학습해서 멋진 결과를 만들었다. 첫 번째로 가사 작사를 위해서, 정제된 한국어 가사 데이터 62MB를 Fine-tuning 한 결과물이다. 다양한 한국어 가사를 학습한 결과를 확인할 수 있다. 먼저 내 노트북인 2070 GPU와 구글의 Colab을 사용하여 학습했다. 생각보다 generation 작업도 잘 됐다. 더보기
KoGPT-2 를 이용한 인공지능 가사 생성 gyunggyung/KoGPT2-FineTuning Korean GPT-2, KoGPT2 FineTuning cased. 한국어 가사 데이터 학습 - gyunggyung/KoGPT2-FineTuning github.com 드디어 Fine-tuning이 완료되고 코드를 완성하여, Generation을 간단하게 진행했다. 문제가 되는 부분들로는 가사를 그대로 인용한 내용들도 있다. 이걸 어떻게 처리할까에 대해서 고민이다. temperature를 낮추면 이런 문제는 덜 발생한다. 그래도 Verse나 Pre-Chorus 같은 부분은 학습을 잘 못하는데, 이유로는 dataset을 분배하는 과정을 별로 신경 쓰지 않아서 같다. 사실 이건 후처리로 어느 정도 가능한 거니까. 괜찮을 거 같다. 이제 제대로 된 모델 업.. 더보기
인공지능이 작성하는 한국어 기사 gyunggyung/KoGPT2-FineTuning Korean GPT-2, KoGPT2 FineTuning cased. 한국어 가사 데이터 학습 - gyunggyung/KoGPT2-FineTuning github.com gyunggyung/Korean-GPT2 GPT2를 이용해서 한국어를 재생성하는 모델. Contribute to gyunggyung/Korean-GPT2 development by creating an account on GitHub. github.com 지금 인공지능의 기술력은 생각보다 훨씬 뛰어나 졌다. 이를 증명하는 방식은 여러 가지가 있다. 그중 하나로 결과물을 가지고 인공지능의 힘을 보여주겠다. GPT2라는 논문을 기반으로 만들어진 모델로, 뛰어난 성능을 보여준다. 이제 결과물.. 더보기
ALBERT Text Classification gyunggyung/ALBERT-Text-Classification ALBERT Text Classification. Contribute to gyunggyung/ALBERT-Text-Classification development by creating an account on GitHub. github.com 코드 위치는 깃허브에 있습니다!! 아래 라이브러리를 써서 아주 간단하게 text classification을 하는 방법을 알아볼 것이다. 먼저 아래 라이브러리를 설치하자. 참고로 tf2 버전을 사용한다. pip install ktrain amaiya/ktrain ktrain is a Python library that makes deep learning and AI more accessible a.. 더보기
NLP Papers list [2013/01] Efficient Estimation of Word Representations in Vector Space [2014/12] Dependency-Based Word Embeddings [2015/07] Neural Machine Translation of Rare Words with Subword Units [2014/07] GloVe: Global Vectors for Word Representation : GloVe [2016/06] Siamese CBOW: Optimizing Word Embeddings for Sentence Representations : Siamese CBOW [2016/07] Enriching Word Vectors with Subword Informati.. 더보기