홈

자연어 처리를 위한 언어 모델의 학습과 평가 ELMo는 기존의 모델들과 달리 모든 task에 대해 적용할 수 있는 모델이다. 기존의 모델들은 각 task에 대해 가장 성능을 잘 내는 모델을 만들었다. 하지만 ELMo는 pre-training을 한 후 각 task에 대해 fine-tuning을 했고 기존 모델들 보다 좋은 성능을 보였다. 또한 영어에 대한 데이터셋 품질이 좋으니 기술 발전에 영향을 끼친다고 했다. 각국에서도 모국어에 대한 데이터셋을 구축하고 있다. 우리나라도 한국어에 대한 데이터셋(KLUE)를 구축하고 있다. 많은 어려움이 많다고 한다. 데이터가 잘 구축된다면 좋은 한국어 모델을 만들 수 있을 거라 ...

이번주는 특강이라 자세한 내용은 담지 못하며 대략적으로 정리했다. kaggle 궁금했던 것은 과연 kaggle 경험이 현업에 도움될까 였다. 답변은 그렇다 라고 해주셨다. 어떤 대회의 주제가 추천 알고리즘 개발이었는데 이를 그대로 활용하여 현업에 적용했더니 성능이 좋게 나왔다고 말씀해주셨다. 나는 캐글이 어느정도 현업에서 모델링을 하는데 도움은 될 수 있다고 생각하지만 최상위권의 점수를 얻기 위해 사용하는 스킬들이 과연 현업에 도움이 될까 에 대해 의문이 있었다. 이에 대해 정확히 답변은 듣지 못했지만 어느정도 상관관계는 있는 것 같다. 또한 캐글을 많이하니까 현업에서 모델링을 하는게 너무 쉽다고 하셨다. Fu...

강의 내용은 비공개라고 해서 느낀 점과 알고리즘 문제 하나 풀었다. 서비스를 위한 AI 모델 개발하기 연구를 위한 AI 모델 개발과 서비스를 위한 AI 모델 개발이 다르다는 것을 배웠다. 단순히 모델 개발하는 것이 가장 비중이 클 것이라 생각했다. 그러나 모델 개발 이외 데이터 수집, 서비스 요구사항 등 많은 것을 고려한다는 것을 알았다. 당부의 말씀 마지막으로 연사자께서 몇가지 당부의 말씀을 남겨주셨다. 어쩌면 미래에는 AI 기술 한 가지만 잘해서 경쟁력이 없어질 수 있다, 그 외 한 가지를 더 하면 좋다 라고 하셨다. 예를 들어 AI + FE 혹은 BE. 물론 신입에게 이런 것을 원하는게 아니고 나중에 좀 ...

이번주는 graph에 대해 배웠다. 여태 내가 알던 graph는 함수에 대한 것이다. 그래서 뭔가 새로운 것을 배운다는 신선함과 설레임을 느꼈다. 공부할수록 machine learning, deep learning에서 배웠던 개념과 비슷한게 많았다. 예를 들어 node embedding은 word embedding와, GNN은 auto-encoder와 유사했다. 지난주에 캠퍼들을 위해 주제별로 소통하는 시간을 마련해줬는데 이번주는 없었다. 아마 참여가 저조해서 그런 것 같다. 벌써 5주가 지났다. 사실 중간에 설날이 있어서 실제는 6주가 지났다. 뒤돌아보면 많은 것을 배운 것 같은데 실제로 사용하라고 하면 걱정이...

이번 학습정리는 BoostCamp 강의와 CS224W을 바탕으로 했다. Recapitulation 이전강의에서 node embedding(혹은 shallow embedding)을 배웠다. 이 방법은 transductive learning으로 몇가지 한계가 있다. $O(|V|)$ 만큼 parameter가 필요하다. node간 parameter를 공유하지 않는다, 즉 모든 node는 고유한 embedding을 가진다. 내재적으로 transductive하다. 학습 데이터에 없는 node에 대해 embedding을 생성할 수 없다. node feature들을 통합하지 않는다. 많은 graph들은 활용할 수 ...

이번 학습정리는 BoostCamp 강의와 CS224W을 바탕으로 했다. graph representation graph에 대한 전통적인 machine learning은 graph를 입력으로 넣고 node, edge, graph level에서 feature를 추출(feature engineering)한다. 그리고 feature들을 label로 mapping하는 모델을 학습한다. 매번 모델을 만들 때마다 feature engineering을 해야된다. graph representation learning은 매번 feature engineering하는 고통을 덜어준다. 한번 만든 graph representation은...

추천 시스템(recommendation system) 1 A recommender system, or a recommendation system (sometimes replacing ‘system’ with a synonym such as platform or engine), is a subclass of information filtering system that seeks to predict the “rating” or “preference” a user would give to an item. 추천 시스템은 “평점” 혹은 유저들이 아이템에 주는 “선호도”를 예측하는 information filteri...

웹 페이지와 그래프 다음 코드는 한 웹 페이지의 html 일부분이다. <p class="con"> <a href="/news/newsRead.nhn?type=headline&amp;prsco_id=008&amp;arti_id=0004547213" class="NPI=a:contents,i:0004547213">당정이 2·4 대책 후속 법안을 사실상 확정한 가운데...</a> <span>머니투데이</span> </p> 위 코드를 보면 <a> tag는 다른 웹 페이지로 연결해주는 역할을 하며 이를 하이퍼링크라 부른다. 즉...