자연어 처리를 위한 언어 모델의 학습과 평가
ELMo는 기존의 모델들과 달리 모든 task에 대해 적용할 수 있는 모델이다.
기존의 모델들은 각 task에 대해 가장 성능을 잘 내는 모델을 만들었다.
하지만 ELMo는 pre-training을 한 후 각 task에 대해 fine-tuning을 했고 기존 모델들 보다 좋은 성능을 보였다.
또한 영어에 대한 데이터셋 품질이 좋으니 기술 발전에 영향을 끼친다고 했다.
각국에서도 모국어에 대한 데이터셋을 구축하고 있다.
우리나라도 한국어에 대한 데이터셋(KLUE)를 구축하고 있다.
많은 어려움이 많다고 한다.
데이터가 잘 구축된다면 좋은 한국어 모델을 만들 수 있을 거라 기대한다.
저작권
좋은 모델을 학습하기 위해서 좋은 품질의 데이터셋이 필요하다.
근데 우리가 사용하는 데이터는 과연 마음대로 사용할 수 있을까?
저작권에 대해 간단히 알아봤다.
왠만한 뉴스기사는 다 저작권이 있어서 마음대로 사용할 수 없다.
한 군데만 CC-BY-SA 라이센스라서 사용할 수 있다.
정말 좋은 강의였다.
BOJ
레이저 통신
BFS로 풀었다.
cache 크기는 n * m * 4로서 각각 격자의 행, 열, 4방향을 의미한다.
dist function을 구현하는데 약간 귀찮은 거 빼면 어렵지 않았다.