개발 관련 내용 둘러보는 글
항상 그랬겠지만 개발자로 살아남으려면 참 해야할 것, 알아야 할 것이 많다.
새로운 기술, 흥미로운 사이드 프로젝트, 유명 라이브러리의 구현 분석등...
보다보면 나만 뒤처진다는 생각이 들때가 많은데, 학습과 성장에 대해 스트레스를 받는 사람이 나뿐만 아닐 것이다.
사람이 새싹도 아니고 어떻게 성장만 하겠는가!
공부할 시간 내기가 정말 쉽지 않은게 현실이다. 해도 까먹음... ㅠㅠ
사실 이건 방법이 없다... 그냥 해야한다. 한잔해🥂
나는 문제를 풀거나, GeekNews, velog trands, 유명 블로그들의 글들을 읽어보는 식으로 이모저모 살펴본다.
이번 포스팅은 여태 눈팅한 내용들에 대해 얉고 넓게 작성해본다.
최근 LLM에 관해
개발자들은 참 AI라는 주제에 대해 할말도 많고, 고민도 많을 것 같다. 나 역시 그렇다.
정말 모든 사무직을 박살낼 것 같은 움직임을 보여주는데, 찻잔 속의 태풍만은 아닐 것 같다.
최근 AI 업계에서 가장 큰 이슈는 딥시크일 것이다.
그래픽카드 규제를 받는 중국에서, 중국의 인재 들이 낮은 비용으로 OAI의 GPT 최신모델에 비견되는 성능을 가진 모델을 출시한 것과 그 모델을 오픈소스로 공개한 것은 참 충격적인 일이었다.
2025년 1월 20일에 R1 공개 후, 온 매체에서 난리가 났고, 딥시크발 나스닥 폭락에 기술 유튜버뿐만 아닌 경제유튜버들까지도 딥시크에 대해 떠들었다.
특히 엔비디아가 급락 했었는데(현재는 많이 복구), 최고성능의 LLM을 개발하는데 엔비디아의 그래픽카드가 필수적이지 않을 수 있다는 논지였다.
성능이 좋을 수록 무조건 유리하기에 일시적인 하락이라 생각했지만 매수는 안했었다 까비...
특히 고성능 LLM을 개발하기 위해서는 수천억이상의 비용이 든다는 생각을 딥시크는 완전히 부숴버렸는데 V3 모델에 투입된 개발 비용이 557만6000달러(약 78억8천만원)라고 한다.
모델 | 개발 비용 (추정) | 비고 |
---|---|---|
딥시크 V3 | ~$5.57M | 저비용, 강화학습 위주 개발 – 기존 빅테크 대비 매우 낮음 |
OpenAI GPT-4 | ~$100M+ | 대규모 데이터 및 컴퓨팅 인프라 투자 필요 |
Llama 3.1 | ~$500M+ | 연구 및 인프라 투자 비용 포함 |
딥시크가 비용 정보를 발표한 후, 사람들은 마크 주커버그가 빠따를 쳐도 무죄라더라🤣(실제로 MMA를 수련하고 있음)
물론 딥시크의 모델 개발비용이 굉장히 축소 발표 되었다는 의혹이 있지만 이에 대해 이 글에서는 넘어가겠다.