2025/08/22 2

[밑바닥부터 시작하는 딥러닝] 어텐션 메커니즘

본 내용은 밑바닥부터 시작하는 딥러닝 2도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 2 - 예스24직접 구현하면서 배우는 본격 딥러닝 입문서 이번에는 순환 신경망과 자연어 처리다! 이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데www.yes24.com 드디어, 어텐션이다.현재의 AI 시대를 만든 트랜스포머에 발을 담가볼 수 있게 되었다.그 근간에 있는 어텐션에 대한 학습을 시작해보자.어텐션의 구조어텐션 매커니즘은 seq2seq를 필요한 정보에만 '주목'시킨다.그럼 먼저 seq2seq의 현재 문제점을 살펴보고, 이를 개선한 어텐션 매커니즘을 이해해보자.seq2seq의 문제점seq2seq는 Encoder가 시계열 데이터를 인코딩한다.그..

[리팩터링] 리팩터링 원칙

요약리팩터링은 소프트웨어의 겉보기 동작은 그대로 유지한 채, 코드를 이해하고 수정하기 쉽도록 내부 구조를 변경하는 기법이다.리팩터링은 코드의 이해도를 올리고, 생산성을 올린다.리팩터링 작업은 코드의 이해도를 올리니, 읽기만 하기 보단 리팩터링을 시도해보며 읽는다.쉽다면 직접 리팩터링을 적용해본다.기능 추가 작업과 리팩터링 작업을 분리해라.지금 하고 있는게 리팩터링 작업인지 기능 추가 작업인지 명확히 하라.리팩터링은 경제적인 이유로 해라.리팩터링할 수 있어야 코드를 이해했다고 할 수 있고,코드를 이해해야 새로운 기능을 추가할 수 있다.일단은 성능을 신경쓰지 말고 코드를 작성해라.성능은 이후 성능 테스트/프로파일링을 통해 해결해라.리팩터링의 정의명사 관점소프트웨어의 겉보기 동작은 그대로 유지한 채, 코드를 ..