# 마치며

7장에서는 RNN을 활용한 순서 정보를 가진 시퀀셜 데이터 또는 시계열 데이터를 학습하는 방법을 익혔습니다. 기존의 신경망과 달리 RNN은 이전 time-step의 자기 자신을 참조하여 현재 자신의 상태를 결정합니다. 이에 따라 time-step마다 RNN의 네트워크 가중치 파라미터는 공유됩니다. 하지만 RNN은 기울기 소실과 같은 문제가 잘 발생하기 때문에 긴 시퀀스 데이터를 제대로 처리하지 못하는 단점이 있었습니다.

LSTM과 GRU는 이전 RNN의 단점을 보완하여 여러 가지 게이트를 열고 닫아 정보의 흐름을 조절함으로써 장기 기억력에 더 나은 성능을 보여줍니다. 보통 RNN을 사용할 때는 LSTM을 가장 많이 사용하며, 사용자의 선호에 따라서 GRU를 사용하기도 합니다.

RNN의 역전파 수행은 시간에 대해서도 이루어집니다. 따라서 time-step이 많은 데이터일수록 time-step별 기울기가 더해져서 최종 기울기가 커집니다. 기울기가 클 때 너무 큰 학습률을 사용하면 해당 학습은 발산할 가능성이 높습니다. 따라서 기울기가 정해진 임계치보다 클 경우, 그래디언트 클리핑을 통해 방향은 유지한 채로 기울기의 크기를 임계치만큼 감소시킵니다. 그에 따라 기울기의 최대 크기가 정해지므로, 학습률 1과 같은 매우 큰 값도 학습에 사용할 수 있습니다.

이번 장은 앞으로 소개할 장들의 가장 큰 기초가 되는 부분입니다. 시퀀셜 데이터인 자연어 처리의 문장을 다룰 때는, RNN을 사용하는 것이 가장 기본이기 때문입니다. 앞으로 이야기할 텍스트 분류나 번역 등의 문제에서 RNN이 어떻게 활용되는지 주목해주세요.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://kh-kim.gitbook.io/natural-language-processing-with-pytorch/00-cover-6/06-conclusion.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.