Tensor

텐서(Tensor)는 다차원 데이터 배열을 의미하며 오늘날 기계학습과 심층 신경망 분야에서 매우 중요한 역할을 한다.

텐서의 주요 특징

  1. 랭크(Rank) 또는 차원(Dimension): 텐서의 차원 수를 나타낸다.

    0차원 스칼라
    1차원 벡터
    2차원 행렬(Matrix)
    3차원 이상 고차원 텐서

    (고차원)텐서는 일반적으로 n-tensor로 표현한다

  2. 형상(Shape): 각 차원의 크기를 나타내는 정수의 튜플
    ex. [3, 2]는 3행 2열의 2차원 텐서
  3. 데이터 타입: 텐서의 데이터 타입을 정의
    ex. 32비트 부동소수점, 64비트 정수 등

텐서는 신경망의 가중치와 활성화 값을 표현하며, 순전파, 역전파 등의 연산을 효율적으로 수행할 수 있다.
또한 텐서 연산은 GPU나 TPU와 같은 가속기에 의해 병렬 처리가 가능하다.