ChatGPTは文字を読んでいない?TokenとEmbeddingの仕組みを整理してみた
この記事で分かること
ChatGPTが文字をどう処理しているか仕組みを理解したい場合に、TokenとEmbeddingの役割と違いが整理できる。具体的なトークン化の例や、Embeddingによる意味理解の仕組みが図解されていると推定される。
ChatGPTが文字をどう処理しているか仕組みを理解したい場合に、TokenとEmbeddingの役割と違いが整理できる。具体的なトークン化の例や、Embeddingによる意味理解の仕組みが図解されていると推定される。