Powszechnie uważa się, że kanji zostały przejęte do Japonii w pierwszym wieku naszej ery, ale pierwsze ślady pisma japońskiego znaleziono na wygrawerowanych mieczach i lustrach pochodzących z  około V-VI wieku epoki Kofun ( III - VII w.n.e).

    W epoce Nara ( 710-794 r.n.e.) powstały pierwsze utwory napisane w kanji: Kojiki, Manyoushuu i inne. Od tego czasu wszystkie utwory pisane były w kanji, ale w zmodyfikowanej wersji - do kanji dopasowywano japońskie słowa pod względem wymowy

.Ten rodzaj pisma nazywany jest manyougana. Manyougana z czasem była coraz bardziej upraszczana i na początku okresu Heian (794-1192 r.n.e.) powstały hiragana i katakana. Zapożyczono w tym czasie mnóstwo słów pochodzenia chińskiego, i sylaby, których dotychczas w japońskim nie było: n i tsu ( do podwojenia sylab).

      Najważniejszą cechą japońskich kanji jest to, że mają swoje własne odczytanie nazywane kunyomi . Kunyomi czyli japoński sposób odczytywania chińskich znaków japońskimi słowami. Znak chiński n.p. góra  odczytywano oczywiście jako góra (po japońsku yama), ale używając japońskiego słownictwa. 

    Prawie każdy znak ma obok kunyomi  jeszcze onyomi - czyli czytanie sino-japońskie. Polega ono na tym, że kanji są odczytywane po chińsku, ale zgodnie z japońskim systemem fonetycznym (czyli faktycznie różnią sie od oryginalnego odczytania chińskiego), n.p.

(góra) odczytywana jest w onyomi jako san, a w kunyomi jako yama. Korzeni onyomi trzeba szukać w czasach dynastii Rikuchou (222-589 r.n.e.) i w czasach dynastii Tan’g (618-907 r.n.e.). Czytanie pochodzace z czasów dynastii Rikuchou nazywane jest go'on(), a z drugiej kan'on（）. Na przykład (dzień) odczytywane w kunyomi jako hi, ma dwa odczytania onyomi: w go'on = nichi, a w kan'on=jitsu.