Už menej známe sú práce z poslednej etapy jeho života, ktoré obsahujú náčrt teórie samoreprodukujúcich sa automatov. Jeho prednášky majú 390 strán textu a obsahujú teóriu a organizáciu zložitých automatov, kde sa porovnávajú umelé automaty s prirodzenými, najmä s nervovou sústavou aj z hľadiska logiky, teórie informácie a termodynamiky. Osobitne dôležitý význam priznával J. von Neumann rozdielnosti jazykov, s ktorými sa vykonáva spracovanie informácie: „Jazyk použitý v nervovej sústave musí byť charakterizovaný menšou aritmetickou a logickou hĺbkou, než je tá, na akú sme zvyknutí;. .. tam existujú logické štruktúry odlišné od tých, na ktoré sme privykli v logike a matematike.
Logická schéma nervovej sústavy sa v niektorých dôležitých črtách kvalitatívne veľmi líši od koncepcií používaných v matematike a v matematickej logike.“ V tejto súvislosti J. von Neumann prišiel k záveru o nedostatočnosti starej matematickej logiky a sformuloval úlohu vytvorenia novej logickej teórie veľmi zložitých automatov. Poňatie kybernetiky ako problému modelovania a riadenia veľmi zložitých systémov je u J. von Neumanna podobné ako u Wienera; obidvaja sa navzájom ovplyvňovali a doplňovali. Rozdiel bol v tom, že J. von Neumann zdôrazňoval najmä číslicové počítače a ich programovanie a logiku, zatiaľ čo Wiener preferoval skôr teóriu regulácie a fyziológiu.
Prevažnú časť jeho posledných prác zahŕňa logický návrh samoreprodukujúcich sa celulárnych automatov, ktorý obsahuje aj podrobný opis automatu s 29 stavmi a pravidlami prechodov. Tieto myšlienky boli dôležité aj pre ďalší rozvoj umelej inteligencie, najmä problematiky umelého života. Mnohé problémy aj naznačené riešenia sú stále aktuálne a dodnes nevyriešené. Súčasné problémy vo vede a spoločnosti, ktoré vyplývajú zo zložitosti sveta vytvoreného ľudskou kultúrou, priam žiadajú o návrat ku koreňom kybernetiky. Tak ako sme už pripomenuli Wienera, Ashbyho, Beera, Shannona aj Stanislawa Lema, treba nanovo preštudovať aj dielo Johna von Neumanna; a možno ním treba začať.