"Kinderen zijn nog niet overfit. Ze zullen dingen zeggen die je zullen shockeren. Omdat ze nog niet zijn ingestort. Maar wij [volwassenen] zijn ingestort. We eindigen met het herzien van dezelfde gedachten, we eindigen met het zeggen van steeds meer van hetzelfde, de leersnelheden gaan omlaag, de instorting gaat door en dan verslechtert alles.”

"De zebra wordt geboren, en een paar minuten later rent hij rond en volgt zijn moeder. Dat is een extreem ingewikkelde zaak om te doen. Dat is geen reinforcement learning. Dat is iets dat ingebakken is. En evolutie heeft blijkbaar een manier om de gewichten van onze neurale netwerken in ATCG's te coderen, en ik heb geen idee hoe dat werkt, maar het werkt blijkbaar." Andrej Karpathy