Hlavním důvodem pro vytvoření nového konceptu indexování bylo především čím dál rychlejší rozrůstání webu. Lidí na Internetu přibývá a získávají nástroje, díky kterým můžou snadno sdílet informace či své myšlenky. Nezřídka kdy se stane, že se nějakou aktualitu dozvíte dříve ze sociálních sítí, fór nebo blogů, než ze zpravodajských serverů. Tyto aktivity chce Google podchytit a poskytovat co nejaktuálnější výsledky vyhledávání.
Starý index se skládal z více vrstev, přičemž se některé aktualizovaly častěji než ostatní. Při každé aktualizaci se navíc musel celý web analyzovat znovu. Nový Caffeine může do indexu přidat stránku hned, jak na ni narazí. Kolik myslíte, že databáze Caffeine obsahuje dat? Těžko představitelných 100 milionů GB.