Desarrollé un motor de base de datos en el trabajo y entiendo bien los conceptos básicos, como los árboles B y la integridad transaccional. ¿Cuál sería un buen libro sobre los temas avanzados, como los tipos de índice poco comunes y las técnicas para indexar el lenguaje natural?

No he usado este libro, pero parece ser uno de los pocos que está “avanzado” y estructurado como un libro de texto, es bastante antiguo:

Amazon.com: Advanced Database Systems (The Morgan Kaufmann Series in Data Management Systems) (9781558604438): Carlo Zaniolo, Stefano Ceri, Christos Faloutsos, Richard T. Snodgrass, VS Subrahmanian, Roberto Zicari: Libros

Algunos otros escritos o editados por el profesor Joe Hellerstein en UC Berkeley (un poco viejo, pero aún bueno):

Arquitectura de un sistema de base de datos

Amazon.com: Lecturas en sistemas de bases de datos (9780262693141): Joseph M. Hellerstein, Michael Stonebraker: Libros

Tenga en cuenta que probablemente no encontrará muchas publicaciones en forma de libro mucho más nuevas que esto, ya que hoy en día todo el mundo hace todo en Internet, particularmente para la investigación de vanguardia.