Fotogrametría y representación 3D
Gaussian Splatting
Cómo convertir fotografías de un lugar en una escena que se puede recorrer desde nuevas perspectivas.
Una escena hecha de gaussianas.
3D Gaussian Splatting (3DGS) representa una escena mediante gaussianas tridimensionales orientadas. Cada una tiene posición, forma, opacidad y apariencia. Al proyectarlas y combinarlas se obtiene una imagen desde la cámara elegida.
El método de Kerbl, Kopanas, Leimkühler y Drettakis, presentado en SIGGRAPH 2023, combina una representación explícita con renderizado diferenciable. Proyecto original ↗
De la captura a la exploración.
Captura multivista
Fotografías nítidas, con solapamiento y cambios de punto de vista, ayudan a encontrar correspondencias. Conviene evitar desenfoque, cambios bruscos de iluminación y elementos que se mueven.
Calibración y estructura
Structure-from-Motion estima poses de cámara y una nube dispersa de puntos. COLMAP permite extraer características, emparejarlas y realizar esta reconstrucción. La calibración y la cobertura condicionan el resultado.
Entrenamiento y exportación
La implementación de referencia optimiza el modelo con PyTorch y extensiones CUDA. Entrenar y visualizar son tareas distintas: sus requisitos de hardware y memoria también lo son.
Qué guarda y cómo se dibuja un splat.
Centro de la gaussiana en el espacio.
Controla extensión y orientación; puede parametrizarse con escala y rotación.
Modula su contribución a la imagen.
Los armónicos esféricos permiten modelar variaciones de color según la dirección de observación.
G(x) = exp[ −½ (x − μ)ᵀ Σ⁻¹ (x − μ) ]
Esta expresión describe el peso espacial, sin factor de normalización. Las gaussianas se proyectan como huellas elípticas y se componen con transparencia respetando el orden de visibilidad. Durante la optimización se ajustan sus parámetros y su densidad. Artículo técnico, secciones 4–6 ↗
Entrenamiento y evaluación
El repositorio oficial permite separar imágenes de entrenamiento y prueba mediante --eval. Comparar vistas no usadas para ajustar el modelo ayuda a evaluar la generalización. La implementación incluye métricas PSNR, SSIM y LPIPS; no sustituyen la inspección visual de artefactos. Evaluación de referencia ↗
Explorar apariencia, entender sus límites.
Una reconstrucción visual no garantiza precisión métrica ni genera automáticamente una malla cerrada. Las zonas sin cobertura fotográfica pueden quedar incompletas; superficies reflectantes y objetos móviles pueden producir artefactos.
El rendimiento depende del número de gaussianas, resolución, memoria y visor. Un archivo PLY puede almacenar distintos tipos de datos: mostrar sus centros como puntos no equivale a renderizar las gaussianas completas.
Recorre la colección de reconstrucciones de TinyPlanet desde Observatory Explorer y descubre cómo cambia la vista al explorar cada observatorio.
Para profundizar