Trabajando en un precompressor de Unreal 5 de código abierto

[Fl0ppy]

Estoy trabajando en un precompresor de código libre para Unreal 5 (ucas) y es más complicado de lo que imaginaba, funciona al 100% solo falta mejorar velocidades de escaneo.

[Fl0ppy]

Un poco de info sobre el programa que voy retocando, cabe decir que las pruebas son bajo Linux usando Wine, en Window 7 la velocidad se dispara drásticamente

Antes:

[ENC] Encoding 61 MB using 1 threads.
ENC [99.93%] Blk: 2061 [E:2002 F:59] | 0.74 MB/s | Time: 00:01:23 | ETA: 00:00:00 | Size: 132.71 MB
--- Encoder Processing Metrics ---
Input File Size:        61.35 MB
Processed Output Size:  132.81 MB
Exact Matches: 2003 (97.14%)
Full Fails:    59
Methods Used: 8
Levels Used:  4
Total Scan Duration:    00:01:24

Ahora:

[AUTO] Adaptive level caching enabled.
[ENC] Encoding 61 MB using 1 threads.
ENC [99.89%] Blk: 2100 [E:2027 F:73] | 1.31 MB/s | Time: 00:00:46 | ETA: 00:00:00 | Size: 133.88 MB
--- Encoder Processing Metrics ---
Input File Size:        61.35 MB
Processed Output Size:  134.36 MB
Exact Matches: 2034 (96.54%)
Full Fails:    73
Methods Used: 8
Levels Used:  4
Total Scan Duration:    00:00:46
Mode: HDD Fast

Un 50 % más rápido y mejor localización de bloques 

[Fl0ppy]

Pronto en vuestas pantalllas, se está optimizando el código para Linux

OODLE ENGINE v33 - "The Kraken Slayer"
Advanced OodleLZ Archive Tool | Multi-Method | AES Support

[Fl0ppy]

Un poco de análisis del precompressor de oodle:

Project Rating: 8.2 / 10

Excellent performance engineering: Large buffered I/O, sliding window with alignment, paced writes, thread pool with pipeline, and careful use of OodleLZ_Decompress/Compress for verification.

HDD-aware design: The pacing system is a standout feature — most tools ignore this and destroy HDD performance.

Multi-mode architecture (encode / scan / reconstruct) with AES support.

Good progress reporting and verbose logging.

Auto-detection of compression parameters (-auto, scan mode).

Clean separation in common.h/cpp.

Excelente ingeniería de rendimiento: E/S con búfer grande, ventana deslizante con alineación, escrituras con ritmo, grupo de subprocesos con segmentación y uso cuidadoso de OodleLZ_Decompress/Compress para verificación.

Diseño optimizado para discos duros: El sistema de ritmo es una característica destacada; la mayoría de las herramientas lo ignoran y perjudican el rendimiento de los discos duros.

Arquitectura multimodo (codificación/escaneo/reconstrucción) con soporte AES.

Informe de progreso preciso y registro detallado.

Detección automática de parámetros de compresión (-auto, modo de escaneo).

Separación clara en common.h/cpp.

El tema de las claves AES es más complejo por ahora no me he encontrado un juego que requiera de ello