From 891c72a3374b810770cc6d85cb703ae158497d6f Mon Sep 17 00:00:00 2001 From: Daniel Baumann Date: Sat, 7 Nov 2015 16:28:38 +0100 Subject: Merging upstream version 0.8. Signed-off-by: Daniel Baumann --- decompress.cc | 70 ++++++++++++++++++++++++++++++++++++++++++++--------------- 1 file changed, 53 insertions(+), 17 deletions(-) (limited to 'decompress.cc') diff --git a/decompress.cc b/decompress.cc index df8d88e..ef098ae 100644 --- a/decompress.cc +++ b/decompress.cc @@ -1,6 +1,6 @@ /* Plzip - A parallel compressor compatible with lzip Copyright (C) 2009 Laszlo Ersek. - Copyright (C) 2009, 2010 Antonio Diaz Diaz. + Copyright (C) 2009, 2010, 2011, 2012 Antonio Diaz Diaz. This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by @@ -73,6 +73,9 @@ private: pthread_cond_t slot_av; // free output slot available bool eof; // splitter done + Packet_courier( const Packet_courier & ); // declared as private + void operator=( const Packet_courier & ); // declared as private + public: Packet_courier( const int workers, const int slots ) : icheck_counter( 0 ), iwait_counter( 0 ), @@ -82,14 +85,14 @@ public: opacket_queues( workers ), num_working( workers ), num_workers( workers ), num_free( 8 * slots ), eof( false ) { - xinit( &iav_or_eof, &imutex ); - xinit( &oav_or_exit, &omutex ); xinit( &slot_av, 0 ); + xinit( &imutex ); xinit( &iav_or_eof ); + xinit( &omutex ); xinit( &oav_or_exit ); xinit( &slot_av ); } ~Packet_courier() { - xdestroy( &iav_or_eof, &imutex ); - xdestroy( &oav_or_exit, &omutex ); xdestroy( &slot_av, 0 ); + xdestroy( &slot_av ); xdestroy( &oav_or_exit ); xdestroy( &omutex ); + xdestroy( &iav_or_eof ); xdestroy( &imutex ); } const Slot_tally & tally() const { return slot_tally; } @@ -207,6 +210,29 @@ public: }; +// Search forward from 'pos' for "LZIP" (Boyer-Moore algorithm) +// Return pos of found string or 'pos+size' if not found. +// +int find_magic( const uint8_t * const buffer, const int pos, const int size ) throw() + { + const uint8_t table[256] = { + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,1,4,4,3,4,4,4,4,4,4,4,4,4,4,4,4,4,2,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, + 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4 }; + + for( int i = pos; i <= pos + size - 4; i += table[buffer[i+3]] ) + if( buffer[i] == 'L' && buffer[i+1] == 'Z' && + buffer[i+2] == 'I' && buffer[i+3] == 'P' ) + return i; // magic string found + return pos + size; + } + + struct Splitter_arg { Packet_courier * courier; @@ -235,8 +261,7 @@ extern "C" void * dsplitter( void * arg ) bool at_stream_end = ( size < buffer_size ); if( size != buffer_size && errno ) { pp(); show_error( "Read error", errno ); fatal(); } - if( size <= tsize || buffer[0] != 'L' || buffer[1] != 'Z' || - buffer[2] != 'I' || buffer[3] != 'P' ) + if( size <= tsize || find_magic( buffer, 0, 4 ) != 0 ) { pp( "Bad magic number (file not in lzip format)" ); fatal(); } long long partial_member_size = 0; @@ -244,15 +269,16 @@ extern "C" void * dsplitter( void * arg ) { int pos = 0; for( int newpos = 1; newpos <= size; ++newpos ) - if( buffer[newpos] == 'L' && buffer[newpos+1] == 'Z' && - buffer[newpos+2] == 'I' && buffer[newpos+3] == 'P' ) + { + newpos = find_magic( buffer, newpos, size + 4 - newpos ); + if( newpos <= size ) { long long member_size = 0; for( int i = 1; i <= 8; ++i ) { member_size <<= 8; member_size += base_buffer[tsize+newpos-i]; } if( partial_member_size + newpos - pos == member_size ) { // header found - uint8_t * data = new( std::nothrow ) uint8_t[newpos - pos]; + uint8_t * const data = new( std::nothrow ) uint8_t[newpos - pos]; if( data == 0 ) { pp( "Not enough memory" ); fatal(); } std::memcpy( data, buffer + pos, newpos - pos ); courier.receive_packet( data, newpos - pos ); @@ -261,6 +287,7 @@ extern "C" void * dsplitter( void * arg ) pos = newpos; } } + } if( at_stream_end ) { @@ -317,7 +344,7 @@ extern "C" void * dworker( void * arg ) while( true ) { - Packet * ipacket = courier.distribute_packet( worker_id ); + const Packet * const ipacket = courier.distribute_packet( worker_id ); if( ipacket == 0 ) break; // no more packets to process if( ipacket->data == 0 ) LZ_decompress_finish( decoder ); @@ -362,7 +389,7 @@ extern "C" void * dworker( void * arg ) } if( LZ_decompress_finished( decoder ) == 1 ) { - LZ_decompress_reset( decoder ); + LZ_decompress_reset( decoder ); // prepare for new ipacket Packet * opacket = new Packet; // end of member token opacket->data = 0; opacket->size = 0; @@ -379,9 +406,10 @@ extern "C" void * dworker( void * arg ) } delete[] new_data; - if( LZ_decompress_total_in_size( decoder ) != 0 ) + if( LZ_decompress_member_position( decoder ) != 0 ) { pp( "Error, some data remains in decoder" ); fatal(); } - LZ_decompress_close( decoder ); + if( LZ_decompress_close( decoder ) < 0 ) + { pp( "LZ_decompress_close failed" ); fatal(); } return 0; } @@ -413,10 +441,13 @@ void muxer( Packet_courier & courier, const Pretty_print & pp, const int outfd ) // init the courier, then start the splitter and the workers and // call the muxer. -int decompress( const int num_workers, const int num_slots, - const int infd, const int outfd, const Pretty_print & pp, - const int debug_level, const bool testing ) +int decompress( const int num_workers, const int infd, const int outfd, + const Pretty_print & pp, const int debug_level, + const bool testing ) { + const int slots_per_worker = 2; + const int num_slots = ( ( INT_MAX / num_workers >= slots_per_worker ) ? + num_workers * slots_per_worker : INT_MAX ); in_size = 0; out_size = 0; Packet_courier courier( num_workers, num_slots ); @@ -460,6 +491,11 @@ int decompress( const int num_workers, const int num_slots, if( errcode ) { show_error( "Can't join splitter thread", errcode ); fatal(); } + if( verbosity >= 3 && out_size > 0 && in_size > 0 ) + std::fprintf( stderr, "%6.3f:1, %6.3f bits/byte, %5.2f%% saved. ", + (double)out_size / in_size, + ( 8.0 * in_size ) / out_size, + 100.0 * ( 1.0 - ( (double)in_size / out_size ) ) ); if( verbosity >= 2 ) std::fprintf( stderr, "decompressed size %9lld, size %9lld. ", out_size, in_size ); -- cgit v1.2.3