Trudno mi powiedzieć co to takiego jest, albo raczej jak to nazwać. Kto używa Linuksa spotyka czasami się z wersją instalatora w postaci pliku .sh który dużo waży jest skryptem ale z sporym bagażem. Wszystko ładnie po otwarciu pliku widoczny jest rzeczywiście skrypt shell’a, ale jeśli przewiniemy wystarczająco nisko zobaczymy tam „krzaczki” czyli dane do rozpakowania.
No więc tak właśnie mechanizm stworzyłem na własny i przy okazji służbowy użytek.

Sama zasada działania jest prosta. Uruchamiany jest skrypt który Odczytuje sam siebie i rozpakowuje sam siebie. Niby nic trudnego, kwestia tylko przesunąć wskaźnik do miejsca gdzie zaczynają się dane do rozpakowania a kończy skrypt. Jedyne co trzeba zrobić to stworzyć taki plik. A do tego tez napiszemy automacik. Lubie automatyzować co tylko się da bo tak się żyje prościej (czasami)
Jako że wykorzystamy do tego rozszerzenie zlib możemy pakować pliki jeden za drugim, nie kompresujemy dużej ilości plików tylko każdy po kolei. Struktura pliku będzie wyglądać następująco:
Skrypt >> ([10 bajtowy nagłówek z liczba określającą długość skompresowanego pliku] >> [skompresowany plik z pełną ścieżka i nazwą pliku] ) x Dowolną ilość razy >> [end] (znacznik kończący).
Sam sens jest dość prosty. Najlepsze jest to że wielkość pliku nie wpłynie na ilość „pochłoniętej” pamięci, ponieważ na końcu skryptu „zabijamy” interpreter poprzez die() i zamykamy interpreter poprzez ?>.
W pierwszym nagłówku można by się postarać o bardziej finezyjną formę ale w chwili obecnej chodzi mi raczej o prostotę rozwiązania. w pierwszych 10 bajtach jest jawna, nieskompresowana liczba, która określa jak ile należy przeczytać aby pobrać cały plik i go rozpakować. Nagłówek pliku jest dopełniany pustymi miejscami do 10 znaków. Po tych znakach od razu rozpoczyna się skompresowany plik. Po zakończeniu pliku Rozpoczyna się kolejny 10 bajtowy nagłówek a po nich kolejny plik i tak dopóki zamiast 10 bajtowego nagłówka pojawi się string „[end]” oznaczający po prostu koniec pliku.
Aby wszystko działało musimy mieć dwa pliki wykonujące oraz katalog w którym znajdują się pliki do zainstalowania. Pierwszy plik wykonujący to skrypt rozpakowujący, ale bez danych o plikach. Taki powiedzmy szablon. który zostanie skopiowany, zmodyfikowany o pewna wartość a następnie dodany do niego „bagaż”.
Drugi plik to ów automacik który wykona za nas całą brudną robotę pakowania i modyfikacji szablonu. Pierwszym krokiem jest oczywiście skopiowanie szablonu, obliczenie jego długości „na pusto” i zmodyfikowanie go tak, aby wiedział od którego miejsca zaczyna się pierwszy nagłówek.
W szablonie zostawimy taka linijke

$seek = $xx;

Wstawione zmienna $xx jest unikalna i pojawia się tylko raz. Użyłem zmiennej a nie unikalnego „dziwnego” string’a aby edytor PHP nie pokazywał mi błędu. Wygodniej się wtedy pracuje. Oczywiście jeśli wielkość szablonu jest różny niż 3 cyfrowa liczba, to należy tą liczbę zmodyfikować, aby po dodaniu pokazywała na dobre miejsce. Dlaczego 3 cyfrowa ? Bo zastępuje ona 3 znakowy string oznaczający zmienną.

$desc = './init.php';
$size = filesize($desc);
if( strlen( (string)$size ) != 3 )  {
	$size =  $size + (strlen( (string)$size ) - 3);
}
file_put_contents($desc, str_replace('$xx', $size, file_get_contents($desc) ) );

Po zmodyfikowaniu szablonu, rozpoczynamy kompresje i doklejanie danych.

$content = gzcompress($filename.'__++__'.file_get_contents( $filename() ), 9 ); 
// __++__ służy jako unikalny znak rozdzielający ścieżke pliku od jego zawartości
$size = (strlen($content));
$size = str_pad($size, 10);
file_put_contents($desc, $size.$content, FILE_APPEND );
 
file_put_contents($desc, str_pad('[end]', 10), FILE_APPEND );
chmod($desc, 0755);

Oczywiście unikalny string „__++__” można zastąpić innym lub też zmodyfikować nagłówek tak, aby pomieścił długość danych oraz nazwę pliku. Można by też to skompresować dla mniejszej ilości danych ale należy tak dobrać tak długość nagłówka aby na pewno pomieścił wszystkie dane. Co oczywiście przy dłuższych nazwach plików lub ogólnie dłuższych ścieżkach może komplikować sprawę.
Może kiedyś zmodyfikuje żeby było bardziej pro
To na tyle jesli chodzi o kompresje, zakończenie pliku oraz ustawienie prac do wykonania. Wszystko później ubierzemy w jakiś ładny Iteratorek Rekursywny po katalogu do tego jakaś pętelka i już jesteśmy w domu. Działające pliki oczywiście na samym dole wpisu.

A jak działa sam szablon ? To proste. Odczytuje wartość przesunięcia i zmienia pozycje wskaźnika do pliku i odczytuje 10 bajtów nagłówka.

$seek = 786; //przykładowa wartość 
$end = false; //flaga dla ostatniego pliku
$gz = fopen(".$argv[0].", "r"); //wywolanie pliku z lini polecen przekazuje nazwe pliku w 0 elemencie tablicy $argv
fseek($gz, $seek); //przesuwamy wskaźnik
$size = trim( fread($gz, 10) ); //czytamy 10 bajtów nagłówka
if( $size == '[end]') {	$end = true; continue; 	} //szukanie znacznika koncowego
$seek += 10; // przesuwamy wartość o wielkość nagłówka

Po wykonaniu tego kodu mamy już ilość danych do przeczytania oraz zmienna gdzie mamy wartosc do jakiej mamy przesunąć wskaźnik aby trafił na początek danych pliku.

No więc czas odczytać zawartość pliku oraz jego nazwę, zapisać na dysk i tak dalej.

fseek($gz, $seek); //przesuwamy wskaźnik za nagłówek
$file = gzuncompress( fread($gz, $size) ); //odczytujemy dane i odrazu dekompresujemy
list($filename, $content) = explode('__++__', $file); //rozdzielamy nazwe pliku i dane
//sprawdzamy czy ewentualny katalog do pliku istnieje jesli nie to będziemy go tworzyć
$dir = dirname($filename);
if( !file_exists( $dir ) ) {
	mkdir($dir, 0755, true);
	echo "Directory $dir ... created\n";
}
//sprawdzamy czy sam plik istnieje
if( file_exists($filename) ) {
	echo "Error ! $filename allready exists !\n";
} else {
	file_put_contents($filename, $content);
	echo "$filename ... created\n";
}
//przesuwamy wartość o wielkość odczytywanych danych, co powinno wskazywać na nagłówek następnego pliku
$seek += $size;

I kolejny raz wystarczy ubrać wszystko w pętelke i wszystko będzie działać ładnie.

W obu skryptach można pokusić się o wiele udoskonaleń. Poprawić nagłówki aby trzymały, wielkość, nazwę pliku, jego uprawnienia. Dodatkowo szablon może sprawdzać wersje PHP czy posiada rozszerzenie „zlib„. W szale nudów można by stworzyć ładny wygląd przy rozpakowywaniu, jakiś progress bar albo nawet wizualizacje pod konsolą Linuksa w dodatku ncurses.
Można stworzyć samo wyzwalacz po rozpakowaniu, powiedzmy ładujący baze danych czy cokolwiek innego.

Modyfikacje pozostawiam czytelnikom którzy przypadkiem trafili na tą stronę i się zgubili i trafili na koniec tego posta. Swoje modyfikacje zaprezentuje pewnie w późniejszym czasie.
Poniżej w pełni działający szablon oraz „kompresor”.

Skrypt „Kompresora” (używam Linuksa więc dlatego ta pierwsza linijka, to tak jak by ktoś nie rozumiał)

#!/usr/bin/php
<?php
$source = './szablon.php';
$desc = './setup.php';
$path = './script_dir/';
if( file_exists($desc) ) {
	unlink($desc);
}
copy($source, $desc);
 
$size = filesize($desc);
if( strlen( (string)$size ) != 3 )  {
	$size =  $size + (strlen( (string)$size ) - 3);
}
file_put_contents($desc, str_replace('$xx', $size, file_get_contents($desc) ) );
 
 
$dir = new RecursiveIteratorIterator( new RecursiveDirectoryIterator($path), RecursiveIteratorIterator::SELF_FIRST );
 
foreach( $dir as $file ) {
	if( !$file->isDir() ) {
		$filename = str_replace( $path, './', $file->getPath().'/'.$file->getFilename() );
		echo  $filename." ... ";
 
		$content = gzcompress($filename.'__++__'.file_get_contents( $file->getPath().'/'.$file->getFilename() ), 9 );
		$size = (strlen($content));
		$size = str_pad($size, 10);
 
		file_put_contents($desc, $size.$content, FILE_APPEND );
 
		echo " done\n";
	}
}
file_put_contents($desc, str_pad('[end]', 10), FILE_APPEND );
chmod($desc, 0755);
?>

Plik Szablonu

#!/usr/bin/php
<?php
 
$seek = $xx;
$end = false;
$gz = fopen(".$argv[0].", "r");
while( !$end ) {
	fseek($gz, $seek);
	$size = trim( fread($gz, 10) );
	if( $size == '[end]') {	$end = true; continue; 	}
	$seek += 10;
	fseek($gz, $seek);
	$file = gzuncompress( fread($gz, $size) );
	list($filename, $content) = explode('__++__', $file);
	$dir = dirname($filename);
	if( !file_exists( $dir ) ) {
		mkdir($dir, 0755, true);
		echo "Directory $dir ... created\n";
	}
	if( file_exists($filename) ) {
		echo "Error ! $filename allready exists !\n";
	} else {
		$content = str_replace('${nazwa_projektu}', $projekt, $content);
		file_put_contents($filename, $content);
		echo "$filename ... created\n";
	}
 
	$seek += $size;
}
gzclose($gz);
echo "Finish !\n";
die();
//pamietajcie zostawić enter na końcu szablonu !!!
?>

Na pewno sporo osób próbowało swoich sił w stworzeniu skryptu do zliczania odwiedzin na stronie na podstawie logów z Apache’a. W sumie nic trudnego, schemat logów jest w miarę prosty, odczytać i po sprawie. A jak wygląda sprawa przy plikach wielkości setek megabajtów lub gigabajtów ? Trzeba sprytnie to odczytywać linia po linii, przeanalizować i wywalić z pamięci. A jak mamy dwa lub więcej rdzeni w procesorze, to może by tak parę linii na raz analizować ?
Sama zasada jest dość prosta. Odczytujemy mały blok pliku i wyszukujemy gdzie jest znak końca linii. Jeśli nie znajdujemy to doczytujemy jeszcze kawałek. Jeśli już znaleźliśmy to odcinamy nasz kawałek i po sprawie. Przy wyszukiwaniu usuwamy wszystkie znaki powrotu karetki, jak by się znalazł jakiś plik z „enterami” z Windowsa.

$tresc = ''; //definiujemy zmienna 
$uchwyt = fopen('pliczek.log', "rb");
$tresc .= fread($uchwyt, 300 ); //dopisujemy do zmiennej kawałek pliku
$tresc = str_replace("\r",'',$tresc);
if( strpos( $tresc, chr(10) ) === false ) {
    //doczytujemy jeszcze kawalek i jeszcze raz szukamy i tak aż znajdziemy
} else {
    $strpos = strpos( $tresc, chr(10) ); //znajdujemy pozycje entera
    $linia = substr($tresc, 0, $strpos); //odcinamy interesujący nas odcinek
    $tresc = substr($tresc, $strpos+1, strlen($tresc) ); //i usuwamy odcięty kawałek od pobranej treści wraz z enterem i zostawiamy do następnego odczytu
   funkcjaAnalizujaca( $linia ); //możemy coś zwracać lub nie, to jest obojętne.
}

Oczywiście to trzeba ładnie ubrać w pętelkę gdzie będziemy się kręcić aż otrzymamy EOF (End Of File). Oczywiście można to wszystko ubrać w klasę, konfigurowalne zmienne, w dodatkowe zabawki typu zliczanie ilości linii, statystyka czasów analizy poszczególnych linii i inne wesołe rzeczy. Wszystkie takie rzeczy możecie podejrzeć w skrypcie który ja przygotowałem dla własnych celów, gdzie większość tych rzeczy jest już dodana.

Teraz apropo jednoczesnym przetwarzaniu więcej niż jednej linii jednocześnie. Niestety muszę zmartwić wielu z was, działa to jedynie pod systemami *unix oraz jedynie pod konsolą czyli wywoływane z linii poleceń. Windows oraz mod-php dla apache odpadają. To już jest ograniczenie od strony php. Będziemy korzystać z modułu Process Control, który nie jest domyślnie kompilowany do PHP. Żeby nie było nieścisłości to nie jest wielowątkowość ale fork czyli rozwidlenie procesu. Główny skrypt który jest rodzicem, tworzy dziecko które jest jego kopią. U nas tylko dzieci będą analizować pojedyncze linie logów, a rodzic będzie starał się nad tym „przedszkolem” zapanować. Zasady działania forków nie będę tłumaczył, jest Manual, jest Wikipedia no i Google.
Wiec ustalamy sobie maksymalną ilość dzieci. Niestety w zależności od sprzętu możecie zrobić ich więcej lub mniej. Musicie po testować różne ustawienia. Więc przykładowo będziemy pracowali z czwórką dzieci. Jako że procesy się nie komunikują między sobą wykorzystamy funkcję, która obsługuje otrzymane sygnały (pcntl_signal) a dokładniej chodzi nam o sygnał zakończenia procesu dziecka czyli SIGCHLD. Przy tworzeniu dziecka powiększamy licznik o 1 a gdy otrzymamy sygnał zamknięcia pomniejszamy. W ten sposób jesteśmy w stanie jakoś zapanować nad tym wszystkim. a oto przykład (brany gdzieś z manuala ale ten jest w miarę przejrzysty):

$child = 0;
$max=3;
function sig_handler($signo) {
    global $child; //zmienna która trzyma ilość "wyprodukowanych" dzieci
    switch ($signo) {
        case SIGCHLD:
            --$child;
            break;
        //tutaj możemy obsługiwać inne sygnały jak na przykład zamkniecie głównego skryptu, lub dowolnie wybrane przez nas sygnały
    }
}
 
pcntl_signal(SIGCHLD, "sig_handler");
 
for( $a=0; $a < 20; $a++ ) {
	$child++;
	$pid=pcntl_fork();
 
	if ($pid == -1) {
		die("Nie mozna zrobić dziecka");
	} elseif ($pid) {
 
		if ( $child >= $max ) {
			echo "Za dużo dzieci w przedszkolu \n";
			pcntl_wait($status);
		}
	} else {
		sleep( rand(1,10) );
		file_put_contents('./file.log', $a.'.', FILE_APPEND );  //zadanie do wykonania
		//dla przykładu wykonujemy zapis do pliku dla każdego dzieciaka, żeby pokazać że to naprawdę działa
		// a sleep pokaże ze czasami w różnych kolejnościach będzie to wykonywane, ze względu na rożny czas wykonania zadania
 
		exit;
	}
}

Tyle mechanizmu, który czyta plik. Jeśli chodzi o analizę pliku to już zależy co my tam robimy. Jako że kiedyś przymierzałem się do jakiegoś dużego analizatora to wykombinowałem takie małe wyrażenie regularne. Znając życie albo posiada błędy albo można go jeszcze zoptymalizować. Może i kiedyś przy tym usiądę ale chyba nie dziś. A oto ten malutki tasiemiec.

preg_match('/(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) ([^\s]+) ([^\s]+) \[(\d{2}\/[a-zA-Z]{3}\/\d{4}:\d{2}:\d{2}:\d{2} [+|-]\d{4})\] "(?:(POST|GET|PUT|DELETE|CONNECT|OPTIONS|HEAD|TRACE) ((?:http:\/\/|\/)?[^\s]*(?:\/[^\/\s]*)?) (HTTP\/\d\.\d))" ([1-5]\d{2}) (-|\d+) "([^"]*)" "([^"]*)"/', $linia, $match);
list($calosc, $ip, $niemampojecia, $http_user, $data, $method, $url, $http_protocol, $http_code, $transfer, $referrer, $user_agent) = $match;

Oczywiście można to po swojemu wykorzystać. Ja osobiście, najczęściej zliczam wykorzystany transfer przez daną domenę. A jeśli chcecie zobaczyć jak tą całą opowieść ubrałem w skrypt to zapraszam do ściągnięcia pliku gdzie jest spakowany skrypt główny oraz przykładowe rozszerzenie do analizy logów ‘Combined’ z Apache.
Należy pamiętać, że skrypt który zlicza transfer z logów, nie powinien działać w trybie „pseudo-wielowątkowy”, ponieważ transfer jest zliczany w pamięci php, czyli jest zapisany w zmiennych. Jeśli ktoś ma ochotę to może przerobić tak skrypt aby zliczał transfer w pliku, w bazie danych lub innym zewnętrznym nośniku.