2UP Blog prowadzony przez grupę szalonych blogerów, na czele których stoi Alan. Nie trudno nudzić się przy przeglądaniu tej strony. Od skeczy, śmiesznych filmików „Home Made”, przez ambitne filmy krótkometrażowe po ładne Panie w skąpych ubraniach.

990 px redagowane przez Piotra Macura. Zbiory, zestawienia lub galerie wybitnych fotografów. Dzielone często tematycznie pokazując ludzi w szczęściu i smutku, piękno natury, a czarami brutalność realnego świata. A to wszystko prezentowane poprzez zdjęcia bardzo fajnej jakości.

Clients from Hell tworzony przez życie, okrutne i złośliwe, a pomagają mu w tym Klienci z piekła rodem. Strona anglojęzyczna, ale bardzo wesoła. Nic dodać nic ująć tylko czytać.

Antyweb prowadzony przez Grzegorza Marczaka to ogólny przegląd po świecie StartUp’ów, wykorzystywania technologii internetowych i wszystkiego co z internetem związanego.

Blogsilnika tworzony przez Kwahoo’a. Nowinki ze świata motoryzacji które rzadko spotyka się na popularnych portalach motoryzacyjnych. Blog jedynie dla wybranych, lub też obdarzonych zmysłem technicznym i kochających motoryzacje „dogłębnie”.

Czy warto czytać to musicie sami ocenić.

$seek = $xx;

Wstawione zmienna $xx jest unikalna i pojawia się tylko raz. Użyłem zmiennej a nie unikalnego „dziwnego” string’a aby edytor PHP nie pokazywał mi błędu. Wygodniej się wtedy pracuje. Oczywiście jeśli wielkość szablonu jest różny niż 3 cyfrowa liczba, to należy tą liczbę zmodyfikować, aby po dodaniu pokazywała na dobre miejsce. Dlaczego 3 cyfrowa ? Bo zastępuje ona 3 znakowy string oznaczający zmienną.

$desc = './init.php';
$size = filesize($desc);
if( strlen( (string)$size ) != 3 )  {
	$size =  $size + (strlen( (string)$size ) - 3);
}
file_put_contents($desc, str_replace('$xx', $size, file_get_contents($desc) ) );

Po zmodyfikowaniu szablonu, rozpoczynamy kompresje i doklejanie danych.

$content = gzcompress($filename.'__++__'.file_get_contents( $filename() ), 9 ); 
// __++__ służy jako unikalny znak rozdzielający ścieżke pliku od jego zawartości
$size = (strlen($content));
$size = str_pad($size, 10);
file_put_contents($desc, $size.$content, FILE_APPEND );
 
file_put_contents($desc, str_pad('[end]', 10), FILE_APPEND );
chmod($desc, 0755);

Oczywiście unikalny string „__++__” można zastąpić innym lub też zmodyfikować nagłówek tak, aby pomieścił długość danych oraz nazwę pliku. Można by też to skompresować dla mniejszej ilości danych ale należy tak dobrać tak długość nagłówka aby na pewno pomieścił wszystkie dane. Co oczywiście przy dłuższych nazwach plików lub ogólnie dłuższych ścieżkach może komplikować sprawę.
Może kiedyś zmodyfikuje żeby było bardziej pro
To na tyle jesli chodzi o kompresje, zakończenie pliku oraz ustawienie prac do wykonania. Wszystko później ubierzemy w jakiś ładny Iteratorek Rekursywny po katalogu do tego jakaś pętelka i już jesteśmy w domu. Działające pliki oczywiście na samym dole wpisu.

A jak działa sam szablon ? To proste. Odczytuje wartość przesunięcia i zmienia pozycje wskaźnika do pliku i odczytuje 10 bajtów nagłówka.

$seek = 786; //przykładowa wartość 
$end = false; //flaga dla ostatniego pliku
$gz = fopen(".$argv[0].", "r"); //wywolanie pliku z lini polecen przekazuje nazwe pliku w 0 elemencie tablicy $argv
fseek($gz, $seek); //przesuwamy wskaźnik
$size = trim( fread($gz, 10) ); //czytamy 10 bajtów nagłówka
if( $size == '[end]') {	$end = true; continue; 	} //szukanie znacznika koncowego
$seek += 10; // przesuwamy wartość o wielkość nagłówka

Po wykonaniu tego kodu mamy już ilość danych do przeczytania oraz zmienna gdzie mamy wartosc do jakiej mamy przesunąć wskaźnik aby trafił na początek danych pliku.

No więc czas odczytać zawartość pliku oraz jego nazwę, zapisać na dysk i tak dalej.

fseek($gz, $seek); //przesuwamy wskaźnik za nagłówek
$file = gzuncompress( fread($gz, $size) ); //odczytujemy dane i odrazu dekompresujemy
list($filename, $content) = explode('__++__', $file); //rozdzielamy nazwe pliku i dane
//sprawdzamy czy ewentualny katalog do pliku istnieje jesli nie to będziemy go tworzyć
$dir = dirname($filename);
if( !file_exists( $dir ) ) {
	mkdir($dir, 0755, true);
	echo "Directory $dir ... created\n";
}
//sprawdzamy czy sam plik istnieje
if( file_exists($filename) ) {
	echo "Error ! $filename allready exists !\n";
} else {
	file_put_contents($filename, $content);
	echo "$filename ... created\n";
}
//przesuwamy wartość o wielkość odczytywanych danych, co powinno wskazywać na nagłówek następnego pliku
$seek += $size;

I kolejny raz wystarczy ubrać wszystko w pętelke i wszystko będzie działać ładnie.

W obu skryptach można pokusić się o wiele udoskonaleń. Poprawić nagłówki aby trzymały, wielkość, nazwę pliku, jego uprawnienia. Dodatkowo szablon może sprawdzać wersje PHP czy posiada rozszerzenie „zlib„. W szale nudów można by stworzyć ładny wygląd przy rozpakowywaniu, jakiś progress bar albo nawet wizualizacje pod konsolą Linuksa w dodatku ncurses.
Można stworzyć samo wyzwalacz po rozpakowaniu, powiedzmy ładujący baze danych czy cokolwiek innego.

Modyfikacje pozostawiam czytelnikom którzy przypadkiem trafili na tą stronę i się zgubili i trafili na koniec tego posta. Swoje modyfikacje zaprezentuje pewnie w późniejszym czasie.
Poniżej w pełni działający szablon oraz „kompresor”.

Skrypt „Kompresora” (używam Linuksa więc dlatego ta pierwsza linijka, to tak jak by ktoś nie rozumiał)

#!/usr/bin/php
<?php
$source = './szablon.php';
$desc = './setup.php';
$path = './script_dir/';
if( file_exists($desc) ) {
	unlink($desc);
}
copy($source, $desc);
 
$size = filesize($desc);
if( strlen( (string)$size ) != 3 )  {
	$size =  $size + (strlen( (string)$size ) - 3);
}
file_put_contents($desc, str_replace('$xx', $size, file_get_contents($desc) ) );
 
 
$dir = new RecursiveIteratorIterator( new RecursiveDirectoryIterator($path), RecursiveIteratorIterator::SELF_FIRST );
 
foreach( $dir as $file ) {
	if( !$file->isDir() ) {
		$filename = str_replace( $path, './', $file->getPath().'/'.$file->getFilename() );
		echo  $filename." ... ";
 
		$content = gzcompress($filename.'__++__'.file_get_contents( $file->getPath().'/'.$file->getFilename() ), 9 );
		$size = (strlen($content));
		$size = str_pad($size, 10);
 
		file_put_contents($desc, $size.$content, FILE_APPEND );
 
		echo " done\n";
	}
}
file_put_contents($desc, str_pad('[end]', 10), FILE_APPEND );
chmod($desc, 0755);
?>

Plik Szablonu

#!/usr/bin/php
<?php
 
$seek = $xx;
$end = false;
$gz = fopen(".$argv[0].", "r");
while( !$end ) {
	fseek($gz, $seek);
	$size = trim( fread($gz, 10) );
	if( $size == '[end]') {	$end = true; continue; 	}
	$seek += 10;
	fseek($gz, $seek);
	$file = gzuncompress( fread($gz, $size) );
	list($filename, $content) = explode('__++__', $file);
	$dir = dirname($filename);
	if( !file_exists( $dir ) ) {
		mkdir($dir, 0755, true);
		echo "Directory $dir ... created\n";
	}
	if( file_exists($filename) ) {
		echo "Error ! $filename allready exists !\n";
	} else {
		$content = str_replace('${nazwa_projektu}', $projekt, $content);
		file_put_contents($filename, $content);
		echo "$filename ... created\n";
	}
 
	$seek += $size;
}
gzclose($gz);
echo "Finish !\n";
die();
//pamietajcie zostawić enter na końcu szablonu !!!
?>

DarkSide w kolorze

DarkSide czarno biały

$tresc = ''; //definiujemy zmienna 
$uchwyt = fopen('pliczek.log', "rb");
$tresc .= fread($uchwyt, 300 ); //dopisujemy do zmiennej kawałek pliku
$tresc = str_replace("\r",'',$tresc);
if( strpos( $tresc, chr(10) ) === false ) {
    //doczytujemy jeszcze kawalek i jeszcze raz szukamy i tak aż znajdziemy
} else {
    $strpos = strpos( $tresc, chr(10) ); //znajdujemy pozycje entera
    $linia = substr($tresc, 0, $strpos); //odcinamy interesujący nas odcinek
    $tresc = substr($tresc, $strpos+1, strlen($tresc) ); //i usuwamy odcięty kawałek od pobranej treści wraz z enterem i zostawiamy do następnego odczytu
   funkcjaAnalizujaca( $linia ); //możemy coś zwracać lub nie, to jest obojętne.
}

Oczywiście to trzeba ładnie ubrać w pętelkę gdzie będziemy się kręcić aż otrzymamy EOF (End Of File). Oczywiście można to wszystko ubrać w klasę, konfigurowalne zmienne, w dodatkowe zabawki typu zliczanie ilości linii, statystyka czasów analizy poszczególnych linii i inne wesołe rzeczy. Wszystkie takie rzeczy możecie podejrzeć w skrypcie który ja przygotowałem dla własnych celów, gdzie większość tych rzeczy jest już dodana.

Teraz apropo jednoczesnym przetwarzaniu więcej niż jednej linii jednocześnie. Niestety muszę zmartwić wielu z was, działa to jedynie pod systemami *unix oraz jedynie pod konsolą czyli wywoływane z linii poleceń. Windows oraz mod-php dla apache odpadają. To już jest ograniczenie od strony php. Będziemy korzystać z modułu Process Control, który nie jest domyślnie kompilowany do PHP. Żeby nie było nieścisłości to nie jest wielowątkowość ale fork czyli rozwidlenie procesu. Główny skrypt który jest rodzicem, tworzy dziecko które jest jego kopią. U nas tylko dzieci będą analizować pojedyncze linie logów, a rodzic będzie starał się nad tym „przedszkolem” zapanować. Zasady działania forków nie będę tłumaczył, jest Manual, jest Wikipedia no i Google.
Wiec ustalamy sobie maksymalną ilość dzieci. Niestety w zależności od sprzętu możecie zrobić ich więcej lub mniej. Musicie po testować różne ustawienia. Więc przykładowo będziemy pracowali z czwórką dzieci. Jako że procesy się nie komunikują między sobą wykorzystamy funkcję, która obsługuje otrzymane sygnały (pcntl_signal) a dokładniej chodzi nam o sygnał zakończenia procesu dziecka czyli SIGCHLD. Przy tworzeniu dziecka powiększamy licznik o 1 a gdy otrzymamy sygnał zamknięcia pomniejszamy. W ten sposób jesteśmy w stanie jakoś zapanować nad tym wszystkim. a oto przykład (brany gdzieś z manuala ale ten jest w miarę przejrzysty):

$child = 0;
$max=3;
function sig_handler($signo) {
    global $child; //zmienna która trzyma ilość "wyprodukowanych" dzieci
    switch ($signo) {
        case SIGCHLD:
            --$child;
            break;
        //tutaj możemy obsługiwać inne sygnały jak na przykład zamkniecie głównego skryptu, lub dowolnie wybrane przez nas sygnały
    }
}
 
pcntl_signal(SIGCHLD, "sig_handler");
 
for( $a=0; $a < 20; $a++ ) {
	$child++;
	$pid=pcntl_fork();
 
	if ($pid == -1) {
		die("Nie mozna zrobić dziecka");
	} elseif ($pid) {
 
		if ( $child >= $max ) {
			echo "Za dużo dzieci w przedszkolu \n";
			pcntl_wait($status);
		}
	} else {
		sleep( rand(1,10) );
		file_put_contents('./file.log', $a.'.', FILE_APPEND );  //zadanie do wykonania
		//dla przykładu wykonujemy zapis do pliku dla każdego dzieciaka, żeby pokazać że to naprawdę działa
		// a sleep pokaże ze czasami w różnych kolejnościach będzie to wykonywane, ze względu na rożny czas wykonania zadania
 
		exit;
	}
}

Tyle mechanizmu, który czyta plik. Jeśli chodzi o analizę pliku to już zależy co my tam robimy. Jako że kiedyś przymierzałem się do jakiegoś dużego analizatora to wykombinowałem takie małe wyrażenie regularne. Znając życie albo posiada błędy albo można go jeszcze zoptymalizować. Może i kiedyś przy tym usiądę ale chyba nie dziś. A oto ten malutki tasiemiec.

preg_match('/(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) ([^\s]+) ([^\s]+) \[(\d{2}\/[a-zA-Z]{3}\/\d{4}:\d{2}:\d{2}:\d{2} [+|-]\d{4})\] "(?:(POST|GET|PUT|DELETE|CONNECT|OPTIONS|HEAD|TRACE) ((?:http:\/\/|\/)?[^\s]*(?:\/[^\/\s]*)?) (HTTP\/\d\.\d))" ([1-5]\d{2}) (-|\d+) "([^"]*)" "([^"]*)"/', $linia, $match);
list($calosc, $ip, $niemampojecia, $http_user, $data, $method, $url, $http_protocol, $http_code, $transfer, $referrer, $user_agent) = $match;

Oczywiście można to po swojemu wykorzystać. Ja osobiście, najczęściej zliczam wykorzystany transfer przez daną domenę. A jeśli chcecie zobaczyć jak tą całą opowieść ubrałem w skrypt to zapraszam do ściągnięcia pliku gdzie jest spakowany skrypt główny oraz przykładowe rozszerzenie do analizy logów ‘Combined’ z Apache.
Należy pamiętać, że skrypt który zlicza transfer z logów, nie powinien działać w trybie „pseudo-wielowątkowy”, ponieważ transfer jest zliczany w pamięci php, czyli jest zapisany w zmiennych. Jeśli ktoś ma ochotę to może przerobić tak skrypt aby zliczał transfer w pliku, w bazie danych lub innym zewnętrznym nośniku.

Po co mi ten skrypt ? Bo czasami jak otrzymam od kogoś kawałek szablonu ze skryptami. To wygląda to jak pole po bitwie lub niekończące się tasiemce. Często w pracy grafik przysyła nam szablony pocięte do tego CSS gdzie każda klasa szablonu jest napisana w jednej linii, a do tego bardzo długiej. Ja preferuje zupełnie odmienny styl.

Na początek musimy przeanalizować plik CSS. Wykorzystamy do tego proste wyrażenia regularne, które rozpoznają nam poszczególne części. Musimy rozpoznać 3 podstawowe rzeczy: Nazwę klasy wraz z jej ‘ciałem’, następnie z ów ciała musimy wyciągnąć atrybuty i ich wartości. Trzecią i ostatnią rzeczą są komentarze, które z mojego punktu widzenia są w ogóle niepotrzebne więc w tej wersji są po prostu usuwane.

/* wyrazenie regularne do wyszukiwania klas */
$patern_main = '~([\.|#]?[^{]*)[\s]*\{([^}]*)\}~i';
/* wyrazenie regularne do wyszukiwania atrybutow w klasach */
$patern_css = '~([^\:\;\s]+)\s*:\s*([^\;\s]+)~i';
/* wyrazenie regularne do wyszukania i usuniecia komentarzy */
$patern_comments = '~\/\*[^*]*\*+([^/*][^*]*\*+)*\/~i';

Cała reszta jest już prosta. W pierwszej kolejności usuwamy wszystkie znaki nowej linii oraz tabulatory, a następnie pozbywamy się wszystkich komentarzy. czyli:

$css = file_get_contents('/sciezka/do/pliku.css');
$css = str_replace(array("\n", "\r", "\t"), '', $css );
/* usuwanie komentarzy */
$css = preg_replace($patern_comments, '', $css);

Tak obrobiony styl będziemy teraz przeszukiwać, korzystając z wyrażeń regularnych.

/* wyszukiwanie klas */
preg_match_all($patern_main, $css, $match);
 
$css_array = array();
foreach (array_keys($match[0]) as $key) {
	$css_match = array(); //czyscimy tablice w przypadku pustej klasy
	$css_body = trim( $match[2][ $key ] );
	if( $css_body != '' ) { //jesli definicja klasy jest pusta to ja opuszczamy
		preg_match_all($patern_css, $css_body, $css_match);
		$css_array[ trim( $match[1][ $key ] ) ] = array_combine($css_match[1], $css_match[2]);
	} else {
		$css_array[ trim( $match[1][ $key ] ) ] = array();
	}
}

W ten sposób mamy już „rozłożony” styl CSS na czynniki pierwsze. Można by się pokusić oczywiście o sprawdzanie poprawności poszczególnych elementów i ich wartości. Ale sądzę że jest to raczej czysta formalność stworzyć słownik atrybutów oraz ich dopuszczalnych wartości.
Drugim pomysłem może być powiedzmy analiza i wyszukanie powtarzających się klas lub też wielokrotne powtarzanie tych samych atrybutów wraz z wartościami w różnych klasach. Ale podejrzewam, że będzie to materiał na inny wpis.

Teraz może poukładamy wszystkie klasy na dwa sposoby, „tasiemiec” oraz „drzewko”. Żeby wyjaśnić różnice pokaże przykładzie.

body { background-color: white; margin: 0px; padding: 0px; }
/*lub*/
body { 
	background-color: white; 
	margin: 0px; 
	padding: 0px; 
}

Poniżej układamy CSS’a jeśli chcemy tasiemce zmienne $nl i $tab pozostawiamy puste lub też pozostawiamy tak jak teraz i mamy drzewka.

$nl = "\n";
$tab = "\t";
$string = '';
foreach( $css_array as $klasa => $body ) {
	$string .= $klasa.' {'.$nl;
	foreach( $body as $att => $value ) {
		$string .= $tab."$att: $value;".$nl;
	}
	$string .= "}\n";
}

Oczywiście kod ma parę niedociągnięć. Nie obsługuje takich tagów jak import, charset ale może to kiedy indziej.
Czy komuś się to przyda nie wiem, jak w tytule był robiony w chwili wolnego czasu. Będzie chociaż troche ładnie poukładane.

Kod poskładany w całość:

<?php
$file = '/sciezka/do/pliku.css';
$css = file_get_contents($file);
$css = str_replace(array("\n", "\r", "\t"), '', $css );
 
/* wyrazenie regularne do wyszukiwania klas */
$patern_main = '~([\.|#]?[^{]*)[\s]*\{([^}]*)\}~i';
/* wyrazenie regularne do wyszukiwania atrybutow w klasach */
$patern_css = '~([^\:\;\s]+)\s*:\s*([^\;\s]+)~i';
/* wyrazenie regularne do wyszukania i usuniecia komentarzy */
$patern_comments = '~\/\*[^*]*\*+([^/*][^*]*\*+)*\/~i';
 
/* usuwanie komentarzy */
$css = preg_replace($patern_comments, '', $css);
 
/* wyszukiwanie klas */
preg_match_all($patern_main, $css, $match);
 
$css_array = array();
foreach (array_keys($match[0]) as $key) {
	$css_match = array(); //czyscimy tablice w przypadku pustej klasy
	$css_body = trim( $match[2][ $key ] );
	if( $css_body != '' ) { //jesli definicja klasy jest pusta to ja opuszczamy
		preg_match_all($patern_css, $css_body, $css_match);
		$css_array[ trim( $match[1][ $key ] ) ] = array_combine($css_match[1], $css_match[2]);
	} else {
		$css_array[ trim( $match[1][ $key ] ) ] = array();
	}
}
$nl = "\n";
$tab = "\t";
$string = '';
foreach( $css_array as $klasa => $body ) {
	$string .= $klasa.' {'.$nl;
	foreach( $body as $att => $value ) {
		$string .= $tab."$att: $value;".$nl;
	}
	$string .= "}\n";
}
?>