relatifs vers des liens absolus
absolutes_links($GLOBAL['main_page_data']);
// enregistre le fichier HTML principal
file_put_contents($GLOBAL['target_folder'].'/'.'index.html', $GLOBAL['main_page_data']);
// récupère le titre de la page
// cherche le charset spécifié dans le code HTML.
// récupère la balise méta tout entière, dans $meta
preg_match('##Usi', $GLOBAL['main_page_data'], $meta);
// si la balise a été trouvée, on tente d’isoler l’encodage.
if (!empty($meta[0])) {
// récupère juste l’encodage utilisé, dans $enc
preg_match('#charset="?(.*)"#si', $meta[0], $enc);
// regarde si le charset a été trouvé, sinon le fixe à UTF-8
$html_charset = (!empty($enc[1])) ? strtolower($enc[1]) : 'utf-8';
} else { $html_charset = 'utf-8'; }
// récupère le titre, dans le tableau $titles, rempli par preg_match()
preg_match('#(.*)#Usi', $GLOBAL['main_page_data'], $titles);
if (!empty($titles[1])) {
$html_title = trim($titles[1]);
// ré-encode le titre en UTF-8 en fonction de son encodage.
$title = ($html_charset == 'iso-8859-1') ? utf8_encode($html_title) : $html_title;
// si pas de titre : on utilise l’URL.
} else {
$title = $url;
}
// récupère, parse, modifie & enregistre les fichier CSS (et les fichiés liés)
$n = 0;
$count = count($liste_css);
while ( $n < $count and $n <300) { // no more than 300 ext files.
$i = $n;
$file = $liste_css[$i];
if ($data = get_external_file($file['url_fichier'], 3) and ($data !== FALSE) ) {
if (preg_match('#(css|php|txt|html|xml|js)#', $file['url_fichier']) ) {
$matches_url = array();
preg_match_all('#url\s{0,}\(("|\')?([^\'")]{1,})(\'|")?\)#i', $data, $matches_url, PREG_SET_ORDER);
$matches_url2 = array();
preg_match_all("#@import\s*(?:\"([^\">]*)\"?|'([^'>]*)'?)([^;]*)(;|$)#i", $data, $matches_url2, PREG_SET_ORDER);
$matches_url = array_merge($matches_url2, $matches_url);
// pour chaque URL/URI
foreach ($matches_url as $j => $valuej) {
if (preg_match('#^data:#', $matches_url[$j][2])) break; // if BASE64 data, dont download.
// get the filenam (basename)
$nom_fichier = (preg_match('#^(ht|f)tps?://#', $matches_url[$j][2])) ? pathinfo(parse_url($matches_url[$j][2], PHP_URL_PATH), PATHINFO_BASENAME) : pathinfo($matches_url[$j][2], PATHINFO_BASENAME);
// get the URL. For URIs, uses the GLOBALS[url] tu make the URL
// the files in CSS are relative to the CSS !
if (preg_match('#^https?://#', $matches_url[$j][2])) {
$url_fichier = $matches_url[$j][2];
}
// abs url w/o protocole
elseif (preg_match('#^//#', $matches_url[$j][2])) {
$url_fichier = $url_p['s'].':'.$matches_url[$j][2];
}
// rel url
elseif (preg_match('#^/#', $matches_url[$j][2])) {
$url_fichier = $url_p['s'].'://'.$url_p['h'].$matches_url[$j][2];
}
else {
$endstr = ($w = strpos($file['url_fichier'], '?')) ? $w : strlen($file['url_fichier']);
$url_fichier = substr(substr($file['url_fichier'], 0, $endstr), 0, -strlen($file['nom_fich_origine'])).$matches_url[$j][2];
}
// new rand name, for local storage.
$nouveau_nom = rand_new_name($nom_fichier);
//echo ''.$nouveau_nom."\n";
$add = TRUE;
// avoids downloading the same file twice. (yes, we re-use the same $retrievable ($files), why not ?)
foreach ($files as $key => $item) {
if ($item['url_fichier'] == $url_fichier) {
$nouveau_nom = $item['nom_destination'];
$add = FALSE;
break;
}
}
// if we do download, add it to the array.
if ($add === TRUE) {
$files_n = array(
'url_origine' => $matches_url[$j][2],
'url_fichier' => $url_fichier,
'nom_fich_origine' => $nom_fichier,
'nom_destination' => $nouveau_nom
);
$files[] = $files_n;
$liste_css[] = $files_n;
}
// replace url in CSS $data
$data = str_replace($matches_url[$j][2], $nouveau_nom, $data);
// echo $nouveau_nom."
\n";
if (!preg_match('#(css|php|txt|html)#', $file['url_fichier']) ) {
if (FALSE !== ($f = get_external_file($url_fichier, 3)) ) {
file_put_contents($GLOBAL['target_folder'].'/'.$nouveau_nom, $f);
}
}
}
}
// don't forget to save data
file_put_contents($GLOBAL['target_folder'].'/'.$file['nom_destination'], $data);
}
$n++;
$count = count($liste_css);
}
$mineType = '';
}
// enregistre un fichier d’informations concernant la page (date, url, titre, extension du fichier)
$info = '';
$info .= 'URL="'.$GLOBAL['url'].'"'."\n";
$info .= 'TITLE="'.$title.'"'."\n";
$info .= 'DATE="'.time().'"'."\n";
$info .= 'TYPE="'.$ext.'"'."\n";
file_put_contents($GLOBAL['target_folder'].'/'.'index.ini', $info);
/*$GLOBAL['done']['d'] = 'ajout';
$GLOBAL['done']['lien'] = $GLOBAL['target_folder'].'/'; */
}
}//die;
// in case of delete an entry
if (isset($_GET['suppr']) and $torem = $_GET['suppr'] and $torem != '') {
$torem = htmlspecialchars($_GET['suppr']);
if (is_dir($_GET['suppr'])){
// suppr tags
$id=idfrompath($_GET['suppr']);
$status=statuspath($_GET['suppr']);
if (isset($GLOBAL['tag_array'][$status][$id])){deltags($GLOBAL['tag_array'][$status][$id],$_GET['suppr'],$id,$status);}
// suppr page
$sousliste = scandir($_GET['suppr']); // listage des dossiers de data.
$nb_sousfichier = count($sousliste);
for ($j = 0 ; $j < $nb_sousfichier ; $j++) {
if (!($sousliste[$j] == '..' or $sousliste[$j] == '.')) {
unlink($_GET['suppr'].'/'.$sousliste[$j]);
}
}
// then the folder itself.
if (TRUE === rmdir($_GET['suppr'])) {
$GLOBAL['done']['d'] = 'remove';
}
}
header("location: index.php");
}
// to private
if (isset($_GET['toprivate']) and $torem = $_GET['toprivate'] and $torem != '') {
$torem = htmlspecialchars($_GET['toprivate']);
if (is_dir($GLOBAL['public_data_folder'].'/'.$_GET['toprivate'])){
rename ($GLOBAL['public_data_folder'].'/'.$_GET['toprivate'],$GLOBAL['private_data_folder'].'/'.$_GET['toprivate']);
if (isset($GLOBAL['tag_array']['public'][$_GET['toprivate']])){
$temp=$GLOBAL['tag_array']['public'][$_GET['toprivate']];
deltags($temp,$_GET['toprivate'],$_GET['toprivate'],'public');
settags($temp,$_GET['toprivate'],$_GET['toprivate'],'private');
}
header("location: index.php");
}
}
// to public
if (isset($_GET['topublic']) and $torem = $_GET['topublic'] and $torem != '') {
$torem = htmlspecialchars($_GET['topublic']);
if (is_dir($GLOBAL['private_data_folder'].'/'.$_GET['topublic'])){
rename ($GLOBAL['private_data_folder'].'/'.$_GET['topublic'],$GLOBAL['public_data_folder'].'/'.$_GET['topublic']);
if (isset($GLOBAL['tag_array']['private'][$_GET['topublic']])){
$temp=$GLOBAL['tag_array']['private'][$_GET['topublic']];
deltags($temp,$_GET['topublic'],$_GET['topublic'],'private');
settags($temp,$_GET['topublic'],$_GET['topublic'],'public');
}
header("location: index.php");
}
}
// disconnect
if (isset($_GET['discotime'])){log_user('disco','');}
if (isset($_GET['privateget'])&&is_dir($GLOBAL['private_data_folder'].'/'.$_GET['privateget'])){$target=$GLOBAL['private_data_folder'].'/'.$_GET['privateget'];}
if (isset($_GET['zipprivate'])) {
$ini_file = $GLOBAL['private_data_folder'].'/'.$_GET['zipprivate'].'/index.ini';
if(is_file($ini_file)){$info=parse_ini_file($ini_file);}else{$info['TITLE']='';}
$origin_folder_path=$GLOBAL['private_data_folder'].'/'.$_GET['zipprivate'];
$zip_foldername=title2filename($info['TITLE']).'-'.$_GET['zipprivate'];
$zip_filename=$zip_foldername.'.zip';
$zip_completepath=$GLOBAL['data_folder'].'/zipversions/'.$zip_filename;
if (is_file($zip_completepath)){header("location: $zip_completepath");exit();}// il existe déjà, on envoie
if (is_dir($origin_folder_path)){// sinon on crée le zip si le dossier existe
include 'zip.php';
rename ($origin_folder_path,$zip_foldername); // on le déplace pour éviter de voir la structure de dossiers apparaître dans le zip
zip($zip_filename,$zip_foldername,$GLOBAL['data_folder'].'/zipversions/');
rename ($zip_foldername,$origin_folder_path); // on le remet à sa place
header('location: '.$GLOBAL['data_folder'].'/zipversions/'.$zip_filename);
}
}
if (isset($_GET['rename'])&&isset($_GET['to'])&&isset($_GET['file'])) {
if (is_file($_GET['file'].'/index.ini')){
$ini=parse_ini_file($_GET['file'].'/index.ini');
$old=strip_tags(urldecode($_GET['rename']));
$new=strip_tags(urldecode($_GET['to']));
$newini='URL="'.$ini['URL'].'"'."\n".'TITLE="'.$new.'"'."\n".'DATE="'.$ini['DATE'].'"';
file_put_contents($_GET['file'].'/index.ini',$newini);
}
}
if (isset($_GET['settag'])&&isset($_GET['file'])) {
if (is_file($GLOBAL['data_folder'].'/tags.txt')){$GLOBAL['tag_array']=unstore($GLOBAL['data_folder'].'/tags.txt');}else{$GLOBAL['tag_array']=array();}
if (isset($_GET['ispublic'])){$type='public';}else{$type='private';}
$GLOBAL['tag_array'][$type][$_GET['file']]=strip_tags($_GET['settag']);
store($GLOBAL['data_folder'].'/tags.txt',$GLOBAL['tag_array']);
}
}else{ // public get
//download public zip version
if (isset($_GET['zippublic'])) {
$ini_file = $GLOBAL['public_data_folder'].'/'.$_GET['zippublic'].'/index.ini';
if(is_file($ini_file)){$info=parse_ini_file($ini_file);}else{$info['TITLE']='';}
$origin_folder_path=$GLOBAL['public_data_folder'].'/'.$_GET['zippublic'];
$zip_foldername=title2filename($info['TITLE']).'-'.$_GET['zippublic'];
$zip_filename=$zip_foldername.'.zip';
$zip_completepath=$GLOBAL['data_folder'].'/zipversions/'.$zip_filename;
if (is_file($zip_completepath)){header("location: $zip_completepath");exit();}// il existe déjà, on envoie
if (is_dir($origin_folder_path)){// sinon on crée le zip si le dossier existe
include 'zip.php';
rename ($origin_folder_path,$zip_foldername); // on le déplace pour éviter de voir la structure de dossiers apparaître dans le zip
zip($zip_filename,$zip_foldername,$GLOBAL['data_folder'].'/zipversions/');
rename ($zip_foldername,$origin_folder_path); // on le remet à sa place
header('location: '.$GLOBAL['data_folder'].'/zipversions/'.$zip_filename);
}
}
if (isset($_GET['publicget'])&&is_dir($GLOBAL['public_data_folder'].'/'.$_GET['publicget'])){$target=$GLOBAL['public_data_folder'].'/'.$_GET['publicget'];}
if (isset($_GET['rss'])){
$items=array_reverse(search('public',$search_tags));
$feed=array(
'infos'=>array(
'type'=>'rss',
'description'=>$GLOBAL['rss_description'],
'title'=>$GLOBAL['rss_title'],
'link'=>$GLOBAL['respawn_url'],
)
);
foreach ($items as $key=>$item){
if ($item!='index.html'){
if (is_dir($GLOBAL['public_data_folder'].'/'.$item)){
if (is_file($GLOBAL['public_data_folder'].'/'.$item.'/index.ini')){
$infos=parse_ini_file($GLOBAL['public_data_folder'].'/'.$item.'/index.ini');
date_default_timezone_set('Europe/Paris');
$infos['DATE']= date("r", $infos['DATE']);
if ($infos['TITLE']==''){$infos['TITLE']='Version Respawn de '.$infos['URL'];}
$feed['items'][$key]=array(
'description'=>'Version Respawn de '.$infos['URL'],
'title'=>$infos['TITLE'],
'link'=>$GLOBAL['respawn_url'].'?publicget='.$item,
'guid'=>$infos['URL'],
'pubDate'=>$infos['DATE'],
);
}
}
}
}
exit(array2feed($feed));
}
if (isset($_GET['api'])){
$content=array();
$items=search('public',$search_tags);
foreach ($items as $key=>$item){
if ($item!='index.html'){
if (is_dir($GLOBAL['public_data_folder'].'/'.$item)){
if (is_file($GLOBAL['public_data_folder'].'/'.$item.'/index.ini')){
$infos=parse_ini_file($GLOBAL['public_data_folder'].'/'.$item.'/index.ini');
date_default_timezone_set('Europe/Paris');
$infos['DATE']= date('d/m/Y', $infos['DATE']);
if ($infos['TITLE']==''){$infos['TITLE']='Respawn de '.$infos['URL'];}
$t='';
if (isset($GLOBAL['tag_array']['public'][$item])){$t=$GLOBAL['tag_array']['public'][$item];}
$content[$key]=array(
'description'=>'Version Respawn de '.$infos['URL'],
'title'=>$infos['TITLE'],
'respawn_link'=>$GLOBAL['respawn_url'].'?publicget='.$item,
'original_link'=>$infos['URL'],
'date'=>$infos['DATE'],
'tags'=>$t,
);
}
}
}
}
exit(serialize($content));
}
}
function url_parts() {
global $GLOBAL;
$url_p['s'] = parse_url($GLOBAL['url'], PHP_URL_SCHEME); $url_p['s'] = (is_null($url_p['s'])) ? '' : $url_p['s'];
$url_p['h'] = parse_url($GLOBAL['url'], PHP_URL_HOST); $url_p['h'] = (is_null($url_p['h'])) ? '' : $url_p['h'];
$url_p['p'] = parse_url($GLOBAL['url'], PHP_URL_PORT); $url_p['p'] = (is_null($url_p['p'])) ? '' : ':'.$url_p['p'];
$url_p['pat'] = parse_url($GLOBAL['url'], PHP_URL_PATH); $url_p['pat'] = (is_null($url_p['pat'])) ? '' : $url_p['pat'];
$url_p['file'] = pathinfo($url_p['pat'], PATHINFO_BASENAME);
return $url_p;
}
//
// Gets external file by URL.
// Make a stream context (better).
//
function get_external_file($url, $timeout) {
$context = stream_context_create(array('http'=>array('timeout' => $timeout))); // Timeout : time until we stop waiting for the response.
$data = @file_get_contents($url, false, $context, -1, 4000000); // We download at most 4 Mb from source.
if (isset($data) and isset($http_response_header) and isset($http_response_header[0]) and (strpos($http_response_header[0], '200 OK') !== FALSE) ) {
return $data;
}
else {
return FALSE;
}
}
//
// CREATE FOLDER
//
function creer_dossier($dossier, $indexfile = FALSE) {
if ( !is_dir($dossier) ) {
if (mkdir($dossier, 0777, TRUE) === TRUE) {
chmod($dossier, 0777);
if ($indexfile == TRUE) touch($dossier.'/index.html'); // make a index.html file : avoid the possibility of listing folder's content
return TRUE;
} else {
return FALSE;
}
}
return TRUE; // if folder already exists
}
//
// PARSE TAGS AND LISTE DOWNLOADABLE CONTENT IN ARRAY
// Also modify html source code to replace absolutes URLs with local URIs.
//
function list_retrievable_data($url, &$data) {
$url_p = url_parts();
$retrievable = array();
// cherche les balises 'link' qui contiennent un rel="(icon|favicon|stylesheet)" et un href=""
// (on ne cherche pas uniquement le "href" sinon on se retrouve avec les flux RSS aussi)
$matches = array();
preg_match_all('#<\s*link[^>]+rel=["\'][^"\']*(icon|favicon|stylesheet)[^"\']*["\'][^>]*>#Si', $data, $matches, PREG_SET_ORDER);
// dans les link avec une icone, stylesheet, etc récupère l’url.
foreach($matches as $i => $key) {
$type = (strpos($key[1], 'stylesheet') !== FALSE) ? 'css' : 'other';
if ( (preg_match_all('#(href|src)=["\']([^"\']*)["\']#i', $matches[$i][0], $matches_attr, PREG_SET_ORDER) === 1) ) {
$retrievable = add_table_and_replace($data, $retrievable, $matches[$i][0], $matches_attr[0][2], $url_p, $type);
}
}
// recherche les images, scripts, audio & videos HTML5.
// dans les balises, récupère l’url/uri contenue dans les src="".
// le fichier sera téléchargé.
// Le nom du fichier sera modifié pour être unique, et sera aussi modifié dans le code source.
$matches = array();
preg_match_all('#<\s*(source|audio|img|script|video)[^>]+src="([^"]*)"[^>]*>#Si', $data, $matches, PREG_SET_ORDER);
foreach($matches as $i => $key) {
if (preg_match('#^data:#', $matches[$i][2])) break;
$retrievable = add_table_and_replace($data, $retrievable, $matches[$i][0], $matches[$i][2], $url_p, 'other');
}
// Dans les balises