CSV2PmWiki PHP-конвертер для импорта из WordPress
Программирование В это заметке приведена приблизительная инструкция по конвертации Базы Данных WordPress в PmWiki-формат, что необходимо при миграции WordPress -> PmWiki. Это не полноценная инструкция, а «заметка на полях».
Итак, вы хотите сконвертировать Базу Данных WordPress в PmWiki. Процесс состоит в следующих шагах:
- установите плагин wp-all-export в свой WordPress (да-да, структура данных в WordPress такая… своеобразная, что нужен отдельный плагин, нельзя просто взять и вытащить данные из MySQL);
- настройте плагин, сделайте экспорт. Вы получите CSV-файл, примерно вот такой: Attach:o2019-04-15.csv
- закачайте Ph-CSV2Wiki-Parser.php (код см. ниже) в корень веб-сервера, рядом расположите директорию /wp-content со всем содержимым
- настройки и выполните Ph-CSV2Wiki-Parser.php
Ph-CSV2Wiki-Parser.php: что он делает?
Файл производит парсинг входного CSV-файла (указанной структуры) и, разбирая каждую строчку:
- создает выходную структуру директорий;
- создает pmwiki-страницу по ключевому слову объекта в директории /wiki.d;
- сохраняет в нее контент (из соответствующей ячейки), очищая ее от WordPress-мусора
- сохраняет в нее Обратные Ссылки (в поле targets) из соответствующих ячеек;
- записывает данные в еще одно поле;
- создает страницы "тегов", т.е. тех терминов, которые были записаны в Обратные ссылки;
- находит файлы нужных картинок в /wp-content и копирует их в /uploads, распределяя по директориям по именам страниц
- генерирует GroupHeader и GroupFooter для каждой созданной Группы
Этот скрипт предполагает ручное допиливание, "из коробки" он не заработает, т.к. структура входных данных всегда уникальна, как и задачи при их обработке в PmWiki-формат. Но в коде можно найти несколько полезных приемов, поэтому и написана настоящая статья.
Код Ph-CSV2Wiki-Parser.php
<!DOCTYPE html>
<html>
<head>
<meta charset='utf-8'>
<meta http-equiv='X-UA-Compatible' content='IE=edge'>
<meta name='viewport' content='width=device-width, initial-scale=1'>
<meta name="robots" content="noindex,nofollow">
<title>Ph WordPress Converter</title>
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/3.4.0/css/bootstrap.min.css" integrity="sha384-PmY9l28YgO4JwMKbTvgaS7XNZJ30MK9FAZjjzXtlqyZCqBY6X6bXIkM++IkyinN+" crossorigin="anonymous">
<style>
.success {color: blue; font-weight: bold; text-align: center; margin-bottom: 40px;}
.system-voice {color: blue; font-size: small; text-align: center;}
</style>
</head>
<body>
<!-- Static navbar -->
<nav class='navbar navbar-default navbar-static-top'>
<div class='container'>
<div class='navbar-header'>
<button type='button' class='navbar-toggle collapsed' data-toggle='collapse' data-target='#navbar' aria-expanded='false' aria-controls='navbar'>
<span class='sr-only'>Toggle navigation</span>
<span class='icon-bar'></span>
<span class='icon-bar'></span>
<span class='icon-bar'></span>
</button>
<a class='navbar-brand' href='./'>Ph WordPress Converter</a>
</div>
</div>
</nav>
<div class='container'>
<div class='jumbotron'>
<p>Это интерфейс для конвертации CSV-выгрузки в pmwiki-файлы. Настройки задаются внутри файлов.</p>
<p><small class="text-muted">Выберите действие:</small> <a href='./'>Предпросмотр</a> | <a href='?action=doit'>Запустить преобразование</a></p>
</div>
<?php
$input_file = "o2019-04-15.csv"; // samovars-RUN.csv
$input_keyword = "utvar";
$output_folder = "out-$input_keyword";
$output_group = ucfirst($input_keyword);
$domain = "http://localhost:8888/";
$realpath = "V:\x\8888/";
$action = htmlspecialchars(@$_GET["action"]);
if ($action == "doit") $action = true; else $action = false;
$KRITICAL_ERRORS = NULL;
$success = "<div class='success'>Действие успешно выполнено</div>";
echo "
<h4>Минидокументация:</h4>
Обрабатываем только объекты такого типа <b>$input_keyword</b> (поле skug)<br>
По окончании работы скрипта, всегда смотрите конец страницы: там не должно быть <i>Критических ошибок</i>
<h2>Поехали</h2>
";
if($action) {
createDir("$output_folder");
createDir("$output_folder/wiki.d");
createDir("$output_folder/uploads");
}
/* Чтение CSV: */
if (($handle = fopen("$input_file", "r")) !== FALSE) {
while (($objData = fgetcsv($handle, null, ",")) !== FALSE) {
processObject($objData);
}
fclose($handle);
}
if ($KRITICAL_ERRORS) {
echo "
<div class='well' style='outline: 10px solid red;' >
<p class='lead'>Возникли следующие критические ошибки:</p>
$KRITICAL_ERRORS
</div>
";
}
function processObject($objData) {
global $input_keyword, $output_group, $output_folder, $targets4OBJ, $domain, $realpath, $KRITICAL_ERRORS, $action, $success, $id;
$id = $objData[0];
$title = $objData[1];
$img_featured = $objData[2];
$imgs_paths = $objData[3];
$keyword = $objData[4];
$tag_manufacturer = array ($objData[5], "Manufacturer");
$tag_country = array ($objData[6], "Country");
$tag_city = array ($objData[7], "City");
$tag_time = array ($objData[8], "Time");
$tag_material = array ($objData[9], "Material");
$tag_museum = array ($objData[10], "Museum");
// $tag_forma = array ($objData[11], "Forma");
$property_height = $objData[11];
$property_width = $objData[12];
$property_depth = $objData[13];
$content = $objData[14];
$targets4OBJ = ""; // глобальная переменная, заполняется в вызываемых функциях
// стоит ли запускать эту бодянку?
if (strpos($keyword, $input_keyword) === false) {
echo "<span style='color: #CCC;'>
<b>Объект № $id:</b><br>
ключевое слово объекта $keyword не совпадает с $input_keyword, пропускаем объект</span>";
echo ("<hr>");
return;
}
// определим базовые параметры объекта
$newPageName = $output_group."-".$id;
echo "<h2>Объект № $id <small>($newPageName)</small></h2><br>";
// обработка тегов
echo "<span class='text-primary'>Начинаем обработку тегов...</span><br><br>";
echo "Обработка тега ".$tag_manufacturer[1].". ";
createTag($tag_manufacturer, $newPageName);
echo "Обработка тега ".$tag_country[1].". ";
createTag($tag_country, $newPageName);
echo "Обработка тега ".$tag_city[1].". ";
createTag($tag_city, $newPageName);
echo "Обработка тега ".$tag_time[1].". ";
createTag($tag_time, $newPageName);
echo "Обработка тега ".$tag_material[1].". Придется бить на чанки. <br>";
$tagsChunks = explode("|", $tag_material[0]);
$temp[0] = $tagsChunks[0];
$temp[1] = $tag_material[1];
createTag($temp, $newPageName);
if (@$tagsChunks[1]) {
$temp[0] = $tagsChunks[1];
$temp[1] = $tag_material[1];
createTag($temp, $newPageName);
}
unset($temp);
echo "Обработка тега ".$tag_museum[1].". ";
createTag($tag_museum, $newPageName);
// echo "Обработка тега ".$tag_forma[1].". ";
// createTag($tag_forma, $newPageName);
echo "<span class='text-primary'>// кончили обработку тегов...</span><br><br>";
// поле $targets4OBJ
$targets4OBJ = rtrim($targets4OBJ,",");
echo "Подготовили поле с тегами: <i>$targets4OBJ</i><br>";
echo "<span class='text-primary'>начинаем запись страницы...</span><br><br>";
$pv = "ObjCustomField=!!!Размеры:%0aВысота — $property_height см.%0aШирина — $property_width см.%0aГлубина — $property_depth см.";
// Мечта хозяйки: приводит любой HTML-текст, содержащий только <h3> и <p>, к pmwiki-формату: https://www.pmwiki.org/wiki/PmWiki/PageFileFormat
$content = "START".$content;
$content = strip_tags($content, "<h3> <p>");
while (strstr($content, "\n\n") != false) { // удаляем все двойные вереводы строк
$content = str_replace("\n\n", "\n", $content);
}
$content = str_replace("\n", " ", $content);
$content = str_replace("START ", "", $content);
$content = str_replace("START", '', $content);
$content = str_replace("%", "%25", $content); // "text=" needs to have the markup text with newlines converted to "%0a" and percent signs converted to "%25".
$content = str_replace("<h3>", "!!!", $content);
$content = str_replace("</h3>", "%0a", $content);
$content = str_replace("<p>", "", $content);
$content = str_replace("</p>", "%0a", $content);
$content = str_replace("%0a ", "%0a", $content);
// $title = $title." (".$property_height."x".$property_width."x".$property_depth.")";
$pageContent = makeWikiPage($content, $title, "", $targets4OBJ);
echo "Создаем файл: <code>$output_folder/wiki.d/$output_group/$output_group.$output_group-$id</code> , вот такой:
<pre>
$pageContent
</pre>
";
if ($action) {
createDir("$output_folder/wiki.d/$output_group");
if (file_put_contents("$output_folder/wiki.d/$output_group/$output_group.$output_group-$id",$pageContent) !== false) {
echo "$success";
} else $KRITICAL_ERRORS .= "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА при создании файла $output_group-$id</div>";
}
echo "<span class='text-primary'>начинаем обработку картинок...</span><br><br>";
$imgs_paths = str_replace("$realpath","",$imgs_paths);
$imgs_paths = str_replace("-копия","",$imgs_paths); // кириллица не поддерживается, очевидно
$imgs_paths = explode("|",$imgs_paths);
$img_featured = str_replace("$domain","",$img_featured);
if ($img_featured != $imgs_paths[0]) {
$error_msg = "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА ПРИ ОБРАБОТКЕ ФОТО, img_featured не найдено в первом чанке imgs_paths, как ожидалось. Объект id = <b>$id</b> </div>";
echo $error_msg;
$KRITICAL_ERRORS .= $error_msg;
} else {
$main_img = $imgs_paths[0];
$main_img = "../".$main_img;
unset($imgs_paths[0]);
$main_img_dest = "$output_folder/uploads/$output_group/$output_group-$id/$output_group-$id.jpg";
echo "Копируем главный файл: $main_img в $main_img_dest <br>";
if ($action) {
createDir("$output_folder/uploads/$output_group");
createDir("$output_folder/uploads/$output_group/$output_group-$id");
copyFile($main_img, $main_img_dest);
}
echo "Копируем дополнительные файлы:<br> <small>";
foreach ($imgs_paths as $key => $img) {
$img = "../".$img;
$img_dest = "$output_folder/uploads/$output_group/$output_group-$id/$output_group-$id"."_$key.jpg";
echo "$img -> $img_dest <br>";
if ($action) {
// вообще тут должна быть проверка начилия директорий, как в Главном Файле. Но в нашем конкретном Самоварном случае мы уверены, что доп. файлы не могут существовать без основного => директории уже созданы
copyFile($img, $img_dest);
}
}
echo "</small>";
}
echo ("<hr>"); // конец
}
function copyFile($img, $img_dest){
global $output_group, $id, $success, $KRITICAL_ERRORS;
$imgTranslit = rus2translit($img);
if ($imgTranslit != $img) { // если в имени файла была кириллица, то ищем транслитерированный (с помощью translit.exe) вариант файла, для чего немного костылим
$imgTranslit = str_replace("-","_",$imgTranslit);
$imgTranslit = str_replace("wp_content","wp-content",$imgTranslit);
$img = $imgTranslit;
}
if (file_exists($img)) {
if (copy($img, $img_dest)) echo "$success";
else {
$error_msg = "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА при операции копирования фото <b>$img</b> </div>";
echo $error_msg;
$KRITICAL_ERRORS .= $error_msg;
}
} else {
$error_msg = "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА: не найдена картинка <b>$img</b> для $output_group-$id</div>";
echo $error_msg;
$KRITICAL_ERRORS .= "$error_msg";
}
};
function createTag($tag, $newPageName) {
global $output_folder, $output_group, $targets4OBJ, $action, $success;
$tagType = $tag[1];
$tagTitle = $tag[0];
if (!$tagTitle) {
echo "<div class='alert alert-warning'>ОБРАБОТКА ПРЕРВАНА: на входе пустое значение поля</div> ";
return;
}
$tagKeyword = str2url($tagTitle);
$tagKeyword = ucfirst($tagKeyword);
$tagKeyword = "$output_group-$tagType.$tagKeyword";
$tagPageContent = makeWikiPage("(:pic:$newPageName:)",$tagTitle);
echo "Создаем файл: <code>$output_folder/wiki.d/$output_group-$tagType/$tagKeyword</code> , вот такой:
<pre>
$tagPageContent
</pre>
";
if ($action) {
createDir("$output_folder/wiki.d/$output_group-$tagType");
if (file_put_contents("$output_folder/wiki.d/$output_group-$tagType/$tagKeyword",$tagPageContent) !== false) {
echo "$success";
} else $KRITICAL_ERRORS .= "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА при создании тега $tagKeyword</div>";
}
$targets4OBJ .= "$tagKeyword,";
/* генерим GroupHeader И GroupFooter */
$GroupHeader = makeWikiPage("(:include ThisSite/SiteGroupHeader parentgroup=$output_group :)");
echo "Создаем файл: <code>$output_folder/wiki.d/$output_group-$tagType/$output_group-$tagType.GroupHeader</code> , вот такой:
<pre>
$GroupHeader
</pre>
";
if ($action) {
// createDir("$output_folder/wiki.d/$output_group-$tagType"); директория вроде 100% создана в этот момент
if (file_put_contents("$output_folder/wiki.d/$output_group-$tagType/$output_group-$tagType.GroupHeader",$GroupHeader) !== false) {
echo "$success";
} else $KRITICAL_ERRORS .= "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА при создании GroupHeader для тега</div>";
}
$GroupFooter = makeWikiPage("(:include ThisSite/SiteGroupFooter parentgroup=$output_group :)");
echo "Создаем файл: <code>$output_folder/wiki.d/$output_group-$tagType/$output_group-$tagType.GroupFooter</code> , вот такой:
<pre>
$GroupFooter
</pre>
";
if ($action) {
// createDir("$output_folder/wiki.d/$output_group-$tagType"); директория вроде 100% создана в этот момент
if (file_put_contents("$output_folder/wiki.d/$output_group-$tagType/$output_group-$tagType.GroupFooter",$GroupFooter) !== false) {
echo "$success";
} else $KRITICAL_ERRORS .= "<div class='alert alert-danger'>КРИТИЧЕСКАЯ ОШИБКА при создании GroupFooter для тега</div>";
}
}
function makeWikiPage($body, $title = NULL, $pv = NULL, $targets = NULL) {
$result = "version=pmwiki-2.2.109 urlencoded=1\r\n";
if ($pv) $result .= $pv."\r\n";
if ($targets) $result .= "targets=$targets\r\n";
$result .= "text=$body\r\n";
if ($title) $result .= "title=$title\r\n";
return($result);
}
function createDir($dir) {
if (!is_dir($dir)) {
if (mkdir($dir)) echo("<div class='system-voice'>СИСТЕМА: создана директория $dir</div>");
}
}
/* ЧУЖАЯ ТРАНСЛИТЕРАЦИЯ*/
function rus2translit($string) {
$converter = array(
'а' => 'a', 'б' => 'b', 'в' => 'v',
'г' => 'g', 'д' => 'd', 'е' => 'e',
'ё' => 'e', 'ж' => 'zh', 'з' => 'z',
'и' => 'i', 'й' => 'y', 'к' => 'k',
'л' => 'l', 'м' => 'm', 'н' => 'n',
'о' => 'o', 'п' => 'p', 'р' => 'r',
'с' => 's', 'т' => 't', 'у' => 'u',
'ф' => 'f', 'х' => 'h', 'ц' => 'c',
'ч' => 'ch', 'ш' => 'sh', 'щ' => 'sch',
'ь' => '\'', 'ы' => 'y', 'ъ' => '\'',
'э' => 'e', 'ю' => 'yu', 'я' => 'ya',
'А' => 'A', 'Б' => 'B', 'В' => 'V',
'Г' => 'G', 'Д' => 'D', 'Е' => 'E',
'Ё' => 'E', 'Ж' => 'Zh', 'З' => 'Z',
'И' => 'I', 'Й' => 'Y', 'К' => 'K',
'Л' => 'L', 'М' => 'M', 'Н' => 'N',
'О' => 'O', 'П' => 'P', 'Р' => 'R',
'С' => 'S', 'Т' => 'T', 'У' => 'U',
'Ф' => 'F', 'Х' => 'H', 'Ц' => 'C',
'Ч' => 'Ch', 'Ш' => 'Sh', 'Щ' => 'Sch',
'Ь' => '\'', 'Ы' => 'Y', 'Ъ' => '\'',
'Э' => 'E', 'Ю' => 'Yu', 'Я' => 'Ya',
);
return strtr($string, $converter);
}
function str2url($str) {
// переводим в транслит
$str = rus2translit($str);
// в нижний регистр
$str = strtolower($str);
// заменям все ненужное нам на "-"
$str = preg_replace('~[^-a-z0-9_]+~u', '-', $str);
// удаляем начальные и конечные '-'
$str = trim($str, "-");
return $str;
}
?>
<br><br><br><hr>
<p>На диске свободно: <?=round(disk_free_space($_SERVER['DOCUMENT_ROOT'])/1024/1024, 0)?> МБайт</p>
<!-- tmpl.footer.html -->
<footer class='text-right'>
Powered by <a href="http://web.finar.ru/" target="_blank">Ph&Ph</a>
</footer>
</div>
<!-- Bootstrap core JavaScript
================================================== -->
<!-- Placed at the end of the document so the pages load faster -->
<!--script src='https://ajax.googleapis.com/ajax/libs/jquery/1.11.3/jquery.min.js'></script-->
</body>
</html>
<!-- //tmpl.footer.html -->