Adjust html markdown converter (#13)

* trim newline of EOF

* apply triming

* switch markdown builder

* bump markdown

Author: kogai

WORKSPACE

@@ -1283,8 +1283,8 @@ go_repository(
 go_repository(
     name = "org_golang_x_net",
     importpath = "golang.org/x/net",
-    sum = "h1:IX6qOQeG5uLjB/hjjwjedwfjND0hgjPMMyO1RoIXQNI=",
-    version = "v0.0.0-20201021035429-f5854403a974",
+    sum = "h1:uwuIcX0g4Yl1NC5XAz37xsr2lTtcqevgzYNVt49waME=",
+    version = "v0.0.0-20201110031124-69a78807bb2b",
 )
 
 go_repository(
@@ -1392,6 +1392,34 @@ go_repository(
     version = "v1.2.1",
 )
 
+go_repository(
+    name = "com_github_andybalholm_cascadia",
+    importpath = "github.com/andybalholm/cascadia",
+    sum = "h1:vuRCkM5Ozh/BfmsaTm26kbjm0mIOM3yS5Ek/F5h18aE=",
+    version = "v1.2.0",
+)
+
+go_repository(
+    name = "com_github_johanneskaufmann_html_to_markdown",
+    importpath = "github.com/JohannesKaufmann/html-to-markdown",
+    sum = "h1:UGTGZeFq6ljcd6CSxLW+CzUXQQDMJMzQIQ4lVexFCOk=",
+    version = "v1.2.0",
+)
+
+go_repository(
+    name = "com_github_puerkitobio_goquery",
+    importpath = "github.com/PuerkitoBio/goquery",
+    sum = "h1:j7taAbelrdcsOlGeMenZxc2AWXD5fieT1/znArdnx94=",
+    version = "v1.6.0",
+)
+
+go_repository(
+    name = "com_github_sebdah_goldie_v2",
+    importpath = "github.com/sebdah/goldie/v2",
+    sum = "h1:hh70HvG4n3T3MNRJN2z/baxPR8xutxo7JVxyi2svl+s=",
+    version = "v2.5.1",
+)
+
 go_rules_dependencies()
 
 go_register_toolchains()

content/BUILD.bazel

@@ -1,4 +1,4 @@
-load("@io_bazel_rules_go//go:def.bzl", "go_library")
+load("@io_bazel_rules_go//go:def.bzl", "go_library", "go_test")
 
 go_library(
     name = "go_default_library",
@@ -7,6 +7,7 @@ go_library(
         "client.go",
         "deploy.go",
         "download.go",
+        "markdown.go",
         "syncdata.go",
     ],
     importpath = "github.com/kogai/k9bookshelf/content",
@@ -15,9 +16,16 @@ go_library(
         "//gqlgenc/client:go_default_library",
         "@com_github_bold_commerce_go_shopify//:go_default_library",
         "@com_github_gomarkdown_markdown//:go_default_library",
-        "@com_github_mattn_godown//:go_default_library",
+        "@com_github_johanneskaufmann_html_to_markdown//:go_default_library",
         "@com_github_vbauerster_mpb//:go_default_library",
         "@com_github_vbauerster_mpb//decor:go_default_library",
         "@com_github_yamashou_gqlgenc//client:go_default_library",
     ],
 )
+
+go_test(
+    name = "go_default_test",
+    srcs = ["markdown_test.go"],
+    embed = [":go_default_library"],
+    deps = ["@in_gopkg_go_playground_assert_v1//:go_default_library"],
+)

content/download.go

@@ -3,10 +3,8 @@ package content
 import (
 	"os"
 	"path"
-	"strings"
 	"sync"
 
-	"github.com/mattn/godown"
 	"github.com/vbauerster/mpb"
 	"github.com/vbauerster/mpb/decor"
 )
@@ -31,7 +29,13 @@ func dowloadContens(output string, contents *[]Content, bar *mpb.Bar) error {
 				c <- err
 				return
 			}
-			err = godown.Convert(file, strings.NewReader(descriptionHTML), nil)
+			md, err := htmlToMarkdown(descriptionHTML)
+			if err != nil {
+				c <- err
+				return
+			}
+
+			_, err = file.WriteString(md)
 			if err != nil {
 				c <- err
 				return

content/markdown.go

@@ -0,0 +1,18 @@
+package content
+
+import (
+	md "github.com/JohannesKaufmann/html-to-markdown"
+)
+
+func htmlToMarkdown(html string) (string, error) {
+	opt := &md.Options{
+		HorizontalRule: "---",
+	}
+
+	converter := md.NewConverter("", true, opt)
+	markdownStr, err := converter.ConvertString(html)
+	if err != nil {
+		return "", err
+	}
+	return markdownStr + "\n", nil
+}

content/markdown_test.go

@@ -0,0 +1,35 @@
+package content
+
+import (
+	"testing"
+
+	"gopkg.in/go-playground/assert.v1"
+)
+
+func TestHtmlToMarkdown(t *testing.T) {
+	t.Parallel()
+	md, err := htmlToMarkdown(`<p>abc</p>`)
+	assert.Equal(t, nil, err)
+	assert.Equal(t, `abc
+`, md)
+}
+
+func TestHtmlToMarkdownList(t *testing.T) {
+	t.Parallel()
+	md, err := htmlToMarkdown(`<ul><li>abc</li></ul><p>def</p>`)
+	assert.Equal(t, nil, err)
+	assert.Equal(t, `- abc
+
+def
+`, md)
+}
+
+func TestHtmlToMarkdownListAndBold(t *testing.T) {
+	t.Parallel()
+	md, err := htmlToMarkdown(`<ul><li>abc</li></ul><b>def</b>`)
+	assert.Equal(t, nil, err)
+	assert.Equal(t, `- abc
+
+ **def**
+`, md)
+}

contents/blogs/development/商品データやブログなどをmarkdownで更新出来るようにする.md

@@ -1,16 +1,16 @@
 - リッチエディタは使いたくない
 - theme-kitのような体験でコンテンツを更新したい
 - 手元のエディタで更新したいので、管理画面は拡張しない
-  - Private AppとしてAPI Secretだけ使うようにする
+    - Private AppとしてAPI Secretだけ使うようにする
 - admin apiで取得・更新
 - 商品データはGraphQL APIで取得・更新出来る
-  - gqlgencでAPIクライアントを生成
-  - bazelでビルドすると、APIクライアントの生成元として使われている*.gotplファイルがbazelのサンドボックスに入らない
-    - go_repositoryにpatchを当てて*.gotplもbazelのサンドボックスにexportされるようにする
+    - gqlgencでAPIクライアントを生成
+    - bazelでビルドすると、APIクライアントの生成元として使われている"\*.gotpl"ファイルがbazelのサンドボックスに入らない
+    - go\_repositoryにpatchを当てて\*.gotplもbazelのサンドボックスにexportされるようにする
 - ページ・ブログ(アーティクル)はREST APIで取得・更新出来る
-  - ブログ記事はblog->articleの階層構造を持つので、商品やページとは少し異なる
-  - bold-commerceのgo-shopifyが必要十分
+    - ブログ記事はblog->articleの階層構造を持つので、商品やページとは少し異なる
+    - bold-commerceのgo-shopifyが必要十分
     - articleリソースは存在しないが、簡単に拡張出来るAPIを持っている
 - HTML/Markdownの相互変換は非決定的なので、差分の解消が課題
-  - 順序なしリスト要素を`-`と`*`のどちらで表現するか、など
+    - 順序なしリスト要素を`-`と`*`のどちらで表現するか、など
 - メタデータのハンドリングも出来るようにすれば、さらに捗るかも

contents/blogs/news/2020-11-25-新着入荷.md

@@ -1,7 +1,6 @@
 以下の書籍が入荷しました。
 
-* [Language Implementation Patterns: Create Your Own Domain-Specific and General Programming Languages](https://k9bookshelf.com/products/language-implementation-patterns-create-your-own-domain-specific-and-general-programming-languages)
-* [Node.js Design Patterns - Third edition: Design and implement production-grade Node.js applications using proven patterns and techniques](https://k9bookshelf.com/products/node-js-design-patterns-third-edition-design-and-implement-production-grade-node-js-applications-using-proven-patterns-and-techniques)
-* [The Maker’s Guide to the Zombie Apocalypse: Defend Your Base with Simple Circuits, Arduino, and Raspberry Pi](https://k9bookshelf.com/products/the-makers-guide-to-the-zombie-apocalypse-defend-your-base-with-simple-circuits-arduino-and-raspberry-pi)
-* [Programming Webassembly with Rust: Unified Development for Web, Mobile, and Embedded Applications (1ST ed.)](https://k9bookshelf.com/products/programming-webassembly-with-rust)
-
+- [Language Implementation Patterns: Create Your Own Domain-Specific and General Programming Languages](https://k9bookshelf.com/products/language-implementation-patterns-create-your-own-domain-specific-and-general-programming-languages)
+- [Node.js Design Patterns - Third edition: Design and implement production-grade Node.js applications using proven patterns and techniques](https://k9bookshelf.com/products/node-js-design-patterns-third-edition-design-and-implement-production-grade-node-js-applications-using-proven-patterns-and-techniques)
+- [The Maker’s Guide to the Zombie Apocalypse: Defend Your Base with Simple Circuits, Arduino, and Raspberry Pi](https://k9bookshelf.com/products/the-makers-guide-to-the-zombie-apocalypse-defend-your-base-with-simple-circuits-arduino-and-raspberry-pi)
+- [Programming Webassembly with Rust: Unified Development for Web, Mobile, and Embedded Applications (1ST ed.)](https://k9bookshelf.com/products/programming-webassembly-with-rust)

contents/pages/contact.md

@@ -1,3 +1 @@
 k9bookshelfに関するお問い合わせはこちらからお願いいたします。
-
-

contents/pages/このサイトについて.md

@@ -15,5 +15,3 @@
 また、日本語書籍より更に膨大な流量がある英語書籍の中から、時にはマイナーなテーマについての書籍で、さらに一定の評価を得ているものを探す、となるとこれは中々に困難です。
 
 このサイトで紹介する書籍が、そのギャップを埋めることができれば嬉しく思います。
-
-

contents/products/an-introduction-to-functional-programming-through-lambda-calculus-dover-books-on-mathematics.md

@@ -2,6 +2,4 @@
 
 表題にはIntroductionとありますが、パラダイムの入門書的な内容はあまり期待できません。 関数型言語が、少なくとも理論的にはどういうモデルの上に立っているかが観察できるところが興味深い本です。
 
-静的型付き言語界隈の精神的・物理的鈍器として紹介されることの多い[型システム入門](https://amzn.to/36V7U6b)という書籍がありますが、本書を読んでから挑戦してみると面白いかも知れません。 というのもラムダ計算を基に関数型言語を構築していくというこの本の主題である要素を、型システム入門でも理論的な解説を踏まえながら追っていくからです。 ただ、本書の方がコードでの解説によりフォーカスしており、「まず動かしてみて学ぶ」というような学び方には合っていると思います。
-
-
+静的型付き言語界隈の精神的・物理的鈍器として紹介されることの多い [型システム入門](https://amzn.to/36V7U6b) という書籍がありますが、本書を読んでから挑戦してみると面白いかも知れません。 というのもラムダ計算を基に関数型言語を構築していくというこの本の主題である要素を、型システム入門でも理論的な解説を踏まえながら追っていくからです。 ただ、本書の方がコードでの解説によりフォーカスしており、「まず動かしてみて学ぶ」というような学び方には合っていると思います。

contents/products/blood-sweat-and-pixels-the-triumphant-turbulent-stories-behind-how-video-games-are-made.md

@@ -3,5 +3,3 @@
 一見華やかな印象のゲーム業界を支えるその現場が、まさにBloodとSweatで贖われていること、それでもなお開発者達を引きつけてやまない抗いがたい魅力があることがよく分かります。 （自分でやりたいかと問われるとその覚悟はないですが。。。）
 
 ビジネスツールやウェブサービスの運営を生業にしていても、開発プロジェクトのドキュメンタリーとして十分に共感して楽しめる内容になっていると思います。 個人的にはDiablo3の不死鳥のようなエピソードが好きです。
-
-

contents/products/language-implementation-patterns-create-your-own-domain-specific-and-general-programming-languages.md

@@ -10,7 +10,6 @@ The pattern implementations use Java, but the patterns themselves are completely
 
 You’ll learn to create configuration file readers, data readers, model-driven code generators, source-to-source translators, source analyzers, and interpreters. Each chapter groups related design patterns and, in each pattern, you’ll get hands-on experience by building a complete sample implementation. By the time you finish the book, you’ll know how to solve most common language implementation problems.
 
-
 ---
 
 表題の通り、言語実装のデザインパターンを色々紹介していく本です。 いくつかのパートに分けて言語解析器、インタープリタ、コンパイラ(Translator&Generatorとして紹介)の内部に現れるパターンを紹介していきます。
@@ -19,8 +18,6 @@ You’ll learn to create configuration file readers, data readers, model-driven
 
 LinterやFormatter、設定ファイルの解析器、あるいはマークダウンのような軽量マークアップ言語からHTMLを生成するなど、言語実装におけるパターンの適用範囲は実は一般的なプログラマーにとっても身近なものであるというのです。 (あるい単に教養として、ということでも良いかも知れません)
 
-私はこの本にあたった後に、i18nの辞書となるjsonファイルからTypeScriptなどの型定義ファイルを生成するという[ツール](https://github.com/kogai/typed_i18n)を書いたことがあるのですが、 この本に出てくるコンセプトが溶け込んでいたと言って良いと思います。 例えば入力であるjsonを何らかの中間表現に落とし込み、IRをGeneratorが型定義として書き出すといったような、この本で解説されているパターンです。
+私はこの本にあたった後に、i18nの辞書となるjsonファイルからTypeScriptなどの型定義ファイルを生成するという [ツール](https://github.com/kogai/typed_i18n) を書いたことがあるのですが、 この本に出てくるコンセプトが溶け込んでいたと言って良いと思います。 例えば入力であるjsonを何らかの中間表現に落とし込み、IRをGeneratorが型定義として書き出すといったような、この本で解説されているパターンです。
 
 LinterやFormatterを常用してレポジトリを管理することは一般的になっていますし、チーム毎に適用したいルールというものも出てくるでしょう。 そういった時の道案内にも良いと思います。
-
-

contents/products/node-js-design-patterns-third-edition-design-and-implement-production-grade-node-js-applications-using-proven-patterns-and-techniques.md

@@ -4,9 +4,9 @@ Learn proven patterns, techniques, and tricks to take full advantage of the Node
 
 **Key Features**
 
-* Learn how to create solid server-side applications by leveraging the full power of Node.js 14
-* Understand how Node.js works and learn how to take full advantage of its core components as well as the solutions offered by its ecosystem
-* Avoid common mistakes and use proven patterns to create production grade Node.js applications
+- Learn how to create solid server-side applications by leveraging the full power of Node.js 14
+- Understand how Node.js works and learn how to take full advantage of its core components as well as the solutions offered by its ecosystem
+- Avoid common mistakes and use proven patterns to create production grade Node.js applications
 
 **Book Description**
 
@@ -18,20 +18,19 @@ Throughout the book, you’ll see Node.js in action with the help of several rea
 
 **What you will learn**
 
-* Become comfortable with writing asynchronous code by leveraging callbacks, promises, and the async/await syntax
-* Leverage Node.js streams to create data-driven asynchronous processing pipelines
-* Implement well-known software design patterns to create production grade applications
-* Share code between Node.js and the browser and take advantage of full-stack JavaScript
-* Build and scale microservices and distributed systems powered by Node.js
-* Use Node.js in conjunction with other powerful technologies such as Redis, RabbitMQ, ZeroMQ, and LevelDB
+- Become comfortable with writing asynchronous code by leveraging callbacks, promises, and the async/await syntax
+- Leverage Node.js streams to create data-driven asynchronous processing pipelines
+- Implement well-known software design patterns to create production grade applications
+- Share code between Node.js and the browser and take advantage of full-stack JavaScript
+- Build and scale microservices and distributed systems powered by Node.js
+- Use Node.js in conjunction with other powerful technologies such as Redis, RabbitMQ, ZeroMQ, and LevelDB
 
 **Who this book is for**
 
 This book is for developers and software architects who have some prior basic knowledge of JavaScript and Node.js and now want to get the most out of these technologies in terms of productivity, design quality, and scalability. Software professionals with intermediate experience in Node.js and JavaScript will also find valuable the more advanced patterns and techniques presented in this book.
 
 This book assumes that you have an intermediate understanding of web application development, databases, and software design principles.
 
-
 ---
 
 Node.jsでコードを書くときのデザインプラクティスやそのプラクティスが重要である理由について解説した書籍です。 JavaScriptのイベントループによる実行モデルを、時に分かりやすい図を挟みながら詳細に解説が載っています。 業務でJavaScriptを書いていて、普通に書けるようにはなってきたけど、もう一歩深入りしたいという方にオススメです。（特にJavaScriptが最初の言語である方）
@@ -41,5 +40,3 @@ JavaScriptのイベントループモデルは、「WebブラウザというGUI
 この本では、あまり語られることのない、JavaScriptが「どうやって」「なぜそのように」実行されているのかということが解説されています。 （表題のDesign Patternは、「そういう理由であるからこういったデザインを採用する」という意味と解釈しています）
 
 なお、表題のイメージとは異なり、いわゆるデザパタ本的な性質は薄いです。
-
-