Bump version from 0.1.0-alpha.0 to 0.1.0-alpha.1, pendulum diff_for_humans eta

.stignore

@@ -0,0 +1,101 @@
+.git
+# Byte-compiled / optimized / DLL files
+__pycache__
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build
+develop-eggs
+dist
+downloads
+eggs
+.eggs
+lib
+lib64
+parts
+sdist
+var
+wheels
+pip-wheel-metadata
+share/python-wheels
+*.egg-info
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+
+# Flask stuff:
+instance
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build
+
+# PyBuilder
+target
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default
+ipython_config.py
+
+# pyenv
+.python-version
+
+# celery beat schedule file
+celerybeat-schedule
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env
+venv
+ENV
+env.bak
+venv.bak
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mypy
+.mypy_cache
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre

app_mlbee.py

@@ -0,0 +1,164 @@
+"""Prep for streamlit run app_mlbee.py.
+
+Based on app.py in lit-bee
+
+https://docs.streamlit.io/knowledge-base/using-streamlit/hide-row-indices-displaying-dataframe
+    Hide row indices when displaying a dataframe
+# CSS to inject contained in a string
+hide_table_row_index = '''
+            <style>
+            tbody th {display:none}
+            .blank {display:none}
+            </style>
+            '''
+# Inject CSS with Markdown
+st.markdown(hide_table_row_index, unsafe_allow_html=True)
+
+# Display a static table
+st.table(df)
+
+# Hide row indices with st.dataframe
+# CSS to inject contained in a string
+hide_dataframe_row_index = '''
+            <style>
+            .row_heading.level0 {display:none}
+            .blank {display:none}
+            </style>
+           '''
+# Inject CSS with Markdown
+st.markdown(hide_dataframe_row_index, unsafe_allow_html=True)
+
+# Display an interactive table
+st.dataframe(df)
+
+https://medium.com/@avra42/streamlit-python-cool-tricks-to-make-your-web-application-look-better-8abfc3763a5b
+hide_menu_style = '''
+        <style>
+        #MainMenu {visibility: hidden; }
+        footer {visibility: hidden;}
+        </style>
+        '''
+st.markdown(hide_menu_style, unsafe_allow_html=True)
+"""
+# pylint: disable=invalid-name
+import os
+import sys
+import time
+from pathlib import Path
+from types import SimpleNamespace
+from typing import Optional
+
+import loguru
+import logzero
+import pandas as pd
+
+import streamlit as st
+from loguru import logger as loggu
+from logzero import logger
+from set_loglevel import set_loglevel
+from streamlit import session_state as state
+
+from mlbee import __version__
+from mlbee.utils import menu_items
+from mlbee.multipage import Multipage
+
+from mlbee.home import home
+from mlbee.settings import settings
+from mlbee.info import info
+from mlbee.utils import style_css
+
+# curr_py = sys.version[:3]
+# msg = f"Some packages mlbee depends on can only run with Python 3.8, current python is **{curr_py}**, sorry..."
+# assert curr_py == "3.8", msg
+
+os.environ["TZ"] = "Asia/Shanghai"
+try:
+    time.tzset()  # type: ignore
+except Exception as _:
+    logger.warning("time.tzset() error: %s. Probably running Windows, we let it pass.", _)
+
+# uncomment this in dev oe set/export LOGLEVEL=10
+# os.environ["LOGLEVEL"] = "10"
+
+logzero.loglevel(set_loglevel())
+
+loggu.remove()
+_ = (
+    "<green>{time:YY-MM-DD HH:mm:ss}</green> | "
+    "<level>{level: <5}</level> | <level>{message}</level> "
+    "<cyan>{module}.{name}</cyan>:<cyan>{line}</cyan>"
+)
+loggu.add(
+    sys.stderr,
+    format=_,
+    level=set_loglevel(),
+    colorize=True,
+)
+
+# from PIL import Image
+# page_icon=Image.open("icon.ico"),
+st.set_page_config(  # type: ignore
+    page_title=f"mlbee v{__version__}",
+    # page_icon="🧊",
+    page_icon="🐝",
+    # layout="wide",
+    initial_sidebar_state="auto",  # "auto" or "expanded" or "collapsed",
+    menu_items=menu_items,
+)
+
+# pd.set_option("precision", 2)
+pd.set_option("display.precision", 2)
+pd.options.display.float_format = "{:,.2f}".format
+
+beetype = "mlbee"
+sourcetype = "upload"
+if set_loglevel() <= 10:
+    sourcetype = "urls"
+
+_ = dict(
+    beetype=beetype,
+    sourcetype=sourcetype,
+    sourcecount=2,
+    sentali=None,
+    src_filename="",
+    tgt_filename="",
+    src_fileio=b"",
+    tgt_fileio=b"",
+    src_file="",
+    tgt_file="",
+    list1=[""],
+    list2=[""],
+    df=None,
+    df_a=None,
+    df_s_a=None,
+    count=1,
+    updated=False,
+)
+if "ns" not in state:
+    state.ns = SimpleNamespace(**_)
+state.ns.list = [*_]
+
+
+def main():
+    """Bootstrap."""
+    # options()
+
+    st.markdown(f"<style>{style_css}</style>", unsafe_allow_html=True)
+
+    app = Multipage()
+
+    app.add_page("Home", "house", home)
+    app.add_page("Settings", "gear", settings)
+    app.add_page("Info", "info", info)
+
+    app.run()
+
+    if set_loglevel() <= 10:
+        st.markdown(state.ns.count)
+    loggu.debug(f" run: {state.ns.count}")
+    logger.debug(f" run: {state.ns.count}")
+    state.ns.count += 1
+    state.ns.updated = False
+
+
+main()

data/king-later01-de.txt

@@ -0,0 +1,107 @@
+
+
+1
+
+
+			Ich war gerade mit meiner Mutter auf dem Heimweg von der Schule. Sie hatte mich an die Hand genommen, und in der anderen hielt ich meinen Truthahn, den wir Erstklässler in der Woche vor Thanksgiving angefertigt hatten. Ich war stolz wie Oskar. Wir machten das folgendermaßen: Man legte eine Hand auf ein Blatt Tonpapier und umfuhr sie mit einem Wachsmalstift. So entstanden der Schwanz und der Rumpf. Was den Kopf anging, war man auf sich selbst gestellt.
+
+			Als ich Mama meinen Truthahn zeigte, sagte sie ja, ja, ja, genau, genau, genau, total super, aber ich glaube nicht, dass sie ihn sich richtig angesehen hat. Wahrscheinlich dachte sie stattdessen an eines der Bücher, die sie verkaufen wollte. »Das Produkt an den Mann bringen«, wie sie es nannte. Mama war nämlich Literaturagentin. Früher hat das ihr Bruder gemacht, mein Onkel Harry, aber ein Jahr vor der Zeit, von der ich hier erzähle, hatte Mama seine Agentur übernommen. Das ist eine lange, ziemlich traurige Geschichte.
+
+			»Ich hab Dunkelgrün genommen, weil das meine Lieblingsfarbe ist«, sagte ich. »Das weißt du doch, oder?« Inzwischen waren wir fast da. Unsere Wohnung lag nur drei Straßen von meiner Schule entfernt.
+
+			Ja, ja, ja, hat Mama gesagt. Außerdem: »Wenn wir zu Hause sind, spielst du was oder schaust dir Barney und den Zauberschulbus an, Kleiner. Ich muss massenhaft Anrufe erledigen.«
+
+			Worauf ich ja, ja, ja von mir gegeben habe, was mir einen Knuff in die Seite und ein Grinsen einbrachte. Ich fand es immer toll, wenn ich meine Mutter zum Grinsen bringen konnte. Schon mit sechs wusste ich nämlich, dass sie das Leben äußerst ernst nahm. Später stellte ich fest, dass das teilweise an mir lag. Sie ging irgendwie davon aus, dass sie ein ziemlich gestörtes Kind aufziehen würde. Der Tag, von dem ich gerade erzähle, war jedenfalls der, wo sie definitiv zu dem Schluss kam, dass ich doch nicht gestört war. Was für sie einerseits eine Erleichterung und andererseits keine gewesen sein muss.
+
+			»Du sprichst mit keinem darüber, ja?«, sagte sie später an jenem Tag zu mir. »Außer mit mir. Und vielleicht nicht mal mit mir, Kleiner. Okay?«
+
+			Ich sagte okay. Wenn man klein ist und es sich um die eigene Mama handelt, sagt man zu allem okay. Außer natürlich, sie erklärt einem, dass es Zeit fürs Bett ist. Oder sie befiehlt, bloß ja den ganzen Brokkoli aufzuessen.
+
+			Als wir zu Hause ankamen, war der Aufzug immer noch kaputt. Theoretisch könnte man sagen, das Ganze wäre vielleicht anders gelaufen, wenn das Ding funktioniert hätte, aber das glaube ich nicht. Leute, die behaupten, im Leben gehe es nur um die Entscheidungen, die wir treffen, und um die Wege, die wir wählen, haben meiner Meinung nach keinen blassen Schimmer. Egal ob Treppe oder Aufzug, wir wären in jedem Fall im zweiten Stock gelandet. Wenn der flatterhafte Finger des Schicksals auf einen zeigt, führen alle Wege zum selben Ort, meiner Meinung nach jedenfalls. Eventuell werde ich meine Meinung ändern, wenn ich älter bin, aber das glaube ich eigentlich nicht.
+
+			»Was für ein Scheißaufzug«, sagte Mama. Und dann: »Das hast du nicht gehört, Kleiner.«
+
+			»Was denn?«, sagte ich, was mir ein weiteres Grinsen einbrachte. Es sollte das letzte an jenem Nachmittag sein, so viel kann ich verraten. Ich fragte, ob ich ihre Tasche tragen solle, in der wie immer ein Manuskript steckte. An jenem Tag war es ein dickes, das nach circa fünfhundert Seiten aussah (wenn das Wetter gut war, saß Mama immer auf einer Bank und las, während sie darauf wartete, dass ich aus der Schule kam). »Lieb von dir«, sagte sie. »Aber was erkläre ich dir immer?«
+
+			»Jeder muss im Leben seine eigene Last tragen«, sagte ich.
+
+			»Haargenau.«
+
+			»Ist es von Regis Thomas?«, fragte ich.
+
+			»Richtig geraten. Von dem guten alten Regis, der unsere Miete bezahlt.«
+
+			»Geht es um Roanoke?«
+
+			»Musst du das wirklich fragen, Jamie?« Was mich zum Kichern brachte. Alles, was der gute alte Regis schrieb, spielte in Roanoke. Das war die Last, die er im Leben trug.
+
+			Wir stiegen die Treppe hinauf in den zweiten Stock, wo sich außer unserer noch zwei weitere Wohnungen befanden. Unsere hinten im Flur war die schickste. Vor der Tür von 3A standen Mr. und Mrs. Burkett, und mir war sofort klar, dass etwas nicht stimmte. Mr. Burkett rauchte eine Zigarette, was ich bei ihm noch nie gesehen hatte und was in unserem Haus außerdem verboten war. Seine Augen waren blutunterlaufen, und die Haare standen ihm in wirren grauen Büscheln vom Kopf ab. Ich sagte immer Mister zu ihm, aber eigentlich war er Professor Burkett und lehrte an der New York University irgendetwas Kluges. Englische und europäische Dichtung, wie ich später erfuhr. Mrs. Burkett stand barfuß nur im Nachthemd da. Das Nachthemd war ziemlich dünn. Ich konnte durch es hindurch fast alles von ihr sehen.
+
+			»Was ist denn passiert, Marty?«, fragte meine Mutter.
+
+			Bevor er etwas erwidern konnte, zeigte ich ihm meinen Truthahn. Weil Mr. Burkett traurig wirkte und ich ihn aufmuntern wollte, aber auch weil ich so stolz darauf war. »Schauen Sie mal, Mr. Burkett! Ich hab einen Truthahn gemalt! Schauen Sie mal, Mrs. Burkett!« Beim Hinhalten hob ich ihn vors Gesicht, weil sie nicht denken sollte, dass ich auf ihren Busen glotzte.
+
+			Mr. Burkett achtete nicht auf mich. Ich glaube, er hatte mich nicht mal gehört. »Tia, ich habe eine schreckliche Nachricht. Heute Morgen ist Mona gestorben.«
+
+			Meine Mutter ließ die Tasche mit dem Manuskript zwischen ihre Füße fallen und schlug sich die Hand vor den Mund. »O nein! Das ist nicht wahr!«
+
+			Er brach in Tränen aus. »Sie ist nachts aufgestanden und hat gesagt, sie will ein Glas Wasser trinken. Ich bin wieder eingeschlafen, und heute Morgen lag sie auf dem Sofa und hatte eine Steppdecke bis zum Kinn gezogen. Da bin ich auf Zehenspitzen in die Küche gegangen und hab Kaffee aufgesetzt, weil ich dachte, der Duft würde sie auf-auf-w-w-w… würde sie aufwecken …«
+
+			Dann brach er wirklich zusammen. Mama nahm ihn in die Arme, wie sie es mit mir tat, wenn ich mir wehgetan hatte, obwohl Mr. Burkett ungefähr hundert Jahre alt war (vierundsiebzig, wie ich später erfuhr).
+
+			Und da sagte Mrs. Burkett etwas zu mir. Sie war schwer zu verstehen, wenn auch nicht so schwer wie manche anderen, weil sie noch ziemlich frisch war. »Truthähne sind nicht grün, James«, sagte sie.
+
+			»Meiner schon«, sagte ich.
+
+			Meine Mutter hielt Mr. Burkett immer noch in den Armen und wiegte ihn irgendwie hin und her. Die beiden hörten Mrs. Burkett nicht, und mich hörten sie auch nicht, weil sie erwachsene Dinge taten: Mama spendete Trost, Mr. Burkett heulte.
+
+			»Ich hab Doktor Allen angerufen«, sagte Mr. Burkett. »Als er dann da war, meinte er, dass sie wahrscheinlich einen Schlag hatte.« Wenigstens glaube ich, dass er das gesagt hat. Er weinte so sehr, dass er nicht gut zu verstehen war. »Er hat für mich beim Bestattungsinstitut angerufen. Die haben sie weggebracht. Ich weiß gar nicht, was ich ohne sie tun soll.«
+
+			Mrs. Burkett sagte: »Wenn mein Mann nicht aufpasst, wird er deiner Mutter mit seiner Zigarette noch das Haar versengen.«
+
+			Was er tatsächlich tat. Ich konnte die schmorenden Haare riechen, ein Gestank wie beim Damenfriseur. Mama war zu höflich, etwas zu sagen, aber sie sorgte dafür, dass er sie losließ, und dann nahm sie ihm die Zigarette ab, warf sie auf den Boden und trat darauf. Das fand ich richtig eklig, eine echte Schweinerei, aber ich hielt den Mund. Ich kapierte, dass es sich um eine besondere Situation handelte.
+
+			Außerdem kapierte ich, dass er durchdrehen würde, wenn ich weiter mit Mrs. Burkett sprach. Mama ebenfalls. Selbst ein kleiner Junge weiß gewisse grundlegende Dinge, wenn er nicht weich in der Birne ist. Man sagt bitte, man sagt danke, man wedelt in der Öffentlichkeit nicht mit dem Schniedel herum, man kaut nicht mit offenem Mund, und man spricht nicht mit toten Leuten, wenn sie neben lebenden Leuten stehen, die gerade erst anfangen, sie zu vermissen. Zu meiner Verteidigung will ich nur sagen: Beim ersten Anblick war mir noch nicht bewusst gewesen, dass sie tot war. Später wurde ich besser darin, den Unterschied zu beurteilen, aber damals musste ich das erst noch lernen. Durch das Nachthemd von Mrs. Burkett konnte ich hindurchschauen, durch sie selbst nicht. Tote sehen genauso aus wie Lebende, nur dass sie immer die Kleidung wie beim Sterben tragen.
+
+			Währenddessen kaute Mr. Burkett die ganze Sache noch einmal durch. Er erzählte meiner Mutter, wie er neben dem Sofa auf dem Boden gesessen und die Hand seiner Frau gehalten hatte, bis der Arzt kam, und dann wieder, bis die Leute vom Bestattungsinstitut gekommen waren, um sie wegzuschaffen. Eigentlich sagte er: »Um sie von dannen zu bringen«, was ich nicht verstand, bis Mama es mir erklärte. Das Weinen hatte zwischendurch nachgelassen, nahm jetzt jedoch wieder Fahrt auf. »Ihre Ringe sind weg«, sagte er unter Tränen. »Nicht nur ihr Hochzeitsring, sondern auch der Verlobungsring mit dem großen Diamanten. Ich hab auf dem Nachttisch auf ihrer Bettseite nachgeschaut, wo sie die Dinger immer hinlegt, wenn sie sich die Hände mit der scheußlich riechenden Arthritissalbe einreibt …«
+
+			»Die riecht tatsächlich erbärmlich«, bestätigte Mrs. Burkett. »Das Lanolin da drin ist im Grunde nur Schaffett, aber irgendwie hilft’s.«
+
+			Ich nickte, um auszudrücken, dass ich verstanden hätte, sagte aber nichts.
+
+			»… und auf dem Waschbecken im Bad, weil sie die Ringe manchmal da liegen lässt … Überall hab ich nachgeschaut.«
+
+			»Die werden schon wieder auftauchen«, sagte meine Mutter besänftigend, und da ihre Haare jetzt nicht mehr gefährdet waren, nahm sie Mr. Burkett wieder in die Arme. »Sie tauchen bestimmt wieder auf, Marty, mach dir darüber keine Sorgen.«
+
+			»Ich vermisse sie so sehr! Ich vermisse sie jetzt schon!«
+
+			Mrs. Burkett wedelte mit der Hand vor dem Gesicht. »Wahrscheinlich dauert es nicht mal sechs Wochen, bis er Dolores Magowan zum Mittagessen ausführt.«
+
+			Mr. Burkett flennte, und meine Mutter tröstete ihn, so wie sie mich tröstete, wenn ich mir mal das Knie aufschürfte oder wie damals, als ich ihr eine Tasse Tee machen wollte und mir heißes Wasser auf die Hand geschwappt ist. Es herrschte also irgendwie ein ziemlich hoher Lärmpegel, weshalb ich es riskierte, wenn auch nur mit leiser Stimme.
+
+			»Wo sind Ihre Ringe denn, Mrs. Burkett? Wissen Sie das?«
+
+			Wenn sie tot sind, müssen sie die Wahrheit sagen. Im Alter von sechs Jahren wusste ich das allerdings noch nicht; ich nahm einfach an, dass alle Erwachsenen, ob nun lebendig oder tot, stets die Wahrheit sagten. Natürlich glaubte ich damals auch, Goldlöckchen wäre ein echtes Mädchen. Man darf mich gern als dämlich bezeichnen, aber immerhin glaubte ich wenigstens nicht, dass die drei Bären auch wirklich sprechen konnten.
+
+			»Im obersten Fach vom Flurschrank«, sagte sie. »Ganz hinten, hinter den Fotoalben.«
+
+			»Warum da?«, fragte ich, worauf meine Mutter mir einen seltsamen Blick zuwarf. Soweit sie sehen konnte, unterhielt ich mich mit dem leeren Wohnungseingang … obwohl sie eigentlich längst wusste, dass ich ein bisschen anders als andere Kinder tickte. Nach einem nicht gerade schönen Vorfall im Central Park – dazu bald mehr – bekam ich mit, wie sie einer von ihren Verlagsfreundinnen am Telefon erzählte, ich hätte eine besondere Beziehung zur Geisterwelt. Was mir einen gewaltigen Schrecken einjagte. Geister setzte ich nämlich mit Gespenstern gleich, und vor denen hatte ich furchtbare Angst.
+
+			»Ich habe nicht die leiseste Ahnung«, sagte Mrs. Burkett. »Aber da hatte ich wahrscheinlich schon den Schlaganfall. Das heißt, meine Gedanken sind in Blut ertrunken.«
+
+			In Blut ertrunkene Gedanken. Das habe ich nie vergessen.
+
+			Mama fragte Mr. Burkett, ob er mit in unsere Wohnung kommen wolle, zu einer Tasse Tee (»oder etwas Stärkerem«), aber er lehnte ab, weil er noch einmal nach den verschwundenen Ringen seiner Frau suchen wollte. Daraufhin fragte sie ihn, ob wir ihm was vom Chinesen mitbringen sollten, wenn wir dort unser Abendessen holten, und er sagte: »Das wäre schön, vielen Dank, Tia.«
+
+			»De nada«, sagte meine Mutter (das verwendete sie beinah so oft wie ja, ja, ja und genau, genau, genau), und dann erklärte sie ihm, wir würden ihm das Essen gegen sechs in die Wohnung bringen, falls er nicht bei uns essen wolle, wozu er gern eingeladen sei. Nein, sagte er, er würde lieber bei sich essen, aber er fände es nett, wenn wir uns dann zu ihm gesellen würden. Nur dass er zu uns sagte, als wäre Mrs. Burkett noch am Leben. Was sie ja nicht war, obwohl sie dastand.
+
+			»Bis dahin hast du die Ringe bestimmt gefunden«, sagte Mama. Sie nahm mich an die Hand. »Komm, Jamie. Wir besuchen Mr. Burkett später wieder. Jetzt lassen wir ihn erst mal lieber für sich allein.«
+
+			»Truthähne sind nicht grün, Jamie«, sagte Mrs. Burkett. »Und das da sieht sowieso nicht wie ein Truthahn aus. Das sieht aus wie ein Klecks, aus dem Finger ragen. Ein Rembrandt bist du nicht gerade.«
+
+			Tote Leute mussten die Wahrheit sagen, was okay war, solange man die Antwort auf eine Frage erfahren wollte, aber wie schon gesagt, die Wahrheit war halt manchmal echt beschissen. Weshalb ich irgendwie wütend auf Mrs. Burkett wurde, wenn auch nur kurz, weil sie auf einmal zu weinen anfing. Sie wandte sich Mr. Burkett zu und sagte: »Wer wird jetzt dafür sorgen, dass du die Gürtelschlaufe hinten an deiner Hose nicht vergisst? Dolores Magowan? Da fress ich doch ’nen Besen!« Sie küsste seine Wange … oder küsste in deren Richtung, das war mir nicht ganz klar. »Ich habe dich geliebt, Marty. Das tu ich immer noch.«
+
+			Mr. Burkett hob die Hand und kratzte sich an der Stelle, wo ihre Lippen ihn berührt hatten, als würde es ihn da jucken. Das hat er wohl jedenfalls gedacht.
+
+
+

data/king-later01-en.txt

@@ -0,0 +1,106 @@
+
+
+1
+
+
+I was coming home from school with my mother. She was holding my hand. In the other hand I clutched my turkey, the ones we made in first grade the week before Thanksgiving. I was so proud of mine I was practically shitting nickels. What you did, see, was put your hand on a piece of construction paper and then trace around it with a crayon. That made the tail and body. When it came to the head, you were on your own.
+
+I showed mine to Mom and she’s all yeah yeah yeah, right right right, totally great, but I don’t think she ever really saw it. She was probably thinking about one of the books she was trying to sell. “Flogging the product,” she called it. Mom was a literary agent, see. It used to be her brother, my Uncle Harry, but Mom took over his business a year before the time I’m telling you about. It’s a long story and kind of a bummer.
+
+I said, “I used Forest Green because it’s my favorite color. You knew that, right?” We were almost to our building by then. It was only three blocks from my school.
+
+She’s all yeah yeah yeah. Also, “You play or watch Barney and The Magic Schoolbus when we get home, kiddo, I’ve got like a zillion calls to make.”
+
+So I go yeah yeah yeah, which earned me a poke and a grin. I loved it when I could make my mother grin because even at six I knew that she took the world very serious. Later on I found out part of the reason was me. She thought she might be raising a crazy kid. The day I’m telling you about was the one when she decided for sure I wasn’t crazy after all. Which must have been sort of a relief and sort of not.
+
+“You don’t talk to anybody about this,” she said to me later that day. “Except to me. And maybe not even me, kiddo. Okay?”
+
+I said okay. When you’re little and it’s your mom, you say okay to everything. Unless she says it’s bedtime, of course. Or to finish your broccoli.
+
+We got to our building and the elevator was still broken. You could say things might have been different if it had been working, but I don’t think so. I think that people who say life is all about the choices we make and the roads we go down are full of shit. Because check it, stairs or elevator, we still would have come out on the third floor. When the fickle finger of fate points at you, all roads lead to the same place, that’s what I think. I may change my mind when I’m older, but I really don’t think so.
+
+“Fuck this elevator,” Mom said. Then, “You didn’t hear that, kiddo.”
+
+“Hear what?” I said, which got me another grin. Last grin for her that afternoon, I can tell you. I asked her if she wanted me to carry her bag, which had a manuscript in it like always, that day a big one, looked like a five-hundred-pager (Mom always sat on a bench reading while she waited for me to get out of school, if the weather was nice). She said, “Sweet offer, but what do I always tell you?”
+
+“You have to tote your own burden in life,” I said.
+
+“Correctamundo.”
+
+“Is it Regis Thomas?” I asked.
+
+“Yes indeed. Good old Regis, who pays our rent.”
+
+“Is it about Roanoke?”
+
+“Do you even have to ask, Jamie?” Which made me snicker. Everything good old Regis wrote was about Roanoke. That was the burden he toted in life.
+
+We went up the stairs to the third floor, where there were two other apartments plus ours at the end of the hall. Ours was the fanciest one. Mr. and Mrs. Burkett were standing outside 3A, and I knew right away something was wrong because Mr. Burkett was smoking a cigarette, which I hadn’t seen him do before and was illegal in our building anyway. His eyes were bloodshot and his hair was all crazied up in gray spikes. I always called him mister, but he was actually Professor Burkett, and taught something smart at NYU. English and European Literature, I later found out. Mrs. Burkett was dressed in a nightgown and her feet were bare. That nightgown was pretty thin. I could see most of her stuff right through it.
+
+My mother said, “Marty, what’s wrong?”
+
+Before he could say anything back, I showed him my turkey. Because he looked sad and I wanted to cheer him up, but also because I was so proud of it. “Look, Mr. Burkett! I made a turkey! Look, Mrs. Burkett!” I held it up for her in front of my face because I didn’t want her to think I was looking at her stuff.
+
+Mr. Burkett paid no attention. I don’t think he even heard me. “Tia, I have some awful news. Mona died this morning.”
+
+My mother dropped her bag with the manuscript inside it between her feet and put her hand over her mouth. “Oh, no! Tell me that’s not true!”
+
+He began to cry. “She got up in the night and said she wanted a drink of water. I went back to sleep and she was on the couch this morning with a comforter pulled up to her chin and so I tiptoed to the kitchen and put on the coffee because I thought the pleasant smell would w-w-wake… would wake…”
+
+He really broke down then. Mom took him in her arms the way she did me when I hurt myself, even though Mr. Burkett was about a hundred (seventy-four, I found out later).
+
+That was when Mrs. Burkett spoke to me. She was hard to hear, but not as hard as some of them because she was still pretty fresh. She said, “Turkeys aren’t green, James.”
+
+“Well mine is,” I said.
+
+My mother was still holding Mr. Burkett and kind of rocking him. They didn’t hear her because they couldn’t, and they didn’t hear me because they were doing adult things: comforting for Mom, blubbering for Mr. Burkett.
+
+Mr. Burkett said, “I called Dr. Allen and he came and said she probably had a soak.” At least that’s what I thought he said. He was crying so much it was hard to tell. “He called the funeral parlor. They took her away. I don’t know what I’ll do without her.”
+
+Mrs. Burkett said, “My husband is going to burn your mother’s hair with his cigarette if he doesn’t look out.”
+
+And sure enough, he did. I could smell the singeing hair, a kind of beauty shop smell. Mom was too polite to say anything about it, but she made him let go of her, and then she took the cigarette from him and dropped it on the floor and stepped on it. I thought that was a groady thing to do, extreme litterbugging, but I didn’t say anything. I got that it was a special situation.
+
+I also knew that talking to Mrs. Burkett any more would freak him out. Mom, too. Even a little kid knows certain basic things if he’s not soft in the attic. You said please, you said thank you, you didn’t flap your weenie around in public or chew with your mouth open, and you didn’t talk to dead folks when they were standing next to living folks who were just starting to miss them. I only want to say, in my own defense, that when I saw her I didn’t know she was dead. Later on I got better at telling the difference, but back then I was just learning. It was her nightgown I could see through, not her. Dead people look just like living people, except they’re always wearing the clothes they died in.
+
+Meanwhile, Mr. Burkett was rehashing the whole thing. He told my mother how he sat on the floor beside the couch and held his wife’s hand till that doctor guy came and again till the mortician guy came to take her away. “Conveyed her hence” was what he actually said, which I didn’t understand until Mom explained it to me. And at first I thought he said beautician, maybe because of the smell when he burned Mom’s hair. His crying had tapered off, but now it ramped up again. “Her rings are gone,” he said through his tears. “Both her wedding ring and her engagement ring, that big diamond. I looked on the night table by her side of the bed, where she puts them when she rubs that awful-smelling arthritis cream into her hands—”
+
+“It does smell bad,” Mrs. Burkett admitted. “Lanolin is basically sheep dip, but it really helps.”
+
+I nodded to show I understood but didn’t say anything.
+
+“—and on the bathroom sink, because sometimes she leaves them there…I’ve looked everywhere.”
+
+“They’ll turn up,” my mother soothed, and now that her hair was safe, she took Mr. Burkett in her arms again. “They’ll turn up, Marty, don’t you worry about that.”
+
+“I miss her so much! I miss her already!”
+
+Mrs. Burkett flapped a hand in front of her face. “I give him six weeks before he’s asking Dolores Magowan out to lunch.”
+
+Mr. Burkett was blubbing, and my mother was doing her soothing thing like she did to me whenever I scraped my knee or this one time when I tried to make her a cup of tea and slopped hot water on my hand. Lots of noise, in other words, so I took a chance but kept my voice low.
+
+“Where are your rings, Mrs. Burkett? Do you know?”
+
+They have to tell you the truth when they’re dead. I didn’t know that at the age of six; I just assumed all grownups told the truth, living or dead. Of course back then I also believed Goldilocks was a real girl. Call me stupid if you want to. At least I didn’t believe the three bears actually talked.
+
+“Top shelf of the hall closet,” she said. “Way in the back, behind the scrapbooks.”
+
+“Why there?” I asked, and my mother gave me a strange look. As far as she could see, I was talking to the empty doorway…although by then she knew I wasn’t quite the same as other kids. After a thing that happened in Central Park, not a nice thing—I’ll get to it—I overheard her telling one of her editor friends on the phone that I was “fey.” That scared the shit out of me, because I thought she meant she was changing my name to Fay, which is a girl’s name.
+
+“I don’t have the slightest idea,” Mrs. Burkett said. “By then I suppose I was having the stroke. My thoughts would have been drowning in blood.”
+
+Thoughts drowning in blood. I never forgot that.
+
+Mom asked Mr. Burkett if he wanted to come down to our apartment for a cup of tea (“or something stronger”), but he said no, he was going to have another hunt for his wife’s missing rings. She asked him if he would like us to bring him some Chinese take-out, which my mother was planning for dinner, and he said that would be good, thank you Tia.
+
+My mother said de nada (which she used almost as much as yeah yeah yeah and right right right), then said we’d bring it to his apartment around six, unless he wanted to eat with us in ours, which he was welcome to do. He said no, he’d like to eat in his place but he would like us to eat with him. Except what he actually said was our place, like Mrs. Burkett was still alive. Which she wasn’t, even though she was there.
+
+“By then you’ll have found her rings,” Mom said. She took my hand. “Come on, Jamie. We’ll see Mr. Burkett later, but for now let’s leave him alone.”
+
+Mrs. Burkett said, “Turkeys aren’t green, Jamie, and that doesn’t look like a turkey anyway. It looks like a blob with fingers sticking out of it. You’re no Rembrandt.”
+
+Dead people have to tell the truth, which is okay when you want to know the answer to a question, but as I said, the truth can really suck. I started to be mad at her, but just then she started to cry and I couldn’t be. She turned to Mr. Burkett and said, “Who’ll make sure you don’t miss the belt loop in the back of your pants now? Dolores Magowan? I should smile and kiss a pig.” She kissed his cheek…or kissed at it, I couldn’t really tell which. “I loved you, Marty. Still do.”
+
+Mr. Burkett raised his hand and scratched the spot where her lips had touched him, as if he had an itch. I suppose that’s what he thought it was.
+
+

data/sternstunden04-de.txt

@@ -0,0 +1,57 @@
+Das Genie einer Nacht
+
+Die Marseillaise, 25. April 1792
+
+Das Genie einer Nacht
+
+1792. Zwei Monate, drei Monate schon schwankt in der französischen Nationalversammlung die Entscheidung: Krieg gegen die Koalition der Kaiser und Könige oder Frieden. Ludwig XVI. ist selbst unentschlossen; er ahnt die Gefahr eines Sieges der Revolutionäre, er ahnt die Gefahr ihrer Niederlage. Ungewiß sind auch die Parteien. Die Girondisten drängen zum Kriege, um die Macht zu behalten, Robespierre und die Jakobiner fechten für den Frieden, um inzwischen selbst die Macht an sich zu reißen. Von Tag zu Tag wird die Lage gespannter, die Journale lärmen, die Klubs diskutieren, immer wilder schwirren die Gerüchte, und immer mehr wird die öffentliche Meinung durch sie erregt. Wie immer eine Entscheidung, wird es darum eine Art von Befreiung, wie am 20. April der König von Frankreich endlich den Krieg an den Kaiser von Österreich und den König von Preußen erklärt.
+
+Lastend und seelenverstörend hat in diesen Wochen und Wochen die elektrische Spannung über Paris gelegen; aber noch drückender, noch drohender schwült die Erregung in den Grenzstädten. In allen Biwaks sind schon die Truppen versammelt, in jedem Dorf, in jeder Stadt werden Freiwillige und Nationalgarden ausgerüstet, überall die Festungen instand gesetzt, und vor allem im Elsaß weiß man, daß auf seiner Scholle, wie immer zwischen Frankreich und Deutschland, die erste Entscheidung fallen wird. An den Ufern des Rheins ist der Feind, der Gegner, nicht wie in Paris ein verschwommener, ein pathetisch-rhetorischer Begriff, sondern sichtbare, sinnliche Gegenwart; denn an dem befestigten Brückenkopf, von dem Turm der Kathedrale, kann man die heranrückenden Regimenter der Preußen mit freiem Auge wahrnehmen. Nachts trägt der Wind das Rollen der feindlichen Artilleriewagen, das Klirren der Waffen, die Trompetensignale über den gleichgültig im Mondlicht glitzernden Strom. Und alle wissen: nur ein einziges Wort, nur ein einziges Dekret ist vonnöten, und aus dem schweigenden Mund der preußischen Kanonen fährt Donner und Blitz, und der tausendjährige Kampf zwischen Deutschland und Frankreich hat abermals begonnen – diesmal im Namen der neuen Freiheit auf der einen Seite und im Namen der alten Ordnung auf der andern.
+
+Unvergleichlicher Tag darum, da am 25. April 1792 Stafetten die Nachricht der erfolgten Kriegserklärung aus Paris nach Straßburg bringen. Sofort strömt aus allen Gassen und Häusern das Volk auf die offenen Plätze, kriegsbereit marschiert die ganze Garnison zur letzten Parade, Regiment nach Regiment. Auf dem Hauptplatz erwartet sie der Bürgermeister Dietrich, die dreifarbige Schärpe um den Leib, die Kokarde auf dem Hut, den er grüßend den Soldaten entgegenschwenkt. Fanfarenruf und Trommelwirbel mahnt zur Stille. Mit lauter Stimme liest Dietrich an diesem und allen andern Plätzen der Stadt französisch und deutsch den Wortlaut der Kriegserklärung vor. Nach seinen letzten Worten intonieren die Regimentsmusiker das erste, das vorläufige Kriegslied der Revolution, das »Ça ira«, eigentlich eine prickelnde, übermütige, spöttische Tanzmelodie, aber die klirrenden, die donnernden Schritte der ausmarschierenden Regimenter geben ihr martialischen Takt. Dann zerstreut sich die Menge und trägt die angefachte Begeisterung in alle Gassen und Häuser; in den Cafés, in den Klubs werden zündende Ansprachen gehalten und Proklamationen verteilt. »Aux armes, citoyens! L'étendard de la guerre est déployé! Le signal est donné!«; so und mit ähnlichen Anrufen beginnen sie, und überall, in allen Reden, in allen Zeitungen, auf allen Plakaten, auf allen Lippen wiederholen sich solche schlagkräftige, rhythmische Rufe wie »Aux armes, citoyens! Qu'ils tremblent donc, les despotes couronnés! Marchons, enfants de la liberté!«, und jedesmal jubelt und jubelt die Masse den feurigen Worten zu.
+
+Immer jubelt die große Masse auf den Straßen und Plätzen bei einer Kriegserklärung, immer aber regen sich in solchen Augenblicken des Straßenjubels auch andere Stimmen, leisere, abseitige; auch die Angst, auch die Sorge wacht auf bei einer Kriegserklärung, nur daß sie heimlich in den Stuben flüstert oder mit blasser Lippe schweigt. Ewig und überall sind Mütter, die sich sagen: Werden die fremden Soldaten nicht meine Kinder hinmorden, in allen Ländern sind die Bauern, die um ihre Habe sorgen, ihre Felder, ihre Hütten, ihr Vieh und ihre Ernte. Wird ihre Saat nicht zerstampft werden, ihr Haus nicht geplündert von den brutalen Horden, nicht mit Blut die Felder ihrer Arbeit gedüngt? Aber der Bürgermeister von Straßburg, Friedrich Baron Dietrich, eigentlich ein Aristokrat, aber wie die beste Aristokratie Frankreichs damals der Sache der neuen Freiheit mit ganzer Seele hingegeben, will nur die lauten, die klingenden Stimmen der Zuversicht zu Wort kommen lassen; bewußt verwandelt er den Tag der Kriegserklärung in ein öffentliches Fest. Die Schärpe quer um die Brust, eilt er von einer Versammlung zur andern, um die Bevölkerung anzufeuern. Er läßt Wein und Zehrung an die abmarschierenden Soldaten verteilen, und am Abend versammelt er in seinem geräumigen Hause auf der Place de Broglie die Generalität, die Offiziere und wichtigsten Amtspersonen zu einem Abschiedsfest, dem Begeisterung schon im vornherein den Charakter eines Siegesfestes gibt. Die Generäle, siegessicher wie immer Generäle, präsidieren, die jungen Offiziere, die im Krieg den Sinn ihres Lebens erfüllt sehen, haben freies Wort. Einer feuert den andern an. Man schwingt die Säbel, man umarmt sich, man trinkt sich zu, man hält bei gutem Wein leidenschaftliche und immer leidenschaftlichere Reden. Und abermals kehren dieselben stimulierenden Worte der Journale und Proklamationen in allen Ansprachen wieder: »Auf zu den Waffen, Bürger! Marschieren wir! Retten wir das Vaterland! Bald werden sie zittern, die gekrönten Despoten. Jetzt, da sich die Fahne des Sieges entrollt hat, ist der Tag gekommen, die Trikolore über die Welt zu tragen! Jeder muß jetzt sein Bestes geben, für den König, für die Fahne, für die Freiheit!« Das ganze Volk, das ganze Land will in solchen Augenblicken eine heilige Einheit werden durch den Glauben an den Sieg und durch Begeisterung für die Sache der Freiheit.
+
+Plötzlich, mitten im Reden und Toastieren, wendet sich der Bürgermeister Dietrich einem jungen Hauptmann vom Festungskorps, namens Rouget, zu, der an seiner Seite sitzt. Er hat sich erinnert, daß dieser nette, nicht gerade hübsche, aber sympathische Offizier vor einem halben Jahr anläßlich der Proklamierung der Konstitution eine recht nette Hymne an die Freiheit geschrieben hat, die der Regimentsmusikus Pleyel gleich vertonte. Die anspruchslose Arbeit hatte sich sangbar erwiesen, die Militärkapelle hatte sie eingelernt, man hatte sie am öffentlichen Platz gespielt und im Chor gesungen. Wären jetzt die Kriegserklärung und der Abmarsch nicht gegebener Anlaß, eine ähnliche Feier zu inszenieren? So fragt Bürgermeister Dietrich ganz lässig, wie man eben einen guten Bekannten um eine Gefälligkeit bittet, den Kapitän Rouget (der sich völlig unberechtigterweise selbst geadelt hat und Rouget de Lisle nennt), ob er nicht den patriotischen Anlaß wahrnehmen wolle und für die ausmarschierenden Truppen etwas dichten, ein Kriegslied für die Rheinarmee, die morgen gegen den Feind ausrücken soll.
+
+Rouget, ein bescheidener, unbedeutender Mann, der sich nie für einen großen Komponisten hielt – seine Verse wurden nie gedruckt, seine Opern refüsiert –, weiß, daß ihm Gelegenheitsverse leicht in die Feder fließen. Um der hohen Amtsperson und dem guten Freunde gefällig zu sein, erklärt er sich bereit. Ja, er wolle es versuchen. »Bravo, Rouget«, trinkt ein General von gegenüber ihm zu und mahnt ihn, er solle ihm dann gleich das Lied ins Feld nachschicken; irgendeinen schrittbeflügelnden, patriotischen Marschgesang könne die Rheinarmee wirklich brauchen. Inzwischen beginnt ein anderer eine Rede zu schwingen. Wieder wird toastiert, gelärmt, getrunken. Mit starker Woge geht die allgemeine Begeisterung über die kleine zufällige Zwiesprache hinweg. Immer ekstatischer, immer lauter, immer frenetischer wird das Gelage, und die Stunde steht schon bedenklich spät nach Mitternacht, da die Gäste das Haus des Bürgermeisters verlassen.
+
+Es ist spät nach Mitternacht. Der 25. April, der für Straßburg so erregende Tag der Kriegserklärung, ist zu Ende, eigentlich hat der 26. April schon begonnen. Nächtliches Dunkel liegt über den Häusern; aber trügerisch ist dieses Dunkel, denn noch fiebert die Stadt vor Erregung. In den Kasernen rüsten die Soldaten zum Ausmarsch und manche der Vorsichtigen hinter verschlossenen Läden vielleicht schon heimlich zur Flucht. Auf den Straßen marschieren einzelne Peletons, dazwischen jagen die klappernden Hufe der Meldereiter, dann rasselt wieder ein schwerer Zug Artillerie heran, und immer wieder hallt monoton der Ruf der Schildwache von Posten zu Posten. Zu nahe ist der Feind, zu unsicher und zu erregt die Seele der Stadt, als daß sie Schlaf fände in so entscheidendem Augenblick.
+
+Auch Rouget, der jetzt in sein bescheidenes Zimmerchen in der Grande Rue 126 die runde Treppe hinaufgeklettert ist, fühlt sich merkwürdig erregt. Er hat sein Versprechen nicht vergessen, möglichst rasch ein Marschlied, ein Kriegslied für die Rheinarmee zu versuchen. Unruhig stapft er in seinem engen Zimmer auf und nieder. Wie beginnen? Wie beginnen? Noch schwirren ihm alle die anfeuernden Rufe der Proklamationen, der Reden, der Toaste chaotisch durch den Sinn. »Aux armes, citoyens! ... Marchons, enfants de la liberté! ... Ecrasons la tyrannie! ... L'étendard de la guerre est déployé! ...« Aber auch der andern Worte entsinnt er sich, die er im Vorübergehen gehört, die Stimmen der Frauen, die um ihre Söhne zittern, die Sorge der Bauern, Frankreichs Felder könnten zerstampft werden und mit Blut gedüngt von den fremden Kohorten. Halb unbewußt schreibt er die ersten beiden Zeilen hin, die nur Widerhall, Widerklang, Wiederholung sind jener Anrufe.
+
+»Allons, enfants de la patrie,
+
+Le jour de gloire est arrivé!«
+
+Dann hält er inne und stutzt. Das sitzt. Der Ansatz ist gut. Jetzt nur gleich den rechten Rhythmus finden, die Melodie zu den Worten. Er nimmt seine Geige vom Schrank, er probiert. Und wunderbar: gleich in den ersten Takten paßt sich der Rhythmus vollkommen den Worten an. Hastig schreibt er weiter, nun schon getragen, nun schon mitgerissen von der Kraft, die in ihn gefahren ist. Und mit einemmal strömt alles zusammen: alle die Gefühle, die sich in dieser Stunde entladen, alle die Worte, die er auf der Straße, die er bei dem Bankett gehört, der Haß gegen die Tyrannen, die Angst um die Heimaterde, das Vertrauen zum Siege, die Liebe zur Freiheit. Rouget braucht gar nicht zu dichten, zu erfinden, er braucht nur in Reime zu bringen, in den hinreißenden Rhythmus seiner Melodie die Worte zu setzen, die heute, an diesem einzigen Tage, von Mund zu Mund gegangen, und er hat alles ausgesprochen, alles ausgesagt, alles ausgesungen, was die Nation in innerster Seele empfand. Und er braucht nicht zu komponieren, denn durch die verschlossenen Fensterläden dringt der Rhythmus der Straße, der Stunde herein, dieser Rhythmus des Trotzes und der Herausforderung, der in dem Marschtritt der Soldaten, dem Schmettern der Trompeten, dem Rasseln der Kanonen liegt. Vielleicht vernimmt er ihn nicht selbst, nicht sein eigenes waches Ohr, aber der Genius der Stunde, der für diese einzige Nacht Hausung genommen hat in seinem sterblichen Leibe, hat ihn vernommen. Und immer fügsamer gehorcht die Melodie dem hämmernden, dem jubelnden Takt, der Herzschlag eines ganzen Volkes ist. Wie unter fremdem Diktat schreibt hastig und immer hastiger Rouget die Worte, die Noten hin – ein Sturm ist über ihn gekommen, wie er nie seine enge bürgerliche Seele durchbrauste. Eine Exaltation, eine Begeisterung, die nicht die seine ist, sondern magische Gewalt, zusammengeballt in eine einzige explosive Sekunde, reißt den armen Dilettanten hunderttausendfach über sein eigenes Maß hinaus und schleudert ihn wie eine Rakete – eine Sekunde lang Licht und strahlende Flamme – bis zu den Sternen. Eine Nacht ist es dem Kapitänleutnant Rouget de Lisle gegönnt, Bruder der Unsterblichen zu sein: aus den übernommenen, der Straße, den Journalen abgeborgten Rufen des Anfangs formt sich ihm schöpferisches Wort und steigt empor zu einer Strophe, die in ihrer dichterischen Formulierung so unvergänglich ist wie die Melodie unsterblich.
+
+»Amour sacré de la patrie,
+
+Conduis, soutiens nos bras vengeurs,
+
+Liberté, liberté chérie,
+
+Combats avec tes défenseurs.«
+
+Dann noch eine fünfte Strophe, die letzte, und aus einer Erregung und in einem Guß gestaltet, vollkommen das Wort der Melodie verbindend, ist noch vor dem Morgengrauen das unsterbliche Lied vollendet. Rouget löscht das Licht und wirft sich hin auf sein Bett. Irgend etwas, er weiß nicht was, hat ihn aufgehoben in eine nie gefühlte Helligkeit seiner Sinne, irgend etwas schleudert ihn jetzt nieder in eine dumpfe Erschöpfung. Er schläft einen abgründigen Schlaf, der wie ein Tod ist. Und tatsächlich ist schon wieder der Schöpfer, der Dichter, der Genius in ihm gestorben. Auf dem Tische aber liegt, losgelöst von dem Schlafenden, den dies Wunder wahrhaft im heiligen Rausch überkommen, das vollendete Werk. Kaum ein zweites Mal in der Geschichte aller Völker und Zeiten ist ein Lied so rasch und so vollkommen gleichzeitig Wort und Musik geworden.
+
+Dieselben Glocken vom Münster wie immer verkünden den neuen Morgen. Ab und zu trägt der Wind vom Rhein her Schüsse herüber, die ersten Geplänkel haben begonnen. Rouget erwacht. Mit Mühe tastet er sich aus dem Abgrund seines Schlafes empor. Etwas ist geschehen, fühlt er dumpf, etwas mit ihm geschehen, an das er nur dumpf sich erinnert. Dann erst bemerkt er auf dem Tisch das frischbeschriebene Blatt. Verse? Wann habe ich die geschrieben? Musik, in meiner eigenen Handschrift? Wann habe ich das komponiert? Ach ja, das Lied, das Freund Dietrich gestern erbeten, das Marschlied für die Rheinarmee! Rouget liest seine Verse, summt dazu die Melodie, fühlt aber, wie immer der Schöpfer vor dem eben geschaffenen Werk, sich völlig ungewiß. Aber nebenan wohnt ein Regimentskamerad, dem zeigt und singt er es vor. Der Freund scheint zufrieden und schlägt nur einige kleine Änderungen vor. An dieser ersten Zustimmung gewinnt Rouget ein gewisses Zutrauen. Mit der ganzen Ungeduld eines Autors und stolz auf sein rasch erfülltes Versprechen, fällt er gleich dem Bürgermeister Dietrich ins Haus, der im Garten seinen Morgenspaziergang macht und dabei eine neue Rede meditiert. Wie, Rouget? Schon fertig? Nun, da wollen wir gleich eine Probe abhalten. Die beiden gehen aus dem Garten in den Salon des Hauses, Dietrich setzt sich ans Klavier und spielt die Begleitung, Rouget singt den Text. Angelockt von der unerwarteten morgendlichen Musik kommt die Frau des Bürgermeisters ins Zimmer und verspricht, Kopien von dem neuen Lied zu machen und als gelernte Musikerin, die sie ist, gleich die Begleitung auszuarbeiten, damit man schon heute nacht bei der Abendgesellschaft es den Freunden des Hauses zwischen allerhand andern Liedern vorsingen könne. Der Bürgermeister Dietrich, stolz auf seine nette Tenorstimme, übernimmt es, das Lied nun gründlicher zu studieren, und am 26. April, am Abend desselben Tages, in dessen Morgenstunden das Lied gedichtet und komponiert war, wird es zum erstenmal einer zufällig gewählten Gesellschaft im Salon des Bürgermeisters vorgesungen.
+
+Die Zuhörer scheinen freundlich applaudiert zu haben, und wahrscheinlich hat es an allerhand höflichen Komplimenten für den anwesenden Autor nicht gefehlt. Aber selbstverständlich hat nicht die leiseste Ahnung die Gäste des Hôtel de Broglie an dem großen Platz von Straßburg überkommen, daß mit unsichtbaren Flügeln eine ewige Melodie sich niedergeschwungen in ihre irdische Gegenwart. Selten begreifen die Zeitgenossen auf den ersten Blick die Größe eines Menschen oder die Größe eines Werkes, und wie wenig sich die Frau Bürgermeisterin jenes erstaunlichen Augenblicks bewußt wurde, beweist sie mit dem Brief an ihren Bruder, in dem sie ein Wunder zu einem gesellschaftlichen Ereignis banalisiert. »Du weißt, daß wir viele Leute im Haus empfangen und man immer etwas erfinden muß, um Abwechslung in die Unterhaltung zu bringen. Und so hat mein Mann die Idee gehabt, irgendein Gelegenheitslied komponieren zu lassen. Der Kapitän vom Ingenieurkorps, Rouget de Lisle, ein liebenswürdiger Dichter und Kompositeur, hat sehr schnell diese Musik eines Kriegsliedes gemacht. Mein Mann, der eine gute Tenorstimme hat, hat das Stück gleich gesungen, das sehr anziehend ist und eine gewisse Eigenart zeigt. Es ist ein besserer Gluck, lebendiger und belebter. Ich für mein Teil habe meine Begabung für Orchestrierung dabei angewandt und arrangierte die Partitur für Klavier und andere Instrumente, so daß ich viel zu arbeiten habe. Das Stück ist bei uns gespielt worden, zur großen Zufriedenheit der ganzen Gesellschaft.«
+
+»Zur großen Zufriedenheit der ganzen Gesellschaft« – das scheint uns heute überraschend kühl. Aber der bloß freundliche Eindruck, die bloß laue Zustimmung ist verständlich, denn noch hat sich bei dieser ersten Darbietung die Marseillaise nicht wahrhaft in ihrer Kraft enthüllen können. Die Marseillaise ist kein Vortragsstück für eine behagliche Tenorstimme und nicht bestimmt, in einem kleinbürgerlichen Salon zwischen Romanzen und italienischen Arien mit einer einzelnen Singstimme vorgetragen zu werden. Ein Lied, das aufrauscht zu den hämmernden, federnden, fordernden Takten »Aux armes, citoyens«, wendet sich an eine Masse, eine Menge, und seine wahre Orchestrierung sind klirrende Waffen, schmetternde Fanfaren, marschierende Regimenter. Nicht für Zuhörer, für kühl sitzende und behaglich genießende, war sie gedacht, sondern für Mittäter, Mitkämpfer. Nicht einem einzelnen Sopran, einem Tenor ist sie zugesungen, sondern der tausendkehligen Masse, das vorbildliche Marschlied, Siegeslied, Todeslied, Heimatlied, Nationallied eines ganzen Volkes. Erst Begeisterung, aus der es zuerst geboren ward, wird dem Lied Rougets die begeisternde Gewalt verleihen. Noch hat das Lied nicht gezündet, noch haben in magischer Resonanz nicht die Worte, nicht die Melodie die Seele der Nation erreicht, noch kennt die Armee nicht ihr Marschlied, ihr Siegeslied, noch kennt die Revolution nicht ihren ewigen Päan.
+
+Auch er selbst, dem über Nacht dieses Wunder geschehen, Rouget de Lisle, ahnt ebensowenig wie die andern, was er traumwandlerisch und von einem treulosen Genius geführt, in jener einen Nacht geschaffen. Er freut sich natürlich herzhaft, der brave, liebenswürdige Dilettant, daß die eingeladenen Gäste kräftig applaudieren, daß man ihn als Autor höflich komplimentiert. Mit der kleinen Eitelkeit eines kleinen Menschen sucht er diesen kleinen Erfolg in seinem kleinen Provinzkreise fleißig auszunützen. Er singt in den Kaffeehäusern seinen Kameraden die neue Melodie vor, er läßt Abschriften herstellen und schickt sie an die Generäle der Rheinarmee. Inzwischen hat auf Befehl des Bürgermeisters und Empfehlung der Militärbehörden das Straßburger Musikkorps das »Kriegslied für die Rheinarmee« einstudiert, und vier Tage später, beim Abmarsch der Truppen, spielt das Musikkorps der Straßburger Nationalgarde auf dem großen Platz den neuen Marsch. In patriotischer Weise erklärt sich auch der Straßburger Verleger bereit, den »Chant de guerre pour l'armée du Rhin« zu drucken, der respektvoll dem General Luckner von seinem militärischen Untergebenen gewidmet wird. Aber nicht ein einziger der Generäle der Rheinarmee denkt daran, die neue Weise beim Vormarsch wirklich spielen oder singen zu lassen, und so scheint, wie alle bisherigen Versuche Rougets, der Salonerfolg des »Allons, enfants de la patrie« ein Eintagserfolg, eine Provinzangelegenheit zu bleiben und als solche vergessen zu werden.
+
+Aber nie läßt sich die eingeborene Kraft eines Werkes auf die Dauer verbergen oder verschließen. Ein Kunstwerk kann vergessen werden von der Zeit, es kann verboten werden und versargt, immer aber erzwingt sich das Elementare den Sieg über das Ephemere. Einen Monat, zwei Monate hört man nichts vom Kriegslied der Rheinarmee. Die gedruckten und handgeschriebenen Exemplare liegen und wandern herum in gleichgültigen Händen. Aber immer genügt es, wenn ein Werk auch nur einen einzigen Menschen wirklich begeistert, denn jede echte Begeisterung wird selber schöpferisch. Am andern Ende von Frankreich, in Marseille, gibt der Klub der Verfassungsfreunde am 22. Juni ein Bankett für die abmarschierenden Freiwilligen. An langer Tafel sitzen fünfhundert junge, feurige Menschen in ihren neuen Uniformen der Nationalgarde; in ihrem Kreise fiebert genau die gleiche Stimmung wie an dem 25. April in Straßburg, nur noch heißer, hitziger und leidenschaftlicher, dank dem südlichen Temperament der Marseiller, und nicht mehr so eitel siegesgewiß wie in jener ersten Stunde der Kriegserklärung. Denn nicht wie jene Generäle flunkerten, sind die revolutionären französischen Truppen gleich über den Rhein marschiert und überall mit offenen Armen empfangen worden. Im Gegenteil, der Feind ist tief ins französische Land vorgestoßen, die Freiheit ist bedroht, die Sache der Freiheit in Gefahr.
+
+Plötzlich, inmitten des Festmahls, schlägt einer – er heißt Mireur und ist ein Medizinstudent von der Universität in Montpellier – an sein Glas und erhebt sich. Alle verstummen und blicken auf ihn. Man erwartet eine Rede und eine Ansprache. Aber statt dessen schwingt der junge Mensch die Rechte empor und stimmt ein Lied an, ein neues Lied, das sie alle nicht kennen und von dem niemand weiß, wie es in seine Hand geraten ist, »Allons, enfants de la patrie«. Und nun zündet der Funke, als wäre er in ein Pulverfaß gefallen. Gefühl und Gefühl, die ewigen Pole, haben sich berührt. Alle diese jungen Menschen, die morgen ausrücken, die für die Freiheit kämpfen wollen und für das Vaterland zu sterben bereit sind, empfinden ihren innersten Willen, ihren ureigensten Gedanken in diesen Worten ausgedrückt; unwiderstehlich reißt der Rhythmus sie auf in eine einhellige, ekstatische Begeisterung. Strophe um Strophe wird bejubelt, noch einmal, noch ein zweites Mal muß das Lied wiederholt werden, und schon ist die Melodie ihr eigen geworden, schon singen sie, erregt aufgesprungen, die Gläser erhoben, den Refrain donnernd mit. »Aux armes, citoyens! Formez vos bataillons!« Neugierig drängen von der Straße Menschen heran, um zu hören, was hier mit solcher Begeisterung gesungen wird, und schon singen sie selber mit; am nächsten Tage ist die Melodie auf tausend und zehntausend Lippen. Ein Neudruck verbreitet sie, und wie die fünfhundert Freiwilligen am 2. Juli abmarschieren, wandert das Lied mit ihnen. Wenn sie müde werden auf der Landstraße, wenn ihr Schritt schlapp wird, braucht nur einer die Hymne anzustimmen, und schon gibt ihr mitreißender, ihr vorwärtsreißender Takt ihnen allen erneuten Schwung. Wenn sie durch ein Dorf marschieren und staunend die Bauern, neugierig die Einwohner sich versammeln, stimmen sie es im Chore an. Es ist ihr Lied geworden, sie haben, ohne es zu wissen, daß es für die Rheinarmee bestimmt war, ohne zu ahnen, von wem und wann es gedichtet war, den Hymnus als den ihres Bataillons, als Bekenntnis ihres Lebens und Sterbens übernommen. Es gehört zu ihnen wie die Fahne, und in leidenschaftlichem Vormarsch wollen sie ihn über die Welt tragen.
+
+Der erste große Sieg der Marseillaise – denn so wird die Hymne Rougets bald sich nennen – ist Paris. Am 30. Juni marschiert das Bataillon durch die Faubourgs ein, die Fahne voran und das Lied. Tausende und Zehntausende stehen und warten in den Straßen, um sie festlich zu empfangen, und wie die Marseiller nun anrücken, fünfhundert Männer, gleichsam aus einer Kehle zum Taktschritt das Lied singend und immer wieder singend, horcht die Menge auf. Was ist das für eine herrliche, hinreißende Hymne, welche die Marseiller da singen? Was für ein Fanfarenruf dies, der in alle Herzen fährt, begleitet vom prasselnden Trommelschlag, dies »Aux armes, citoyens!« Zwei Stunden später, drei Stunden später, und schon klingt der Refrain in allen Gassen wieder. Vergessen ist das »Ça ira«, vergessen die alten Märsche, die abgebrauchten Couplets: die Revolution hat ihre eigne Stimme erkannt, die Revolution hat ihr Lied gefunden.
+
+Lawinenhaft wird nun die Verbreitung, unaufhaltsam der Siegeslauf. Auf den Banketten wird die Hymne gesungen, in den Theatern und Klubs, dann sogar in den Kirchen nach dem Tedeum und bald anstatt des Tedeum. In einem, in zwei Monaten ist die Marseillaise das Lied des Volkes geworden und der ganzen Armee. Servan, der erste republikanische Kriegsminister, erkennt mit klugem Blick die tonische, die exaltierende Kraft eines so einzigartigen nationalen Schlachtgesanges. In eiliger Ordre befiehlt er, daß hunderttausend Exemplare an alle Kommandos überstellt werden sollen, und in zwei oder drei Nächten ist das Lied des Unbekannten mehr verbreitet als alle Werke Moli��res, Racines und Voltaires. Kein Fest, das nicht mit der Marseillaise schließt, keine Schlacht, wo nicht vorerst die Regimentsmusiker das Kriegslied der Freiheit intonieren. Bei Jemappes und Nerwinden ordnen sich die Regimenter im Chorgesang zum entscheidenden Sturme, und die feindlichen Generäle, die nur mit dem alten Rezept der verdoppelten Branntweinration ihre Soldaten stimulieren können, sehen erschreckt, daß sie nichts der explosiven Kraft dieser »fürchterlichen« Hymne entgegenzusetzen haben, wenn sie, gleichzeitig von Tausenden und Tausenden gesungen, wie eine klingende, klirrende Welle gegen ihre eigenen Reihen stürmt. Über allen Schlachten Frankreichs schwebt nun, Unzählige mitreißend in Begeisterung und Tod, die Marseillaise, wie Nike, die geflügelte Göttin des Sieges.
+
+Unterdessen sitzt in der kleinen Garnison von Hüningen ein höchst unbekannter Hauptmann des Festungswesens, Rouget, und entwirft brav Wälle und Verschanzungen. Vielleicht hat er schon das »Kriegslied der Rheinarmee« vergessen, das er in jener verschollenen Nacht des 26. April 1792 geschaffen, und wagt gar nicht zu ahnen, wenn er in den Gazetten von jener andern Hymne, jenem andern Kriegslied liest, das im Sturm Paris erobert, daß dieses sieghafte »Lied der Marseiller« Wort für Wort und Takt für Takt nichts anderes ist als das in ihm und an ihm geschehene Wunder jener Nacht. Denn grausame Ironie des Schicksals – in alle Himmel rauschend, zu den Sternen brausend, trägt diese Melodie nur einen einzigen Menschen nicht hoch, nämlich den Menschen, der sie ersonnen. Niemand in ganz Frankreich kümmert sich um den Hauptmann Rouget de Lisle, der riesigste Ruhm, den je ein Lied gekannt, bleibt dem Liede, und nicht ein Schatten davon fällt auf seinen Schöpfer Rouget. Sein Name wird nicht mitgedruckt auf den Texten, und er selbst bliebe völlig unbeachtet bei den Herren der Stunde, brächte er sich nicht selbst in ärgerliche Erinnerung. Denn – geniale Paradoxie, wie sie nur die Geschichte erfinden kann – der Schöpfer der Revolutionshymne ist kein Revolutionär; im Gegenteil: der wie kein anderer die Revolution durch sein unsterbliches Lied fortgetrieben, möchte sie mit allen Kräften nun wieder zurückdämmen. Als die Marseiller und der Pariser Pöbel – seinen Gesang auf den Lippen – die Tuilerien stürmen und man den König absetzt, hat Rouget de Lisle genug von der Revolution. Er weigert sich, den Eid auf die Republik zu leisten, und quittiert lieber seinen Dienst, als den Jakobinern zu dienen. Das Wort von der »liberté chérie«, der geliebten Freiheit, in seiner Hymne ist diesem aufrechten Manne kein leeres Wort: er verabscheut die neuen Tyrannen und Despoten im Konvent nicht minder, als er die gekrönten und gesalbten jenseits der Grenzen haßte. Offen macht er seinem Unmut gegen den Wohlfahrtsausschuß Luft, als sein Freund, der Bürgermeister Dietrich, der Pate der Marseillaise, als der General Luckner, dem sie gewidmet war, als alle die Offiziere und Adeligen, die an jenem Abend ihre ersten Zuhörer waren, auf die Guillotine geschleppt werden, und bald ereignet sich die groteske Situation, daß der Dichter der Revolution als Konterrevolutionär gefangengesetzt wird, daß man ihm, und gerade ihm den Prozeß macht mit der Anschuldigung, sein Vaterland verraten zu haben. Nur der 9. Thermidor, der mit dem Sturz Robespierres die Gefängnisse öffnet, hat der Französischen Revolution die Schmach erspart, den Dichter ihres unsterblichsten Liedes dem »nationalen Rasiermesser« überantwortet zu haben.
+
+Immerhin, es wäre ein heldischer Tod gewesen und nicht ein so klägliches Verdämmern im Dunkel, wie es Rouget verhängt ist. Denn um mehr als vierzig Jahre, um Tausende und Tausende von Tagen überlebt der unglückliche Rouget den einzigen wirklich schöpferischen Tag seines Lebens. Man hat ihm die Uniform ausgezogen, man hat ihm die Pension gestrichen; die Gedichte, die Opern, die Texte, die er schreibt, werden nicht gedruckt, nicht gespielt. Das Schicksal verzeiht es dem Dilettanten nicht, sich unberufen in die Reihe der Unsterblichen eingedrängt zu haben. Mit allerhand kleinen und nicht immer sauberen Geschäften fristet der kleine Mann sein kleines Leben. Vergebens versuchen aus Mitleid Carnot und später Bonaparte, ihm zu helfen. Aber etwas in dem Charakter Rougets ist rettungslos vergiftet und verschroben geworden durch die Grausamkeit jenes Zufalls, der ihn Gott und Genius sein ließ drei Stunden lang und dann verächtlich wieder zurückwarf in die eigene Nichtigkeit. Er zankt und queruliert mit allen Mächten, er schreibt an Bonaparte, der ihm helfen wollte, freche und pathetische Briefe, er rühmt sich öffentlich, bei der Volksabstimmung gegen ihn gestimmt zu haben. Seine Geschäfte verwickeln ihn in dunkle Affären, und wegen eines unbezahlten Wechsels muß er sogar mit dem Schuldgefängnis St. Pelargie Bekanntschaft machen. Unbeliebt an allen Stellen, von Schuldnern gejagt, von der Polizei ständig bespitzelt, verkriecht er sich schließlich irgendwo in der Provinz, und wie aus einem Grabe, abgeschieden und vergessen, lauscht er von dort dem Schicksal seines unsterblichen Liedes; er erlebt es noch, daß die Marseillaise mit den siegreichen Armeen über alle Länder Europas stürmt, dann noch, daß Napoleon, kaum Kaiser geworden, sie als zu revolutionär aus allen Programmen streichen läßt, daß die Bourbonen sie dann gänzlich verbieten. Nur ein Staunen kommt den verbitterten Greis an, wie nach einem Menschenalter die Julirevolution 1830 seine Worte, seine Melodie in alter Kraft auferstehen läßt an den Barrikaden von Paris und der Bürgerkönig Louis Philippe ihm als dem Dichter ein kleines Pensiönchen verleiht. Wie ein Traum scheint es dem Verschollenen, dem Vergessenen, daß man sich seiner überhaupt noch erinnert, aber es ist nur ein kleines Erinnern mehr, und als der Sechsundsiebzigjährige endlich in Choisy-le-Roi 1836 stirbt, nennt und kennt niemand seinen Namen mehr. Abermals muß ein Menschenalter vergehen: erst im Weltkrieg, da die Marseillaise, längst Nationalhymnus geworden, an allen Fronten Frankreichs wieder kriegerisch erklingt, wird angeordnet, daß der Leichnam des kleinen Hauptmanns Rouget an derselben Stelle im Invalidendom bestattet werde wie der des kleinen Leutnants Bonaparte, und so ruht endlich der höchst unberühmte Schöpfer eines ewigen Liedes in der Ruhmeskrypta seines Vaterlandes von der Enttäuschung aus, nichts gewesen zu sein als der Dichter einer einzigen Nacht.

data/sternstunden04-en.txt

@@ -0,0 +1,61 @@
+https://www.deepl.com/translator machine translated
+
+The genius of a night
+
+The Marseillaise, April 25, 1792
+
+The genius of one night
+
+In 1792, two months, three months already, the French National Assembly is wavering over the decision: war against the coalition of emperors and kings or peace. Louis XVI is himself undecided; he senses the danger of a victory for the revolutionaries, he senses the danger of their defeat. The parties are also uncertain. The Girondists are pushing for war to retain power, Robespierre and the Jacobins are fighting for peace to seize power themselves in the meantime. Day by day the situation becomes more tense, the journals clamor, the clubs discuss, ever wilder the rumors buzz, and ever more public opinion is aroused by them. As always a decision, it therefore becomes a kind of liberation, as on April 20 the King of France finally declares war on the Emperor of Austria and the King of Prussia.
+
+During these weeks and weeks the electric tension has lain over Paris, weighing heavily and disturbing the soul; but the excitement in the border towns is even more oppressive, even more threatening. Troops are already assembled in all bivouacs, volunteers and national guards are being equipped in every village, in every town, fortifications are being repaired everywhere, and especially in Alsace it is known that on its soil, as always between France and Germany, the first decision will be made. On the banks of the Rhine, the enemy, the adversary, is not, as in Paris, a blurred, a pathetic-rhetorical concept, but a visible, sensuous presence; for at the fortified bridgehead, from the tower of the cathedral, the approaching Prussian regiments can be perceived with the naked eye. At night the wind carries the rolling of the enemy artillery wagons, the clanking of weapons, the trumpet signals across the stream glittering indifferently in the moonlight. And everyone knows: only one word, only one decree is needed, and from the silent mouth of the Prussian cannons thunder and lightning will fly, and the thousand-year struggle between Germany and France will have begun once again - this time in the name of the new freedom on the one side and in the name of the old order on the other.
+
+It was an incomparable day when, on April 25, 1792, the news of the declaration of war was brought from Paris to Strasbourg by convoys. Immediately the people streamed out of all the streets and houses into the open squares, ready for war the whole garrison marched to the last parade, regiment after regiment. On the main square, Mayor Dietrich awaits them, the tricolor sash around his body, the cockade on his hat, which he waves in greeting to the soldiers. The call of the fanfare and the roll of the drums call for silence. In a loud voice, Dietrich reads the text of the declaration of war in French and German in this and all other places in the city. After his last words the regimental musicians intoned the first, the preliminary war song of the revolution, the "Ça ira", actually a sparkling, high-spirited, mocking dance melody, but the clashing, the thundering steps of the marching out regiments gave it a martial beat. Then the crowd disperses, carrying the fanned enthusiasm into all the alleys and houses; in the cafes, in the clubs, inflammatory speeches are made and proclamations distributed. "Aux armes, citoyens! L'étendard de la guerre est déployé! Le signal est donné!"; thus and with similar calls they begin, and everywhere, in all the speeches, in all the newspapers, on all the posters, on all the lips, are repeated such punchy, rhythmic cries as "Aux armes, citoyens!". Qu'ils tremblent donc, les despotes couronnés! Marchons, enfants de la liberté!", and each time the masses cheer and cheer to the fiery words.
+
+The great masses in the streets and squares always cheer when war is declared, but other voices, quieter, more distant voices, always stir in such moments of street jubilation; fear, too, worry, too, wakes up at a declaration of war, only it whispers secretly in the parlors or remains silent with a pale lip. Eternally and everywhere are mothers who say to themselves: Will the foreign soldiers not murder my children; in all countries are the peasants who worry about their possessions, their fields, their huts, their cattle and their harvest. Will not their seed be trampled, their house plundered by the brutal hordes, not fertilized with blood the fields of their labors? But the mayor of Strasbourg, Frederick Baron Dietrich, actually an aristocrat, but like the best aristocracy of France at that time devoted to the cause of the new freedom with all his soul, wants only the loud, the ringing voices of confidence to speak; consciously he turns the day of the declaration of war into a public celebration. With his sash across his chest, he hurried from one meeting to another to cheer the people. He distributes wine and food to the departing soldiers, and in the evening he gathers the generals, the officers and the most important officials in his spacious house on the Place de Broglie for a farewell party, to which the enthusiasm already gives the character of a victory celebration. The generals, confident of victory as always generals, preside, the young officers, who see in the war the meaning of their lives fulfilled, have free word. One cheers the other. They swing their sabers, they embrace, they drink to each other, they make passionate and increasingly passionate speeches over good wine. And again the same stimulating words of the journals and proclamations recur in all the speeches: "To arms, citizens! Let us march! Let us save the fatherland! Soon they will tremble, the crowned despots. Now that the flag of victory has unfurled, the day has come to carry the tricolor over the world! Everyone must give his best now, for the king, for the flag, for freedom!" The whole people, the whole country at such moments wants to become a sacred unity through faith in victory and enthusiasm for the cause of freedom.
+
+Suddenly, in the midst of talking and toasting, Mayor Dietrich turned to a young captain from the fortress corps, named Rouget, sitting at his side. He remembered that half a year ago, on the occasion of the proclamation of the Constitution, this nice officer, not exactly handsome but sympathetic, had written a rather nice hymn to liberty, which the regimental musician Pleyel immediately set to music. The unpretentious work had proved to be singable, the military band had learned it, it had been played in the public square and sung in the choir. Wouldn't the declaration of war and the departure be a good occasion to stage a similar celebration? So Mayor Dietrich casually asks, as one would ask a good acquaintance for a favor, Captain Rouget (who has quite unjustifiably ennobled himself and calls himself Rouget de Lisle), whether he would not like to take advantage of the patriotic occasion and compose something for the marching troops, a war song for the Rhine army, which is to march out against the enemy tomorrow.
+
+Rouget, a modest, insignificant man who never considered himself a great composer - his verses were never printed, his operas refüsiert - knows that occasional verses flow easily into his pen. To please the high official and the good friend, he declares himself ready. Yes, he wants to try. "Bravo, Rouget," a general from across the street drinks to him and admonishes him that he should then immediately send the song after him into the field; the Rhine Army could really use some step-winging, patriotic marching song. In the meantime, someone else begins to make a speech. Again there is toasting, noise, drinking. With a strong wave the general enthusiasm goes over the small coincidental dialogue. The revelry becomes more and more ecstatic, louder and louder, more and more frenetic, and the hour is already precariously late after midnight, when the guests leave the mayor's house.
+
+It is late after midnight. April 25, the day of the declaration of war, which was so exciting for Strasbourg, has come to an end; in fact, April 26 has already begun. Nightly darkness lies over the houses; but this darkness is deceptive, for the city is still feverish with excitement. In the barracks, the soldiers are preparing to march out, and some of the cautious ones are perhaps already secretly fleeing behind closed shutters. In the streets, individual peletons march, the clattering hooves of the dispatch riders hunt between them, then another heavy platoon of artillery rattles up, and again and again the call of the shield guard echoes monotonously from post to post. The enemy is too close, the soul of the city too uncertain and too excited to find sleep at such a decisive moment.
+
+Rouget, who has now climbed the circular staircase to his modest little room at 126 Grande Rue, also feels strangely aroused. He has not forgotten his promise to attempt as quickly as possible a marching song, a war song for the Rhine Army. Restlessly he trudges up and down his narrow room. How to begin? How to begin? All the cheering shouts of the proclamations, the speeches, the toasts are still whirring chaotically through his mind. "Aux armes, citoyens! ... Marchons, enfants de la liberté! ... Ecrasons la tyrannie! ... L'étendard de la guerre est déployé! ..." But he also remembers the other words he heard in passing, the voices of women trembling for their sons, the concern of the peasants that France's fields might be trampled and fertilized with blood by the foreign cohorts. Half unconsciously, he writes down the first two lines, which are only echoes, reverberations, repetitions of those calls.
+
+"Allons, enfants de la patrie,
+
+Le jour de gloire est arrivé!"
+
+Then he pauses and pauses. It sits. The approach is good. Now just find the right rhythm, the melody to the words. He takes his violin from the cabinet, tries it out. And wonderful: in the very first bars, the rhythm adapts perfectly to the words. Hastily he continues to write, now already carried along, now already carried away by the power that has entered him. And all at once everything flows together: all the feelings that are discharged in this hour, all the words that he heard on the street, that he heard at the banquet, the hatred against the tyrants, the fear for the native soil, the confidence for victory, the love for freedom. Rouget does not even need to write poetry, to invent, he only needs to put into rhyme, into the ravishing rhythm of his melody, the words that today, on this single day, have passed from mouth to mouth, and he has spoken everything, said everything, sung everything that the nation felt in its innermost soul. And he does not need to compose, because through the closed shutters penetrates the rhythm of the street, of the hour, this rhythm of defiance and challenge, which lies in the marching of the soldiers, the blare of the trumpets, the rattle of the cannons. Perhaps he does not hear it himself, not his own alert ear, but the genius of the hour, who has taken up residence in his mortal body for this single night, has heard it. And more and more docilely the melody obeys the hammering, the jubilant beat, which is the heartbeat of a whole people. As if under foreign dictation, Rouget hastily and ever more hastily writes down the words, the notes - a storm has come over him, such as has never raged through his narrow bourgeois soul. An exaltation, an enthusiasm that is not his own, but magical force, concentrated into a single explosive second, sweeps the poor dilettante a hundred thousand times beyond his own measure and hurls him like a rocket - for a second light and radiant flame - to the stars. One night it is granted to Lieutenant-Captain Rouget de Lisle to be brother of the immortals: from the adopted shouts of the beginning, borrowed from the street, from the journals, creative word forms itself to him and rises to a stanza which in its poetic formulation is as immortal as the melody is immortal.
+
+"Amour sacré de la patrie,
+
+Conduis, soutiens nos bras vengeurs,
+
+Liberté, liberté chérie,
+
+Combats avec tes défenseurs."
+
+Then a fifth stanza, the last, and formed from one excitement and in one cast, perfectly uniting the word of the melody, the immortal song is completed before dawn. Rouget extinguishes the light and lies down on his bed. Something, he does not know what, has lifted him up into a never felt brightness of his senses, something now hurls him down into a dull exhaustion. He sleeps an abysmal sleep, which is like a death. And indeed the creator, the poet, the genius in him has died again. But on the table, detached from the sleeper, whom this miracle truly overcomes in holy intoxication, lies the completed work. Hardly a second time in the history of all peoples and times has a song become word and music so quickly and so perfectly at the same time.
+
+The same bells from the minster as always announce the new morning. Now and then the wind carries shots from the Rhine, the first skirmishes have begun. Rouget wakes up. With difficulty he gropes his way up from the abyss of his sleep. Something has happened, he feels dully, something has happened to him that he remembers only dully. Only then does he notice the freshly written page on the table. Verses? When did I write these? Music, in my own handwriting? When did I compose that? Oh yes, the song that friend Dietrich asked for yesterday, the marching song for the Rhine army! Rouget reads his verses, hums the melody to it, but feels, as always the creator before the just created work, completely uncertain. But next door lives a regimental comrade, to whom he shows and sings it. The friend seems satisfied and suggests only a few minor changes. Rouget gains a certain confidence from this first approval. With all the impatience of an author and proud of his quickly fulfilled promise, he immediately falls in with Mayor Dietrich, who is taking his morning walk in the garden, meditating on a new speech. How, Rouget? Already ready? Well, let's have a rehearsal right away. The two walk out of the garden into the parlor of the house, Dietrich sits down at the piano and plays the accompaniment, Rouget sings the text. Attracted by the unexpected morning music, the mayor's wife comes into the room and promises to make copies of the new song and, being a trained musician, to work out the accompaniment right away, so that it can be sung to the friends of the house among all sorts of other songs at the evening party tonight. The mayor Dietrich, proud of his nice tenor voice, took it upon himself to study the song more thoroughly, and on April 26, in the evening of the same day, in the morning hours of which the song was composed, it was sung for the first time to a randomly chosen company in the mayor's salon.
+
+The audience seems to have applauded kindly, and probably there was no lack of all kinds of polite compliments for the present author. But, of course, not the slightest inkling came over the guests of the Hôtel de Broglie in the great square of Strasbourg that with invisible wings an eternal melody had swooped down into their earthly presence. Rarely do contemporaries comprehend at first sight the greatness of a man or the greatness of a work, and how little the Lady Mayoress became aware of that amazing moment she proves with the letter to her brother in which she trivializes a miracle into a social event. "You know that we receive many people in the house and it is always necessary to invent something to bring variety to the entertainment. And so my husband had the idea of having some occasional song composed. The captain of the Corps of Engineers, Rouget de Lisle, a kind poet and composer, very quickly made this music of a war song. My husband, who has a good tenor voice, immediately sang the piece, which is very attractive and shows a certain peculiarity. It is a better Gluck, more lively and animated. For my part, I applied my talent for orchestration to it and arranged the score for piano and other instruments, so I have a lot to work with. The piece has been played in our house, to the great satisfaction of the whole company."
+
+"To the great satisfaction of the whole society" - that seems surprisingly cool to us today. But the merely friendly impression, the merely lukewarm approval is understandable, for the Marseillaise has not yet been able to truly reveal its power in this first performance. The Marseillaise is not a recital piece for a comfortable tenor voice and is not meant to be performed in a petty bourgeois salon between romances and Italian arias with a single singing voice. A song that roars to the pounding, bouncing, demanding bars of "Aux armes, citoyens" addresses a mass, a crowd, and its true orchestration is clashing arms, blaring fanfares, marching regiments. It was not meant for listeners, for the coolly seated and comfortably enjoying, but for accomplices, fellow fighters. It was not sung to a single soprano or tenor, but to the thousand-throated masses, the exemplary marching song, victory song, death song, homeland song, national song of an entire people. Only enthusiasm, from which it was first born, will give Rouget's song its inspiring power. The song has not yet ignited, the words have not yet magically resonated, the melody has not yet reached the soul of the nation, the army does not yet know its marching song, its victory song, the revolution does not yet know its eternal paean.
+
+Even he himself, to whom this miracle happened overnight, Rouget de Lisle, has as little idea as the others what he created in that one night, somnambulistically and guided by a faithless genius. He is of course heartily pleased, the good, amiable dilettante, that the invited guests applaud vigorously, that he is politely complimented as an author. With the small vanity of a small person, he seeks to make diligent use of this small success in his small provincial circle. He sings the new melody to his comrades in the coffee houses, he has copies made and sends them to the generals of the Rhine army. In the meantime, on the order of the mayor and the recommendation of the military authorities, the Strasbourg music corps rehearsed the "War Song for the Army of the Rhine", and four days later, at the departure of the troops, the music corps of the Strasbourg National Guard played the new march in the large square. In patriotic fashion, the Strasbourg publisher also agrees to print the "Chant de guerre pour l'armée du Rhin", which is respectfully dedicated to General Luckner by his military subordinate. But not a single one of the generals of the Rhine army thinks of actually having the new tune played or sung during the advance, and so, like all Rouget's previous attempts, the salon success of "Allons, enfants de la patrie" seems to remain a one-day success, a provincial affair, and to be forgotten as such.
+
+But the innate power of a work can never be concealed or closed off in the long run. A work of art can be forgotten by time, it can be forbidden and become stale, but the elemental always forces its way to victory over the ephemeral. One month, two months nothing is heard of the war song of the Rhine army. The printed and handwritten copies lie and wander around in indifferent hands. But it is always enough if a work really inspires even a single person, for every genuine enthusiasm itself becomes creative. At the other end of France, in Marseille, the Club of the Friends of the Constitution held a banquet for the marching volunteers on June 22. Five hundred young, fiery people in their new uniforms of the National Guard were seated at a long table; in their circle exactly the same mood as on April 25 in Strasbourg, only even hotter, more heated and more passionate, thanks to the southern temperament of the people of Marseilles, and no longer so vainly confident of victory as in that first hour of the declaration of war. For not, as those generals fibbed, have the revolutionary French troops marched straight across the Rhine and been welcomed everywhere with open arms. On the contrary, the enemy has advanced deep into the French countryside, freedom is threatened, the cause of liberty is in danger.
+
+Suddenly, in the midst of the feast, one - his name is Mireur and he is a medical student from the University of Montpellier - strikes his glass and rises. Everyone falls silent and looks at him. One expects a speech and an address. But instead, the young man swings up his right hand and intones a song, a new song that they all don't know and no one knows how it got into his hand, "Allons, enfants de la patrie." And now the spark ignites as if it had fallen into a powder keg. Feeling and emotion, the eternal poles, have touched. All these young people who are going out tomorrow, who want to fight for freedom and are ready to die for the fatherland, feel their innermost will, their very own thoughts expressed in these words; irresistibly the rhythm sweeps them up into a unanimous, ecstatic enthusiasm. Verse after verse is cheered, once again, a second time the song must be repeated, and already the melody has become their own, already they sing, excitedly jumping up, glasses raised, the refrain thundering along. "Aux armes, citoyens! Formez vos bataillons!" Curious people crowd in from the street to hear what is being sung here with such enthusiasm, and already they are singing along themselves; the next day the melody is on a thousand and ten thousand lips. A reprint spreads it, and as the five hundred volunteers march off on July 2, the song travels with them. When they get tired on the road, when their step becomes slack, only one person needs to sing the hymn, and its rousing, its forward-rushing beat gives them all renewed momentum. When they march through a village and the peasants gather in amazement, the inhabitants curious, they sing it in chorus. It has become their song, they have, without knowing that it was intended for the Rhine Army, without suspecting by whom and when it was composed, adopted the hymn as that of their battalion, as a confession of their life and death. It belongs to them like the flag, and in passionate advance they want to carry it over the world.
+
+The first great victory of the Marseillaise - for that is what Rouget's anthem will soon call itself - is Paris. On June 30, the battalion marches in through the faubourgs, flag in front and song. Thousands and tens of thousands stand and wait in the streets to receive them festively, and as the Marseillers now approach, five hundred men, singing as it were from one throat to the beat of the song and singing it again and again, the crowd listens. What is this magnificent, ravishing hymn that the people of Marseilles are singing? What a fanfare this, driving into all hearts, accompanied by the pattering drumbeat, this "Aux armes, citoyens!" Two hours later, three hours later, and already the refrain resounds in all alleys again. Forgotten is the "Ça ira," forgotten the old marches, the worn-out couplets: the revolution has recognized its own voice, the revolution has found its song.
+
+
+The spread of the hymn became avalanche-like, the triumphant run unstoppable. The hymn is sung at banquets, in theaters and clubs, then even in churches after the Tedeum and soon instead of the Tedeum. In one, in two months the Marseillaise has become the song of the people and of the whole army. Servan, the first republican minister of war, recognizes with a wise eye the tonic, the exalting power of such a unique national battle song. In hasty order he commands that a hundred thousand copies be sent to all commands, and in two or three nights the Song of the Unknown is more widespread than all the works of Molière, Racine, and Voltaire. No feast that does not close with the Marseillaise, no battle where regimental musicians do not for the time being intone the war song of freedom. At Jemappes and Nerwinden, the regiments arrange themselves in choral song for the decisive storm, and the enemy generals, who can only stimulate their soldiers with the old recipe of doubled brandy rations, see with fright that they have nothing to oppose the explosive force of this "terrible" hymn when, sung simultaneously by thousands and thousands, it rushes against their own ranks like a ringing, clashing wave. Over all the battles of France now floats, sweeping countless into enthusiasm and death, the Marseillaise, like Nike, the winged goddess of victory.
+
+Meanwhile, in the small garrison of Hüningen, a most unknown captain of fortifications, Rouget, sits dutifully designing ramparts and entrenchments. Perhaps he has already forgotten the "War Song of the Rhine Army" that he created on that lost night of April 26, 1792, and does not even dare to suspect, when he reads in the gazettes about that other hymn, that other war song that takes Paris by storm, that this victorious "Song of the Marseilles" is word for word and measure for measure nothing other than the miracle of that night that happened in him and to him. For cruel irony of fate - rushing to all heavens, roaring to the stars, this melody does not carry high only one person, namely the person who devised it. Nobody in all France cares about Captain Rouget de Lisle, the most enormous fame ever known to a song remains to the song, and not a shadow of it falls on its creator Rouget. His name is not printed on the texts, and he himself would remain completely unnoticed by the masters of the hour, if he did not bring himself into annoying memory. For - ingenious paradox as only history can invent it - the creator of the revolutionary hymn is not a revolutionary; on the contrary: he who, like no other, drove the revolution on through his immortal song, now wants to curb it back with all his might. When the people of Marseilles and the Parisian mob - his song on their lips - storm the Tuileries and the king is deposed, Rouget de Lisle has had enough of the revolution. He refuses to take the oath of allegiance to the Republic and resigns rather than serve the Jacobins. The word of "liberté chérie", the beloved liberty, in his hymn is not an empty word to this upright man: he detests the new tyrants and despots in the Convention no less than he hated those crowned and anointed beyond the borders. He openly gives vent to his displeasure against the Welfare Committee when his friend, Mayor Dietrich, the godfather of the Marseillaise, when General Luckner, to whom it was dedicated, when all the officers and nobles who were their first listeners that evening are dragged to the guillotine, and soon the grotesque situation occurs that the poet of the Revolution is imprisoned as a counter-revolutionary, that he, and he of all people, is put on trial with the accusation of having betrayed his fatherland. Only the 9th Thermidor, which opened the prisons with the fall of Robespierre, spared the French Revolution the ignominy of having handed over the poet of its most immortal song to the "national razor".
+
+At least, it would have been a heroic death and not such a miserable twilight in the darkness as Rouget is imposed. For by more than forty years, by thousands and thousands of days, the unfortunate Rouget survives the only truly creative day of his life. His uniform has been taken off, his pension has been cancelled; the poems, the operas, the texts he writes are not printed, not performed. The fate does not forgive the dilettante for having entered the ranks of the immortals without being called. With all kinds of small and not always clean business the little man ekes out his small life. In vain, Carnot and later Bonaparte try to help him out of pity. But something in Rouget's character has become irredeemably poisoned and twisted by the cruelty of that coincidence which let him be God and genius for three hours and then contemptuously threw him back into his own nothingness. He quarrels and crosses with all powers, he writes insolent and pathetic letters to Bonaparte, who wanted to help him, he boasts publicly that he voted against him in the referendum. His business entangles him in dark affairs, and because of an unpaid bill of exchange he even has to make acquaintance with the debtors' prison St. Pelargie. Unpopular in all places, hounded by debtors, constantly spied on by the police, he finally holes up somewhere in the provinces, and as if from a grave, secluded and forgotten, he listens from there to the fate of his immortal song; he still experiences that the Marseillaise storms with the victorious armies over all the countries of Europe, then still that Napoleon, hardly emperor, has it deleted from all programs as too revolutionary, that the Bourbons then ban it completely. The embittered old man is only amazed when, after an age, the July Revolution of 1830 resurrects his words and his melody in their old strength at the barricades of Paris, and the bourgeois king Louis Philippe grants him a small pensium as a poet. It seems like a dream to the lost, the forgotten, that he is remembered at all, but it is only a small remembrance, and when the seventy-six-year-old finally dies in Choisy-le-Roi in 1836, no one calls or knows his name anymore. Once again, an age must pass: Only in the World War, when the Marseillaise, which had long since become the national anthem, resounds again in war on all fronts of France, is it ordered that the body of the little Captain Rouget be buried in the same place in the Invalides Cathedral as that of the little Lieutenant Bonaparte, and so at last the most unfamous creator of an eternal song rests in the crypt of glory of his fatherland from the disappointment of having been nothing but the poet of a single night.
+

install-sw.sh

@@ -0,0 +1,24 @@
+# pip install pipx
+# pipx install poetry
+# pipx ensurepath
+# source ~/.bashrc
+
+# curl -sSL https://install.python-poetry.org | python3 -
+# -C- continue -S show error -o output
+curl -sSL -C- -o install-poetry.py  https://install.python-poetry.org
+python install-poetry.py
+rm install-poetry.py
+echo export PATH=~/.local/bin:$PATH > ~/.bashrc
+source ~/.bashrc
+# ~/.local/bin/poetry install
+
+wget -c https://deb.nodesource.com/setup_12.x
+bash setup_12.x
+apt-get install -y nodejs
+npm install -g npm@latest
+npm install -g nodemon
+rm setup_12.x
+
+# apt upate  # alerady done in apt-get install -y nodejs
+apt install byobu -y > /dev/null 2>&1
+

mlbee/__init__.py

@@ -1,5 +1,5 @@
 """Init."""
-__version__ = "0.1.0"
+__version__ = "0.1.0a1"
 from .mlbee import mlbee
 
 __all__ = ("mlbee",)

mlbee/app-litbee.py-

@@ -0,0 +1,202 @@
+"""Prep __main__.py.
+
+https://share.streamlit.io/deploy
+    Advanced settings...
+        Python version
+            3.7
+            3.8
+            3.9*
+            3.10
+
+https://docs.streamlit.io/knowledge-base/using-streamlit/hide-row-indices-displaying-dataframe
+    Hide row indices when displaying a dataframe
+# CSS to inject contained in a string
+hide_table_row_index = '''
+            <style>
+            tbody th {display:none}
+            .blank {display:none}
+            </style>
+            '''
+# Inject CSS with Markdown
+st.markdown(hide_table_row_index, unsafe_allow_html=True)
+
+# Display a static table
+st.table(df)
+
+# Hide row indices with st.dataframe
+# CSS to inject contained in a string
+hide_dataframe_row_index = '''
+            <style>
+            .row_heading.level0 {display:none}
+            .blank {display:none}
+            </style>
+           '''
+# Inject CSS with Markdown
+st.markdown(hide_dataframe_row_index, unsafe_allow_html=True)
+
+# Display an interactive table
+st.dataframe(df)
+
+https://medium.com/@avra42/streamlit-python-cool-tricks-to-make-your-web-application-look-better-8abfc3763a5b
+hide_menu_style = '''
+        <style>
+        #MainMenu {visibility: hidden; }
+        footer {visibility: hidden;}
+        </style>
+        '''
+st.markdown(hide_menu_style, unsafe_allow_html=True)
+
+"""
+# pylint: disable=invalid-name
+import os
+import sys
+import time
+from pathlib import Path
+from types import SimpleNamespace
+from typing import Optional
+
+import loguru
+import logzero
+import pandas as pd
+import ezbee
+import dzbee
+import debee
+
+import streamlit as st
+from loguru import logger as loggu
+from logzero import logger
+from set_loglevel import set_loglevel
+from streamlit import session_state as state
+
+from litbee import __version__
+# from litbee.options import options
+
+# from litbee.files2df import files2df
+# from litbee.utils import sb_front_cover, instructions, menu_items
+# from litbee.ezbee_page import ezbee_page
+# from litbee.dzbee_page import dzbee_page
+# from litbee.xbee_page import xbee_page
+from litbee.utils import menu_items
+
+from litbee.multipage import Multipage
+
+# from litbee.fetch_upload import fetch_upload
+# from litbee.fetch_paste import fetch_paste
+# from litbee.fetch_urls import fetch_urls
+
+from litbee.home import home
+from litbee.settings import settings
+from litbee.info import info
+from litbee.utils import style_css
+
+# from ezbee import ezbee
+
+curr_py = sys.version[:3]
+msg = f"Some packages litbee depends on can only run with Python 3.8, current python is **{curr_py}**, sorry..."
+assert curr_py == "3.8", msg
+
+os.environ["TZ"] = "Asia/Shanghai"
+try:
+    time.tzset()  # type: ignore
+except Exception as _:
+    logger.warning("time.tzset() error: %s. Probably running Windows, we let it pass.", _)
+
+# uncomment this in dev oe set/export LOGLEVEL=10
+# os.environ["LOGLEVEL"] = "10"
+
+logzero.loglevel(set_loglevel())
+
+loggu.remove()
+_ = (
+    "<green>{time:YY-MM-DD HH:mm:ss}</green> | "
+    "<level>{level: <5}</level> | <level>{message}</level> "
+    "<cyan>{module}.{name}</cyan>:<cyan>{line}</cyan>"
+)
+loggu.add(
+    sys.stderr,
+    format=_,
+    level=set_loglevel(),
+    colorize=True,
+)
+
+# from PIL import Image
+# page_icon=Image.open("icon.ico"),
+st.set_page_config(  # type: ignore
+    page_title=f"litbee v{__version__}",
+    # page_icon="🧊",
+    page_icon="🐝",
+    # layout="wide",
+    initial_sidebar_state="auto",  # "auto" or "expanded" or "collapsed",
+    menu_items=menu_items,
+)
+
+# pd.set_option("precision", 2)
+pd.set_option("display.precision", 2)
+pd.options.display.float_format = "{:,.2f}".format
+
+sourcetype = "upload"
+if set_loglevel() <= 10:
+    sourcetype = "urls"
+
+_ = dict(
+    beetype="ezbee",
+    sourcetype=sourcetype,
+    sourcecount=2,
+    sentali=None,
+    src_filename="",
+    tgt_filename="",
+    src_fileio=b"",
+    tgt_fileio=b"",
+    src_file="",
+    tgt_file="",
+    list1=[""],
+    list2=[""],
+    df=None,
+    df_a=None,
+    df_s_a=None,
+    count=1,
+    updated=False,
+)
+if "ns" not in state:
+    state.ns = SimpleNamespace(**_)
+state.ns.list = [*_]
+
+logger.info(
+    "versions ezbee dzbee debee: %s, %s, %s",
+    ezbee.__version__,
+    dzbee.__version__,
+    debee.__version__,
+)
+
+
+def main():
+    """Bootstrap."""
+    # options()
+
+    st.markdown(f"<style>{style_css}</style>", unsafe_allow_html=True)
+
+    app = Multipage()
+
+    # app.add_page("Home", "house", ask.app)
+    # app.add_page("Settings", "gear", settings.app)
+    # app.add_page("Info", "info", info.app)
+
+    # app.add_page("Home", "house", fetch_upload)
+    app.add_page("Home", "house", home)
+    app.add_page("Settings", "gear", settings)
+    app.add_page("Info", "info", info)
+
+    # The main app
+    app.run()
+
+    # st.markdown(f"""<div class="text"> run: {state.ns.count}</div>""", unsafe_allow_html=True)
+
+    if set_loglevel() <= 10:
+        st.markdown(state.ns.count)
+    loggu.debug(f" run: {state.ns.count}")
+    logger.debug(f" run: {state.ns.count}")
+    state.ns.count += 1
+    state.ns.updated = False
+
+
+main()

mlbee/color_map.py

@@ -0,0 +1,49 @@
+"""Map cell background color for pandas.DataFrame.
+
+palette = sns.blend_palette(
+    # ["pink", "palegreen", 'green'], N_COLORS).as_hex()
+    # ["pink", "palegreen"], N_COLORS).as_hex()
+    ["red", "palegreen"], N_COLORS).as_hex()
+Refer to color_table_applymap.py
+
+Taken from vizbee color_map
+"""
+# pylint: disable=invalid-name, broad-except
+palette = [
+    # "#f00000",
+    # "#f02315",
+    "#e2482c",
+    "#d36b41",
+    "#c49057",
+    "#b5b36c",
+    "#a7d883",
+    "#98fb98",
+]
+ncolors = len(palette)
+
+
+def color_map(v, min_: float = 0, max_: float = 1):
+    """Map cell background color.
+
+    e.g. s_df = df.style.applymap(color_map, min_=min_, max_=max_, subset=["B"])
+    or s_df = df.style.applymap(color_map, subset=['likelihood'])
+
+    or
+    s_df = df.style.applymap(color_map, subset=[2,])
+
+    or
+    s_df = df.style.applymap(color_map, subset=[df.columns[2])
+
+    or
+    s_df = df.style.applymap(color_map, subset=[*df.columns[1:3]] + [*df.columns[0:1]])
+    """
+    wd = (max_ - min_) / ncolors
+    try:
+        v = float(v)  # !!!
+        pal = palette[min(ncolors - 1, int((v - min_) / wd))]
+    except Exception:  # as e:  # wont style str etc.
+        # logger.debug("%s", e)
+        # return None
+        return "wrap_text: true"
+
+    return f"background-color: {pal}"

mlbee/cos_matrix2.py

@@ -0,0 +1,47 @@
+"""Compute the cosine similarity matrix of A.
+
+https://stackoverflow.com/questions/17627219/whats-the-fastest-way-in-python-to-calculate-cosine-similarity-given-sparse-mat
+"""
+from typing import Optional
+import numpy as np
+
+
+def cos_matrix2(mat1: np.ndarray, mat2: Optional[np.ndarray] = None) -> np.ndarray:
+    """Compute the cosine similarity matrix of mat1, mat2: mat1 * mat2.T.
+
+    Args:
+        mat1: np.asarray
+        mat2: [Optional], if not present mat2 = mat1
+    Returns
+        cosine similarity
+    """
+    if not isinstance(mat1, np.ndarray):
+        mat1 = np.asarray(mat1, dtype=np.float32)
+
+    if mat2 is None:
+        mat2 = mat1.copy()
+
+    if not isinstance(mat2, np.ndarray):
+        mat2 = np.asarray(mat2, dtype=np.float32)
+
+    if mat1.shape[1] != mat2.shape[1]:
+        print("shape mismatch: %s, %s", mat1.shape, mat2.shape)
+        raise SystemError(1)
+    cosine = np.dot(mat1, mat2.T)
+
+    norm1 = np.linalg.norm(mat1, axis=1)
+    norm2 = np.linalg.norm(mat2, axis=1)
+
+    # if not (norm1 and norm2): return 0
+
+    size1 = norm1.size
+    size2 = norm2.size
+    norm_mat = np.dot(norm1.reshape(size1, 1), norm2.reshape(1, size2))
+
+    for idx in range(size1):
+        for jdx in range(size2):
+            if norm_mat[idx, jdx] == 0:
+                cosine[idx, jdx] = 0.0
+            else:
+                cosine[idx, jdx] = cosine[idx, jdx] / norm_mat[idx, jdx]
+    return cosine

mlbee/fetch_paste.py

@@ -0,0 +1,48 @@
+"""Fetch pasted text and convert to state.ns.list1/list2."""
+# pylint: disable=invalid-name
+import streamlit as st
+from logzero import logger
+from streamlit import session_state as state
+
+
+def fetch_paste():
+    """Fetch from clipboard."""
+    # st.write("Coming soon")
+    text1 = ""
+    text2 = ""
+    with st.form(key="paste_in_form"):
+        _ = st.expander(f"{state.ns.beetype}: Paste text", expanded=True)
+        with _:
+            col1, col2 = st.columns(2)
+            with col1:
+                text1 = st.text_area(
+                    label="Paste your stuff here",
+                    key="paste_text1",
+                    # help=""
+                    height=500,
+                )
+
+            with col2:
+                text2 = st.text_area(
+                    label="Paste your stuff here",
+                    # help=""
+                    key="paste_text2",
+                    height=500,
+                )
+
+        submitted = st.form_submit_button("Submit")
+
+    logger.debug("text1[:10]: %s, text2[:10]: %s", text1[:10], text2[:10])
+
+    list1 = [_.strip() for _ in text1.splitlines() if _.strip()]
+    list2 = [_.strip() for _ in text2.splitlines() if _.strip()]
+
+    state.ns.list1 = list1[:]
+    state.ns.list2 = list2[:]
+
+    logger.debug("len(list1): %s, len(list2): %s", len(list1), len(list2))
+
+    logger.debug("state.ns.updated: %s", state.ns.updated)
+
+    state.ns.src_filename = ""
+    state.ns.updated = True

mlbee/fetch_upload.py

@@ -0,0 +1,129 @@
+"""Fetch upload and convert to list1/list2."""
+import streamlit as st
+from logzero import logger
+from streamlit import session_state as state
+
+
+def fetch_upload():
+    """Fetch upload and convert to list1/list2."""
+    src_fileio = b""
+    tgt_fileio = b""
+    with st.form(key="upload_in_form"):
+        _ = st.expander(f"{state.ns.beetype}: Pick two files", expanded=True)
+        with _:
+            col1, col2 = st.columns(2)
+            with col1:
+                src_fileio = st.file_uploader(
+                    "Choose source file (utf8 txt)",
+                    type=[
+                        "txt",
+                    ],
+                    key="src_text",
+                    # accept_multiple_files=True,
+                    # accept_multiple_files=False,
+                )
+
+            with col2:
+                tgt_fileio = st.file_uploader(
+                    "Choose target file (utf8 txt)",
+                    type=[
+                        "txt",
+                    ],
+                    key="tgt_text",
+                    # accept_multiple_files=True,
+                )
+        submitted = st.form_submit_button("Submit")
+
+    # logger.debug(" len(src_fileio): %s", len(src_fileio))
+    # logger.debug(" len(tgt_fileio): %s", len(tgt_fileio))
+
+    filename1 = ""
+    if src_fileio:
+        logger.debug(" type(src_fileio): %s", type(src_fileio))
+
+        # for st.file_uploade accept_multiple_files=True
+        if isinstance(src_fileio, list):
+            logger.debug(" len(src_fileio): %s", len(src_fileio))
+            filenames = []
+            try:
+                filenames = [elm.name for elm in src_fileio]  # type: ignore
+            except Exception as exc:
+                logger.error(exc)
+            logger.debug("src_fileio  names: *%s*", filenames)
+
+            # state.ns.src_fileio = src_fileio
+            state.ns.src_file = src_fileio[-1].getvalue().decode()
+            state.ns.src_filename = src_fileio[-1].name
+        else:
+            logger.debug("src_fileio.name: [%s]", src_fileio.name)
+            filenames = [src_fileio.name]
+            logger.debug("src_fileio  names: %s", filenames)
+
+            # state.ns.src_fileio = src_fileio
+            state.ns.src_file = src_fileio.getvalue().decode()
+            state.ns.src_filename = src_fileio.name
+        filename1 = state.ns.src_filename
+
+    filename2 = ""
+    if tgt_fileio:
+        if isinstance(tgt_fileio, list):
+            logger.warning("not set to handle multiple files")
+            logger.warning("set accept_multiple_files=False in the meantime")
+        else:
+            state.ns.tgt_file = tgt_fileio.getvalue().decode()
+            state.ns.tgt_filename = tgt_fileio.name
+            filename2 = tgt_fileio.name
+
+    # proceed when Submit is clicked
+    msg1 = ""
+    if filename1:
+        msg1 += f" file1 {filename1}"
+    msg2 = ""
+    if filename2:
+        msg2 += f" file2 {filename2}"
+    glue = ""
+    if filename1 and filename2:
+        glue = ", "
+
+    upload_placeholder = st.empty()
+    prefix = f" Upload submitted: {msg1}{glue}{msg2}"
+    upload_placeholder.write(prefix)
+
+    # st.write(f"  Submitted upload: {msg1}{glue}{msg2}")
+    if not submitted:
+        return None
+
+    if not (filename1 or filename2):
+        # st.write("|  no file uploaded")
+        upload_placeholder.write(f"{prefix} no file uploaded")
+        return None
+
+    if not filename1:
+        # st.write("|  file1 not ready")
+        upload_placeholder.write(f"{prefix}, file1 not ready")
+        return None
+
+    if not filename2:
+        # st.write("|  file2 not ready")
+        upload_placeholder.write(f"{prefix}, file2 not ready")
+        return None
+
+    try:
+        _ = state.ns.src_file.splitlines()
+        list1 = [elm.strip() for elm in _ if elm.strip()]
+        _ = state.ns.tgt_file.splitlines()
+        list2 = [elm.strip() for elm in _ if elm.strip()]
+    except Exception as exc:
+        logger.error(exc)
+        list1 = [""]
+        list2 = [""]
+
+    logger.debug("len(list1): %s, len(list2): %s", len(list1), len(list2))
+
+    state.ns.list1 = list1[:]
+    state.ns.list2 = list2[:]
+
+    state.ns.updated = True
+    logger.debug("state.ns.updated: %s", state.ns.updated)
+
+    return None

mlbee/fetch_urls.py

@@ -0,0 +1,173 @@
+"""Fetch text from urls and convert to state.ns.list1/list2."""
+# pylint: disable=invalid-name
+import streamlit as st
+from icecream import ic
+from logzero import logger
+from streamlit import session_state as state
+
+from mlbee.url2txt import url2txt
+
+ic.configureOutput(
+    includeContext=True,
+    outputFunction=logger.debug,  # outputFunction=logger.info,
+)
+
+
+def fetch_urls():
+    """Fetch text from urls and convert to state.ns.list1/list2."""
+    beetype = state.ns.beetype
+    sourcecount = state.ns.sourcecount
+    value = ""
+    if beetype == "ezbee" or beetype == "mlbee":
+        url1 = (
+            "https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/test_en.txt"
+        )
+        url2 = (
+            "https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/test_zh.txt"
+        )
+        value = f"{url1} {url2}"
+    if beetype == "dzbee":
+        url1 = "https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/sternstunden04-de.txt"
+        url2 = "https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/sternstunden04-zh.txt"
+        value = f"{url1} {url2}"
+    if beetype == "debee":
+        url1 = "https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/sternstunden04-de.txt"
+        url2 = "https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/sternstunden04-en.txt"
+        value = f"{url1} {url2}"
+
+    dict_ = dict(text1="", text2="")
+
+    def fetch_cb():
+        """Fetch text (dict_["text1"|"text2"]) from urls."""
+        ic("fetch_cb")
+        urls = [elm.strip() for elm in text_inp.split(" ") if elm.strip()]
+
+        # supply http:// if not startswith http
+        urls = [elm if elm.startswith("http") else "http://" + elm for elm in urls]
+
+        _ = "\n\t"
+        # st.markdown(f" urls submitted: \n{_.join(urls)}")
+        ic(f" urls submitted: \n{_.join(urls)}")
+
+        # st.write(" TODO: fetch text from urls.")
+
+        if state.ns.sourcecount == 2:  # 2-sep
+            for idx, url in enumerate(urls[:2]):
+                try:
+                    _ = url2txt(url)
+                except Exception as e:
+                    logger.error(e)
+                    _ = str(e)
+                dict_[f"text{idx + 1}"] = _
+                ic(f"{idx + 1}: [{url}] {dict_['text' + str(idx + 1)][:100]}")
+
+            ic(dict_["text1"][:10])
+            ic(dict_["text2"][:10])
+        else:  # 1-mix
+            text1 = ""
+            for url in urls:
+                try:
+                    _ = url2txt(url)
+                except Exception as e:
+                    logger.error(e)
+                    _ = str(e)
+                text1 += _
+            ic(text1[:10])
+            dict_["text1"] = text1[:]
+
+        _ = [elm.strip() for elm in dict_["text1"].splitlines() if elm.strip()]
+        state.ns.list1 = _
+        _ = [elm.strip() for elm in dict_["text2"].splitlines() if elm.strip()]
+        state.ns.list2 = _
+
+        list1 = state.ns.list1
+        list2 = state.ns.list2
+        ic(len(list1), len(list2))
+
+        state.fetched_text1 = dict_["text1"]
+        state.fetched_text2 = dict_["text2"]
+
+        # streamlit complains if an initial value of
+        # a widget with this key is set
+        # state.text_area_urls = text_inp
+
+    # with st.form(key="urls_in_form"):
+    # _ = st.expander(f"{beetype}: Paste urls below and press Ctl+Enter or Space Ctl+Enter to testdrive", expanded=True)
+    # with _:
+    label = f"{beetype}: Paste urls below and press Ctl+Enter or Space Ctl+Enter to testdrive"
+    text_inp = st.text_area(
+        label=label,
+        value=value,
+        key="text_area_urls",
+        height=25,
+        help=" URLs separated by at least a space or a newline（贴网址，空格分开或另起一行, Ctrl+回车提交）",
+        on_change=fetch_cb,
+        # args=(text_inp,),
+    )
+
+    # st.button("Fetch", on_click=fetch_cb, args=(text_inp,))
+
+    def text2lists():
+        """Convert text(s) to list(s)."""
+        if text1:
+            try:
+                list1 = [elm.strip() for elm in text1.splitlines() if elm.strip()]
+                state.ns.list1 = list1[:]
+            except Exception as e:
+                logger.warning("text1 to list1 errors: %s", e)
+
+        if text2:
+            try:
+                list2 = [elm.strip() for elm in text2.splitlines() if elm.strip()]
+                state.ns.list2 = list2[:]
+            except Exception as e:
+                logger.warning("text2 to list2 errors: %s", e)
+
+    # show fetch text(s)
+    text1 = dict_["text1"]
+    text2 = dict_["text2"]
+    if state.ns.sourcecount == 2:  # 2-sep
+        with st.form(key="fetched_2texts_in_form"):
+            _ = st.expander(f"{state.ns.beetype}: fetched text", expanded=True)
+            with _:
+                col1, col2 = st.columns(2)
+                with col1:
+                    text1 = st.text_area(
+                        label="Edit when necessary, click Submit when ready",
+                        key="fetched_text1",
+                        # help=""
+                        height=500,
+                        value=text1,
+                    )
+
+                with col2:
+                    text2 = st.text_area(
+                        label="Edit when necessary, click Submit when ready",
+                        # help=""
+                        key="fetched_text2",
+                        height=500,
+                        value=text2,
+                    )
+
+            submitted = st.form_submit_button("Submit", on_click=text2lists)
+
+    else:  # 1-mix
+        with st.form(key="fetched_1_text_in_form"):
+            _ = st.expander(f"{state.ns.beetype}: fetched mixed text", expanded=True)
+            with _:
+                text1 = st.text_area(
+                    label="Edit when necessary, click Submit when ready",
+                    key="fetched_mixed_text1",
+                    height=500,
+                    value=text1,
+                )
+            submitted = st.form_submit_button("Submit", on_click=text2lists)
+
+    # _ = """
+    if not submitted:
+        ic("Submit not yet clicked")
+        return
+    # """
+
+    state.ns.src_filename = ""
+    state.ns.updated = True

mlbee/gen_cmat.py

@@ -0,0 +1,75 @@
+"""Gen cmat for de/en text."""
+# pylint: disable=invalid-name, too-many-branches
+
+from typing import List, Optional
+
+import more_itertools as mit
+import numpy as np
+
+from tqdm import tqdm
+from model_pool import load_model_s
+from logzero import logger
+
+from mlbee.cos_matrix2 import cos_matrix2
+
+try:
+    model_s = load_model_s()
+except Exception as _:
+    logger.exception(_)
+    raise
+
+
+def gen_cmat(
+    text1: List[str],
+    text2: List[str],
+    bsize: int = 50
+) -> np.ndarray:
+    """Gen corr matrix for texts.
+
+    Args:
+        text1: typically '''...''' splitlines()
+        text2: typically '''...''' splitlines()
+        bsize: batch size, default 50
+    text1 = 'this is a test'
+    text2 = 'another test'
+    """
+    bsize = int(bsize)
+    if bsize <= 0:
+        bsize = 50
+
+    if isinstance(text1, str):
+        text1 = [text1]
+    if isinstance(text2, str):
+        text1 = [text2]
+
+    vec1 = []
+    vec2 = []
+    len1 = len(text1)
+    len2 = len(text2)
+    tot = len1 // bsize + bool(len1 % bsize)
+    tot += len2 // bsize + bool(len2 % bsize)
+    with tqdm(total=tot) as pbar:
+        for chunk in mit.chunked(text1, bsize):
+            try:
+                vec = model_s.encode(chunk)
+            except Exception as exc:
+                logger.error(exc)
+                raise
+            vec1.extend(vec)
+            pbar.update()
+        for chunk in mit.chunked(text2, bsize):
+            try:
+                vec = model_s.encode(chunk)
+            except Exception as exc:
+                logger.error(exc)
+                raise
+            vec2.extend(vec)
+            pbar.update()
+    try:
+        # note the order vec2, vec1
+        _ = cos_matrix2(np.array(vec2), np.array(vec1))
+    except Exception as exc:
+        logger.exception(exc)
+        raise
+
+    return _

mlbee/home.py

@@ -0,0 +1,288 @@
+"""Fetch content from upload.
+
+org ezbee_page.py.
+"""
+# pylint: disable=invalid-name
+# pylint: disable=too-many-locals, too-many-return-statements, too-many-branches, too-many-statements
+import base64
+import inspect
+import io
+
+# pylint: disable=invalid-name
+from functools import partial
+from itertools import zip_longest
+
+import hanzidentifier
+import logzero
+import numpy as np
+import pandas as pd
+import pendulum
+import streamlit as st
+from about_time import about_time
+
+# from ezbee.gen_pairs import gen_pairs  # aset2pairs?
+from aset2pairs import aset2pairs
+from icecream import ic
+from loguru import logger as loggu
+from logzero import logger
+from set_loglevel import set_loglevel
+from st_aggrid import AgGrid, GridOptionsBuilder, GridUpdateMode
+
+# from st_aggrid.grid_options_builder import GridOptionsBuilder
+from streamlit import session_state as state
+
+from mlbee.color_map import color_map
+from mlbee.fetch_paste import fetch_paste
+from mlbee.fetch_upload import fetch_upload
+from mlbee.fetch_urls import fetch_urls
+# from mlbee.t2s import t2s
+from mlbee import mlbee
+
+
+def home():  # noqa
+    """Run tasks.
+
+    beetype
+
+    sourcetype
+        fetch_upload/fetch_paste, fetch_url
+            sourcecount
+
+    align: para-align/sent-align
+
+    save xlsx/tsv
+    """
+    if state.ns.sourcetype not in ["upload", "paste", "urls"]:
+        st.write("Coming soooooooon...")
+        return None
+
+    # if state.ns.beetype not in ["ezbee", "dzbee", "debee"]:
+    if state.ns.beetype not in ["mlbee", ]:
+        st.write("Coming soon...")
+        return None
+
+    # process sourcetype and fetch list1/list2
+    list1 = list2 = []
+    # fetch_upload/fetch_paste
+    if state.ns.sourcetype in ["upload"]:
+        fetch_upload()
+    elif state.ns.sourcetype in ["paste"]:
+        fetch_paste()
+    elif state.ns.sourcetype in ["urls"]:
+        fetch_urls()
+    else:
+        st.warning(f"{state.ns.sourcetype}: Not implemented")
+        return None
+
+    logger.debug("state.ns.updated: %s", state.ns.updated)
+
+    # if not updated, quit: this does not quite work
+    # only prevents the first run/missing upload
+    if not state.ns.updated:
+        logger.debug(" not updated, early exit.")
+        return None
+
+    list1 = state.ns.list1[:]
+    list2 = state.ns.list2[:]
+
+    logger.debug("list1[:3]: %s", list1[:3])
+    logger.debug("list2[:3]: %s", list2[:3])
+
+    df = pd.DataFrame(zip_longest(list1, list2, fillvalue=""))
+    try:
+        # df.columns = ["text1", "text2"]
+        df.columns = [f"text{i + 1}" for i in range(len(df.columns))]
+    except Exception as exc:
+        logger.debug("df: \n%s", df)
+        logger.error("%s", exc)
+
+    state.ns.df = df
+    logger.debug("df: %s", df)
+
+    # st.table(df)  # looks alright
+    # equiv to st.markdown(df.to_markdown())?
+
+    # stlyed pd dataframe?
+    # bigger, no pagination
+    # st.markdown(df.to_html(), unsafe_allow_html=True)
+
+    # ag_grid smallish, editable, probably slower
+
+    # if "df" not in globals() or "df" not in locals():
+    if "df" not in locals():
+        logger.debug(" df not defined, return")
+
+    if df.empty:
+        logger.debug(" df.empty, return")
+        return None
+
+    # only show this for upload
+    if state.ns.sourcetype in ["upload"]:
+        len1 = len([elm.strip() for elm in list1 if elm.strip()])
+        len2 = len([elm.strip() for elm in list2 if elm.strip()])
+        len12 = len1 + len2
+        time0 = len12 * 0.4
+        time1 = len12 * 1
+        eta = pendulum.now() + pendulum.duration(seconds=len12 * 0.66)
+
+        in_words0 = pendulum.duration(seconds=time0).in_words()
+        in_words1 = pendulum.duration(seconds=time1).in_words()
+        diff_for_humans = eta.diff_for_humans()
+        dt_str = eta.to_datetime_string()
+        timezone_name = eta.timezone_name
+        _ = (
+            f"Estimated time to complete: {in_words0} to  {in_words1}; "
+            f"ETA: {diff_for_humans} ({dt_str} {timezone_name}) "
+        )
+        st.info(_)
+        _ = st.expander("to be aligned", expanded=False)
+        with _:
+            st.write(df)
+
+    logger.info("Processing data... %s", state.ns.beetype)
+
+    # if state.ns.beetype in ["ezbee", "dzbee", "debee"]:
+    if state.ns.beetype in ["mlbee"]:
+        with about_time() as t:
+            with st.spinner(" diggin..."):
+                try:
+                    aset = globals()[state.ns.beetype](
+                        list1,
+                        list2,
+                        # eps=eps,
+                        # min_samples=min_samples,
+                    )
+                except Exception as e:
+                    logger.exception(
+                        "aset = globals()[state.ns.beetype](...) exc: %s", e
+                    )
+                    aset = ""
+                    st.write("Collecting inputs...")
+                    logger.debug("Collecting inputs...")
+                    return None
+
+        st.success(f"Done, took {t.duration_human}")
+    else:
+        try:
+            filename = inspect.currentframe().f_code.co_filename  # type: ignore
+        except Exception as e:
+            logger.error(e)
+            filename = ""
+        try:
+            lineno = inspect.currentframe().f_lineno  # type: ignore
+        except Exception as e:
+            logger.error(e)
+            lineno = ""
+        st.write(f"{state.ns.beetype} coming soon...{filename}:{lineno}")
+        return None
+
+    if aset:
+        logger.debug("aset: %s...%s", aset[:3], aset[-3:])
+        # logger.debug("aset[:10]: %s", aset[:10])
+
+    if set_loglevel() <= 10:
+        st.write(aset)
+
+    # aligned_pairs = gen_pairs(list1, list2, aset)
+    aligned_pairs = aset2pairs(list1, list2, aset)
+    if aligned_pairs:
+        # logger.debug("%s...%s", aligned_pairs[:1], aligned_pairs[-1:])
+        logger.debug("%s...s", aligned_pairs[:1])
+
+    df_a = pd.DataFrame(
+        aligned_pairs, columns=["text1", "text2", "llh"], dtype="object"
+    )
+
+    if set_loglevel() <= 10:
+        _ = st.expander("done aligned")
+        with _:
+            st.table(df_a.astype(str))
+            # st.markdown(df_a.astype(str).to_markdown())
+            # st.markdown(df_a.astype(str).to_numpy().tolist())
+
+    # insert seq no
+    df_a.insert(0, "sn", range(len(df_a)))
+
+    gb = GridOptionsBuilder.from_dataframe(df_a)
+    gb.configure_pagination(paginationAutoPageSize=True)
+    options = {
+        "resizable": True,
+        "autoHeight": True,
+        "wrapText": True,
+        "editable": True,
+    }
+    gb.configure_default_column(**options)
+    gridOptions = gb.build()
+
+    # st.write("editable aligned (double-click a cell to edit, drag column header to adjust widths)")
+    _ = "editable aligned (double-click a cell to edit, drag column header to adjust widths)"
+    with st.expander(_, expanded=False):
+        ag_df = AgGrid(
+            # df,
+            df_a,
+            gridOptions=gridOptions,
+            key="outside",
+            reload_data=True,
+            editable=True,
+            # width="100%",  # width parameter is deprecated
+            height=750,
+            # fit_columns_on_grid_load=True,
+            update_mode=GridUpdateMode.MODEL_CHANGED,
+        )
+
+    # ### prep download
+
+    # taken from vizbee cb_save_xlsx
+    # subset = list(df_a.columns[2:3])  # 3rd col
+    subset = list(df_a.columns[2:])  # 3rd col
+
+    # pop("sn"): remove sn column
+    df_a.pop("sn")
+    s_df = df_a.astype(str).style.applymap(color_map, subset=subset)
+
+    if set_loglevel() <= 10:
+        logger.debug(" showing styled aligned")
+    with st.expander("styled aligned"):
+        # st.dataframe(s_df)  # can't handle styleddf
+        st.table(s_df)
+
+    output = io.BytesIO()
+    with pd.ExcelWriter(
+        output, engine="xlsxwriter"
+    ) as writer:  # pylint: disable=abstract-class-instantiated
+        s_df.to_excel(writer, index=False, header=False, sheet_name="Sheet1")
+        writer.sheets["Sheet1"].set_column("A:A", 70)
+        writer.sheets["Sheet1"].set_column("B:B", 70)
+    output.seek(0)
+
+    val = output.getvalue()
+    b64 = base64.b64encode(val)
+    filename = ""
+    if state.ns.src_filename:
+        filename = f"{state.ns.src_filename}-"
+
+    dl_xlsx = f'<a href="data:application/octet-stream;base64,{b64.decode()}" download="{filename}aligned_paras.xlsx">Download aligned paras xlsx</a>'
+
+    _ = """
+    output = io.BytesIO()
+    # df_a.astype(str).to_csv(output, sep="\t", index=False, header=False, encoding="gbk")
+    df_a.astype(object).to_csv(output, sep="\t", index=False, header=False, encoding="gbk")
+    output.seek(0)
+
+    val = output.getvalue()
+    b64 = base64.b64encode(val)
+    dl_tsv = f'<a href="data:application/octet-stream;base64,{b64.decode()}" download="{filename}aligned_paras.tsv">Download aligned paras tsv</a>'
+    # """
+
+    col1_dl, col2_dl = st.columns(2)
+    with col1_dl:
+        st.markdown(dl_xlsx, unsafe_allow_html=True)
+    _ = """
+    with col2_dl:
+        st.markdown(dl_tsv, unsafe_allow_html=True)
+    # """
+
+    # reset
+    state.ns.updated = False
+
+    return None

mlbee/info.py

@@ -0,0 +1,16 @@
+"""Present info about mlbee."""
+from textwrap import dedent
+
+import streamlit as st
+
+from mlbee import __version__
+
+from mlbee.utils import msg
+
+
+def info():
+    """Prep info page."""
+
+    st.subheader(f"mlbee {__version__}")
+
+    st.markdown(msg, unsafe_allow_html=True)

mlbee/loadtext.py

@@ -0,0 +1,126 @@
+"""Load file content to text.
+
+Check encoding and load a file to text.
+
+Win
+Linux
+    apt install libmagic1
+
+py -3.8 -m pip install python-magic-bin
+py -3.8 -m pip install python-magic
+
+import magic
+magic.from_file("testdata/test.pdf")
+
+original load_textrev
+refer to load_paras.py
+"""
+# pylint: disable=line-too-long, unused-variable, unused-import
+
+from typing import List, Optional, Union  # noqa
+from pathlib import Path
+import cchardet
+
+import pytest
+from logzero import logger
+
+# from detect_file import detect_file
+
+
+def loadtext(filepath: Union[Path, str] = "") -> str:
+    """Load file context to text.
+
+    Check encoding and load a file to text.
+    """
+    filepath = Path(filepath)
+    if not filepath.is_file():
+        logger.error(" file [%s] does not exist or is not a file.", filepath)
+        # return None
+        raise Exception(f" file [{filepath}] does not exist or is not a file.")
+
+    # encoding = detect_file(filepath)
+    encoding = cchardet.detect(filepath.read_bytes()).get("encoding", "utf8")
+
+    if encoding is None:
+        raise Exception("cchardet.detect says it's not a text file.")
+
+    # cchardet: 'GB18030', no need for errors="ignore"
+    try:
+        text = filepath.read_text(encoding=encoding, errors="ignore")
+    except Exception as exc:
+        logger.error(" Opening %s resulted in errors: %s", filepath, exc)
+        raise
+
+    return text
+
+
+def text2paras(text: str) -> List[str]:
+    """Convert text to list/paras, remove blank lines."""
+    _ = text.splitlines()
+
+    return [elm.strip() for elm in _ if elm.strip()]
+
+
+def loadparas(filepath: Path) -> List[str]:
+    """Load file as paras list."""
+    try:
+        _ = loadtext(filepath)
+    except Exception as exc:
+        logger.error(exc)
+        raise
+
+    try:
+        _ = text2paras(_)
+    except Exception as exc:
+        logger.error(exc)
+        raise
+
+    return _
+
+
+@pytest.mark.xfail(reason="no file provided, trying to open ’.‘.")
+def test1():
+    r"""Tests default file."""
+    text = loadtext()
+    # eq_(2283, len(text))
+    # eq_(2283, len(text))
+
+    # del text
+    if text:
+        assert len(text) == 86423
+
+
+def testgb():
+    r"""Tests shuangyu_ku\txt-books\19部世界名著中英文对照版TXT."""
+    file = (
+        r"C:\dl\Dropbox\shuangyu_ku\txt-books\19部世界名著中英文对照版TXT"
+        r"\爱丽丝漫游奇境记.txt"
+    )
+    text = loadtext(file)
+    if text:
+        # assert len(text) == 190913
+        assert len(text) >= 188760
+
+    text0 = "ALICE'S ADVENTURES IN WONDERLAND\n CHAPTER  01  Down the Rabbit-Hole\n CHAPTER  02  The Pool of Tears\n CHAPTER  03  A Caucus-Race and a Long Tale\n CHAPTER  04  The Rabbit Sends in a Little Bill\n CHAPTER  05  Advice from a Caterpillar\n CHAPTER  06  Pig and Pepper\n CHAPTER  07  A Mad Tea-Party\n CHAPTER  08  The Queen's Croquet-Ground\n CHAPTER  09  The Mock Turtle's Story \n CHAPTER  10  The Lobster Quadrille\n CHAPTER  11  Who Stole the Tarts?\n CHAPTER  12  Alice's Evidence\n\n\n 爱 丽 丝 漫 游 奇 境 记 \n\n 第01章 "  # NOQA
+
+    if text:
+        assert text0 == text[:500]
+
+
+def test_utf_16le():
+    r"""Test  'E:\\beta_final_version\\build\\test_files\\files_for_testing_import\\Folding_Beijing_12.txt'."""
+    # file = 'E:\\beta_final_version\\build\\test_files\\files_for_testing_import\\Folding_Beijing_12.txt'  # NOQA
+    file = r"C:\dl\Dropbox\mat-dir\snippets-mat\pyqt\Sandbox\hp_beta-version_files\test_files\files_for_testing_import\Folding_Beijing_12.txt"  # NOQA
+    file = r"C:\dl\Dropbox\mat-dir\pyqt\Sandbox\hp_beta-version_files\test_files\files_for_testing_import\Folding_Beijing_12.txt"
+
+    text = loadtext(file)
+    if text:
+        assert len(text) == 117871
+
+    # text0 = '\ufeffFolding Beijing\t北京折叠\n"by Hao Jingfang, translated by Ken Liu"\t郝景芳\n# 1.\t# 1\n"At ten of five in the m'  # NOQA
+    text0 = r'Folding Beijing\t北京折叠\n"by Hao Jingfang, translated by Ken Liu"\t郝景芳\n# 1.\t# 1\n"At ten of five in the mo'  # NOQA
+    text2 = 'Folding Beijing\t\xe5\x8c\x97\xe4\xba\xac\xe6\x8a\x98\xe5\x8f\xa0\r\n"by Hao Jingfang, translated by Ken Liu"\t\xe9\x83\x9d\xe6\x99\xaf\xe8\x8a\xb3\r\n# 1.\t# 1\r\n"At ten of five in the mo'
+
+    del text2
+
+    # if text: assert text0 == text[:100]

mlbee/mlbee.py

@@ -1,7 +1,53 @@
 """Define mlbee."""
+# pylint: disable=invalid-name
+from typing import List
+
+from cmat2aset import cmat2aset
 from logzero import logger
 
+from mlbee.gen_cmat import gen_cmat
+
+
+def mlbee(
+    text1: List[str],
+    text2: List[str],
+    eps: float = 10,
+    min_samples: int = 6,
+    # show_plot: bool = True,
+):
+    """Align multilingual texts.
+
+    Args:
+        text1: list of strings
+        text2: list of strings
+        eps: epsilon
+        min_samples: minimum number of points to be considered as a cluster
+        x show_plot: whether to show plots, refactored to cmat2html's show_plot
+    Returns:
+        Aligned text pairs.
+    """
+    if not (
+        [elm for elm in text1 if elm.strip()] and [elm for elm in text2 if elm.strip()]
+    ):
+        logger.warning("One or both inputs are empty")
+        raise Exception("Nothing to do...exiting")
+
+    try:
+        # from json_de2zh.gen_cmat import gen_cmat  # noqa  # pylint: disable=import-outside-toplevel
+        cmat = gen_cmat(text1, text2)
+        # logger.level is reset to 20 in fastlid
+        mlbee.cmat = cmat
+    except Exception as e:
+        logger.exception(e)
+        raise
+
+    try:
+        # aset = cmat2aset(cmat.T)
+        aset = cmat2aset(cmat, eps=eps, min_samples=min_samples)
+        mlbee.aset = aset
+    except Exception as e:
+        logger.exception(e)
+        raise
 
-def mlbee():
-    """Define mlbee."""
-    logger.debug(" entry ")
+    # paired texts or aset?
+    return aset

mlbee/multipage.py

@@ -0,0 +1,68 @@
+"""Credit to https://huggingface.co/spaces/lfqa/lfqa.
+
+This file is the framework for generating multiple Streamlit
+applications through an object oriented framework.
+"""
+# Import necessary libraries
+import streamlit as st
+from streamlit_option_menu import option_menu
+
+
+# Define the multipage class to manage the multiple apps in our program
+class Multipage:
+    """Framework for combining multiple streamlit applications."""
+
+    def __init__(self) -> None:
+        """Construct class to generate a list which will store all our applications as an instance variable."""  # noqa
+        self.pages = []
+
+    def add_page(self, title, icon, func) -> None:
+        """Class Method to Add pages to the project.
+
+        Args:
+            title ([str]): The title of page which we are
+                adding to the list of apps
+            icon: icon from streamlit-menu-option
+            func: Python function to render this page in Streamlit
+        """
+        self.pages.append({"title": title, "icon": icon, "function": func})
+
+    def run(self):
+        """Dropdown to select the page to run."""
+        # Dropdown to select the page to run
+        st.markdown(
+            """
+            <style>
+                section[data-testid="stSidebar"] > div:first-of-type {
+                    background-color: var(--secondary-background-color);
+                    background: var(--secondary-background-color);
+                    width: 250px;
+                    padding: 4rem 0;
+                    box-shadow: -2rem 0px 2rem 2rem rgba(0,0,0,0.16);
+                }
+                section[aria-expanded="true"] > div:nth-of-type(2) {
+                    display: none;
+                }
+                .main > div:first-of-type {
+                    padding: 1rem 0;
+                }
+            </style>
+        """,
+            unsafe_allow_html=True,
+        )
+
+        selected = None
+        with st.sidebar:
+            selected = option_menu(
+                None,
+                [page["title"] for page in self.pages],
+                icons=[page["icon"] for page in self.pages],
+                menu_icon="cast",
+                default_index=0,
+            )
+
+        # Run the selected page
+        for index, item in enumerate(self.pages):
+            if item["title"] == selected:
+                self.pages[index]["function"]()
+                break

mlbee/settings.py

@@ -0,0 +1,98 @@
+"""Prep Settings/Options page."""
+# pylint: disable=invalid-name
+from functools import partial
+
+import streamlit as st
+from loguru import logger as loggu
+from logzero import logger
+from streamlit import session_state as state
+
+
+def settings():
+    """Prep Settings/Options page.
+
+    Refer to options.py
+    """
+    # horizotal radio
+    st.write(
+        "<style>div.row-widget.stRadio > div{flex-direction:row;}</style>",
+        unsafe_allow_html=True,
+    )
+
+    sourcetype_list = ["upload", "paste", "urls"]
+    beetype_list = ["mlbee", "ezbee", "dzbee", "debee", "xbee"]
+
+    _ = """
+    _ = "ezbee: english-chinese; dzbee: german-chinese, debee: german-english; xbee: other language pairs (slow, approx.1000 pairs/3 min) | ezbee: 英/中; dzbee: 德/中, debee: 德/英; xbee: 其他语言对（慢, 约1000对/3分钟）"
+    try:
+        index = beetype_list.index(state.ns.beetype)
+    except Exception as e:
+        logger.error("beetype index error: %s, setting to 0", e)
+        index = 0
+    beetype = st.radio(
+        "Pick a bee",
+        beetype_list,
+        index=index,
+        format_func=lambda x: f"{x:<7} |",
+        help=_,
+    )
+    state.ns.beetype = beetype
+    # """
+
+    try:
+        index = sourcetype_list.index(state.ns.sourcetype)
+    except Exception as e:
+        logger.error("sourcetype index error: %s, setting to 0", e)
+        index = 0
+    sourcetype = st.radio(
+        "Source",
+        sourcetype_list,
+        index=index,
+        format_func=lambda x: f"{x:<8} |",
+        help="upload: one or two files; paste: from clipboard; urls: from the net",
+        # disabled=True,
+    )
+    state.ns.sourcetype = sourcetype
+
+    sourcecount_list = [2, 1]
+    try:
+        index = sourcecount_list.index(state.ns.sourcecount)
+    except Exception as e:
+        logger.error("sourcecount index error: %s, setting to 0", e)
+        index = 0
+    sourcecount = st.radio(
+        "Source Count",
+        sourcecount_list,
+        index=index,
+        format_func=lambda x: f"{x:<3} |",
+        help="2: two separate sources (files/pastes/urls), each containing one language; 1: one mixed source (file/paste/url) containing both languages",
+        disabled=True,
+    )
+    state.ns.sourcecount = sourcecount
+
+    # sentali used for sent split
+    sentali_list = [None, "yes"]
+    try:
+        index = sentali_list.index(state.ns.sentali)
+    except Exception as e:
+        logger.error("sentali sindex error: %s, setting to 0", e)
+        index = 0
+    sentali = st.radio(
+        "Split to Sents",
+        sentali_list,
+        index=index,
+        format_func=lambda x: f"{str(x):<4} |",
+        help="None: leave it as it is; yes: attempt to split to sents in a sensible manner.",
+        disabled=True,
+    )
+    state.ns.sentali = sentali
+
+    # show state.ns[:6]
+    loggu.debug(f" state.ns.list: {state.ns.list}")
+
+    # beetype, sourcetype, sourcecount, filename1, filename2
+    _ = map(partial(getattr, state.ns), state.ns.list[:6])
+    logger.debug(" state.ns.list[:3]: %s", str([*_]))
+
+    # st.write(f"run: {state.ns.count}")
+    # loggu.debug(f"run: {state.ns.count}")

mlbee/text2lists.py

@@ -0,0 +1,167 @@
+"""Separate text to zh en lists."""
+# pylint: disable=unused-import, too-many-locals, invalid-name, too-many-branches, too-many-statements,
+
+# from typing import Tuple,
+from typing import Iterable, List, Optional, Tuple, Union  # noqa
+
+import numpy as np
+from logzero import logger
+
+# from fastlid import fastlid
+from polyglot.text import Detector
+
+# from dzbee.detect import detect
+from debee.detect import detect
+
+# from json_de2zh.gen_cmat import gen_cmat
+from debee.gen_cmat import gen_cmat
+
+# from radiobee.lists2cmat import lists2cmat  # use fast_scores
+# from radiobee.detect import detect
+# from fast_scores.gen_cmat import gen_cmat  # pylint: disable=import-error
+
+
+def text2lists(
+    text: Union[Iterable[str], str],
+    set_languages: Optional[List[str]] = None,
+) -> Tuple[List[str], List[str]]:
+    """Separate text to zh en lists.
+
+    Args:
+        text: mixed text
+        set_languages: no default (open-end)
+            use polyglot.text.Detector to pick two languages
+
+    Attributes:
+        cmat: correlation matrix (len(list_l) x len(list_r))
+            before adjusting (shifting)
+        offset: plus, [""] * offset + list2
+                minus, [""] * (-offset) + list1
+    Returns:
+        two lists, best effort alignment
+    """
+    if not isinstance(text, str) and isinstance(text, Iterable):
+        try:
+            text = "\n".join(text)
+        except Exception as e:
+            logger.error(e)
+            raise
+
+    # set_languages default to ["en", "zh"]
+    if set_languages is None:
+        lang12 = [elm.code for elm in Detector(text).languages]
+
+        # set_languages = ["en", "zh"]
+
+        # set 'un' to 'en'
+        # set_languages = ['en' if elm in ['un'] else elm for elm in lang12[:2]]
+        set_languages = []
+        for elm in lang12[:2]:
+            if elm in ["un"]:
+                logger.warning(" Unknown language, set to en")
+                set_languages.append("en")
+            else:
+                set_languages.append(elm)
+
+    # fastlid.set_languages = set_languages
+
+    list1 = []
+    list2 = []
+
+    # lang0, _ = fastlid(text[:15000])
+    lang0 = detect(text, set_languages)
+
+    res = []
+    left = True  # start with left list1
+
+    for elm in [_ for _ in text.splitlines() if _.strip()]:
+        # lang, _ = fastlid(elm)
+        try:
+            lang = detect(elm, set_languages)
+        except Exception:
+            lang = "en"
+            logger.warning("Cant detect: %s[20]...setting to %s", elm[:20], lang)
+
+        if lang == lang0:
+            res.append(elm)
+        else:
+            if left:
+                # list1.append("\n".join(res))
+                list1.extend(res)
+            else:
+                # list2.append("\n".join(res))
+                list2.extend(res)
+            left = not left
+
+            res = [elm]
+            lang0 = lang
+
+    # process the last
+    if left:
+        list1.extend(res)
+    else:
+        list2.extend(res)
+
+    try:
+        # lang1, _ = fastlid(' '.join(list1))
+        lang1 = detect(" ".join(list1), set_languages)
+    except Exception as exc:
+        logger.error(exc)
+        lang1 = "en"
+    try:
+        # lang2, _ = fastlid(' '.join(list2))
+        lang2 = detect(" ".join(list2), set_languages)
+    except Exception as exc:
+        logger.error(exc)
+        lang2 = "en"
+
+    # find offset via diagonal(k),
+    len1, len2 = len(list1), len(list2)
+
+    # ylim, xlim = cmat.shape
+    ylim, xlim = len2, len1  # check
+
+    # cmat dim: len1 x len2 or ylim x xlim
+    # cmat = lists2cmat(list1, list2, lang1, lang2)
+    # cmat.shape: len(list1)xlen(list2) or ylim x xlim
+    cmat = gen_cmat(list1, list2)
+
+    # sq_mean_pair = [(elm, np.square(cmat.diagonal(elm)).mean()) for elm in range(2 - ylim, xlim + 1)]
+    # df = pd.DataFrame(sq_mean_pair, columns=['offset', 'sq_mean'])
+    # df.plot.scatter('offset', 'sq_mean')
+    # optimum_offset = df.offset[df.sq_mean.argmax()]
+
+    # equiv to np.argmax(sq_mean) - (ylim - 2)
+    # locate max, -ylim + 2 ...xlim: range(1 - ylim, xlim)
+    # sqare sum
+
+    sq_mean = [
+        np.square(cmat.diagonal(elm)).mean() for elm in range(1 - ylim, xlim - 1)
+    ]
+    # tot: xlim + ylim - 1
+
+    # temp = [np.square(cmat.diagonal(elm)) for elm in range(2 - ylim, xlim + 1)]
+    # sq_mean = [elm.mean() if np.any(elm) else 0.0 for elm in temp]
+
+    # plt.figure()
+    # plt.scatter(range(1 - ylim, xlim), sq_mean)
+
+    offset = np.argmax(sq_mean) - (ylim - 1)
+
+    text2lists.cmat = cmat
+    text2lists.offset = offset
+    text2lists.lang1 = lang1
+    text2lists.lang2 = lang2
+
+    # shift list1 if offsset >= 0, else shift list2
+    if offset > -1:
+        # list1a = list1[:]
+        # list2a = [""] * offset + list2
+        list2 = [""] * offset + list2
+    else:
+        list1 = [""] * (-offset) + list1
+        # list1a = [""] * (-offset) + list1
+        # list2a = list2[:]
+
+    # return list1, list2
+    return [elm.strip() for elm in list1], [elm.strip() for elm in list2]

mlbee/url2txt.py

@@ -0,0 +1,97 @@
+"""Fetch text from url."""
+from typing import Optional
+from urllib.parse import urlparse
+
+import html2text
+import httpx
+import streamlit as st
+from logzero import logger
+from readability import Document
+
+
+# @st.cache
+def url2txt(
+    url: str,
+    bodywidth: Optional[int] = 5000,
+    remove: bool = False,
+    show_url: bool = True,
+    ignore_links: bool = True,
+) -> str:
+    """Fetch text from url.
+
+    Args:
+        url: netloc from which to fetch text
+        bodywidth: if set to None, fall back to default bodywidth of
+            html2text.HTML2Text
+        remove: remove blank lines if set to True
+        show_url: prepend url if set to True
+        ignore_links: remove [ur](url)
+
+    Return:
+        main body in text
+
+    bodywidth: Optional[int] = 5000
+    remove: bool = False
+    show_url: bool = True
+    ignore_links: bool = True
+    """
+    url = url.strip()
+    if not url.startswith("http"):
+        url = "http://" + url
+
+    logger.info("url: %s", url)
+
+    parsed = urlparse(url)
+    if not parsed.scheme or not parsed.netloc:  # no scheme or netloc present
+        raise Exception(f"Invalid url: {url}")
+
+    try:
+        resp = httpx.get(url, timeout=30)
+        resp.raise_for_status()
+    except Exception as exc:
+        logger.error(exc)
+        raise
+
+    try:
+        content_type = resp.headers["content-type"]
+    except Exception as e:
+        logger.error(e)
+        content_type = ""
+    # output text if text/plain
+    if "text/plain" in content_type:
+        return resp.text
+
+    # handle html and the rest
+    try:
+        doc = Document(resp.text)
+    except Exception as exc:
+        logger.error(exc)
+        raise
+
+    if not doc.summary().strip():
+        raise Exception("No content for some reason...")
+
+    if bodywidth is not None:
+        handle = html2text.HTML2Text(bodywidth=bodywidth)
+    else:
+        handle = html2text.HTML2Text()
+
+    handle.ignore_links = ignore_links
+
+    try:
+        res = handle.handle(doc.summary())
+    except Exception as exc:
+        logger.error(exc)
+        raise
+
+    # remove double blank lines
+    if remove:
+        res = "\n".join(elm for elm in res.splitlines() if elm.strip())
+
+    if not res.strip():  # warn if empty output
+        logger.warning("Output seems to be empty...")
+
+    if show_url:
+        return f"{url}\n# {doc.title()}\n{res}"
+
+    return f"# {doc.title()}\n{res}"

mlbee/utils.py

@@ -0,0 +1,321 @@
+"""Prep front cover for sidebar (based on st-bumblebee-st_app.py)."""
+import base64
+from io import BytesIO
+from textwrap import dedent
+
+import logzero
+import pandas as pd
+import streamlit as st
+from logzero import logger
+from set_loglevel import set_loglevel
+
+from mlbee import __version__
+
+logzero.loglevel(set_loglevel())
+
+msg = dedent(
+    """
+    What would you like to do?
+    The following alignment engines are available.
+
+    **UFast-Engine**: ultra-fast, based on a home-brewed algorithm, faster than blazing fast but can only process en-zh para/sent pairs, not as sophisticated as DL-Engine;
+
+    **SFast-Engine**: super-fast, based on machine translation;
+
+    **Fast-Engine**: based on yet another home-brewed algorithm, blazing fast but can only process en-zh para/sent pairs;
+
+    **DL-Engin**: based on machine learning, multilingual, one para/sent takes about 1s.
+    """
+).strip()
+msg = dedent(
+    """
+   a multilingual (about 100 luanguage pairs) dualtext
+    aligner based on machine learning
+
+    It takes about 1-2 s to process a pair of blocks (be it
+    sents, paras of docus).
+    Extremely long blocks will likely have a negative impact
+    on aligning.
+    """
+).strip()
+
+
+def sb_front_cover():
+    """Prep front cover for sidebar."""
+    st.sidebar.markdown(f"### mlbee {__version__} ")
+
+    _ = "More info (click to toggle)"
+    sb_tit_expander = st.sidebar.expander(_, expanded=False)
+    with sb_tit_expander:
+        st.markdown(msg)
+
+
+intructins = dedent(
+    f"""
+    *   Set up options in the left sidebar
+
+    *   Click expanders / +: to reveal more details; -: to hide them
+
+    *   Press '**Click to start aligning**' to get
+    the ball rolling. (The button will appear when
+    everything is ready.)
+
+    *   mlbee v.{__version__} from mu@qq41947782's
+    keyboard in cyberspace. Join **qq group 316287378**
+    for feedback and questions or to be kept updated.
+    mlbee is a member of the bee family.
+    """
+).strip()
+
+
+def instructions():
+    """Prep msg."""
+    logger.debug("instructions entry")
+    back_cover_expander = st.expander("Instructions")
+    with back_cover_expander:
+        st.markdown(intructins)
+
+    logger.debug("instructions exit")
+
+
+about_msg = dedent(
+    f"""
+    # mlbee {__version__}
+
+    https://bumblebee.freeforums.net/thread/6/mlbee
+    or head to 桃花元 （qq group 316287378）
+    """
+).strip()
+
+menu_items = {
+    "Get Help": "https://bumblebee.freeforums.net/thread/6/mlbee",
+    "Report a bug": "https://github.com/ffreemt/mlbee/issues",
+    "About": about_msg,
+}
+
+style_css = """
+.row-widget.stTextInput > div:first-of-type {
+    background: #fff;
+    display: flex;
+    border: 1px solid #dfe1e5;
+    box-shadow: none;
+    border-radius: 24px;
+    height: 50px;
+    width: auto;
+    margin: 10px auto 30px;
+}
+
+.row-widget.stTextInput > div:first-of-type:hover,
+.row-widget.stTextInput > div:first-of-type:focus {
+    box-shadow: 1px 1px 2px 1px rgba(0, 0, 0, 0.2);
+}
+
+.row-widget.stTextInput .st-bq {
+    background-color: #fff;
+}
+
+.row-widget.stTextInput > label {
+    color: #b3b3b3;
+}
+
+.row-widget.stButton > button {
+    border-radius: 24px;
+    background-color: #B6C9B1;
+    color: #fff;
+    border: none;
+    padding: 6px 20px;
+    float: right;
+    background-image: none;
+}
+
+.row-widget.stButton > button:hover {
+    box-shadow: 1px 1px 2px 1px rgba(0, 0, 0, 0.2);
+}
+
+.row-widget.stButton > button:focus {
+    border: none;
+    color: #fff;
+}
+
+.footer-custom {
+    position: fixed;
+    bottom: 0;
+    width: 100%;
+    color: var(--text-color);
+    max-width: 698px;
+    font-size: 14px;
+    height: 50px;
+    padding: 10px 0;
+    z-index: 50;
+}
+
+.main {
+    padding: 20px;
+}
+
+footer {
+    display: none !important;
+}
+
+.footer-custom a {
+    color: var(--text-color);
+}
+
+#wikipedia-assistant {
+    font-size: 36px;
+}
+
+.generated-answer p {
+    font-size: 16px;
+    font-weight: bold;
+}
+
+.react-json-view {
+    margin: 40px 0 80px;
+}
+
+.tooltip {
+    text-align: center;
+    line-height: 20px;
+    display: table-caption;
+    font-size: 10px;
+    border-radius: 50%;
+    height: 20px;
+    width: 20px;
+    position: relative;
+    cursor: pointer;
+    color:#000;
+}
+
+.tooltip .tooltiptext {
+    visibility: hidden;
+    width: 280px;
+    text-align: center;
+    border-radius: 6px;
+    padding: 10px;
+    position: absolute;
+    z-index: 1;
+    top: 25px;
+    left: 50%;
+    margin-left: -140px;
+    font-size: 14px;
+    background-color: #fff;
+    border: 1px solid #ccc;
+    box-shadow: 0px 0px 3px 1px rgba(0, 0, 0, 0.16);
+    color: #000;
+}
+
+.tooltip:hover .tooltiptext {
+    visibility: visible;
+}
+
+.sentence-wrapper {
+    border-left: 4px solid #ffc423;
+    padding-left: 20px;
+    margin-bottom: 40px;
+}
+
+#context {
+    padding: 2rem 0 1rem;
+}
+
+hr {
+    margin: 2em 0 1em;
+}
+
+.technical-details-info {
+    margin-bottom: 100px;
+}
+
+.loader-wrapper {
+    display: flex;
+    align-items: center;
+    background-color: rgba(250, 202, 43, 0.2);
+    padding: 15px 20px;
+    border-radius: 6px;
+}
+
+.loader-wrapper p {
+    margin-bottom: 0;
+    margin-left: 20px;
+}
+
+.loader {
+    width: 30px;
+    height: 30px;
+    border: dotted 5px #868686;
+    border-radius: 100%;
+    animation: spin 1s linear infinite;
+}
+
+.loader-note {
+    font-size: 14px;
+    color: #b3b3b3;
+    margin-left: 5px;
+}
+
+@keyframes spin {
+  0% {
+    transform: rotate(0deg) scale(0.8);
+    border-top-color: transparent;
+    border-right-color: transparent;
+  }
+  50% { transform: rotate(180deg) scale(1.2);
+    border-color: #949494;
+    border-top-color: transparent;
+    border-right-color: transparent;
+  }
+  100% { transform: rotate(360deg) scale(0.8);
+    border-color: #bbbbbb;
+    border-top-color: transparent;
+    border-right-color: transparent;
+  }
+}
+"""
+
+
+def to_excel(df):
+    """Convert df to excel.
+
+    ref. st-bumblebee st_app.py
+    """
+    output = BytesIO()
+    writer = pd.ExcelWriter(output, engine="xlsxwriter")
+    df.to_excel(writer, sheet_name="Sheet1")
+    writer.save()
+    processed_data = output.getvalue()
+    return processed_data
+
+
+def get_table_download_link(df):
+    """Generates a link.
+
+    Allowing the data in a given panda dataframe
+    to be downloaded.
+
+    Args:
+        df: pandas.dataframe
+
+    Returns:
+        href string
+    """
+    val = to_excel(df)
+    b64 = base64.b64encode(val)  # val looks like b'...'
+    return f'<a href="data:application/octet-stream;base64,{b64.decode()}" download="aligned_paras.xlsx">Download aligned paras xlsx file</a>'  # decode b'abc' => abc
+
+
+def get_table_download_link_sents(df):
+    """Generates a link.
+
+    Allowing the data in a given panda dataframe to be
+    downloaded for sents aligned.
+
+    Args:
+        df: pandas.dataframe
+
+    Returns:
+        href string
+    """
+    val = to_excel(df)
+    b64 = base64.b64encode(val)  # val looks like b'...'
+    return f'<a href="data:application/octet-stream;base64,{b64.decode()}" download="aligned_sents.xlsx">Download aligned sents xlsx file</a>'  # decode b'abc' => abc  # noqa

okteto.yml

@@ -0,0 +1,44 @@
+name: gradio-cmat
+
+# The build section defines how to build the images of
+# your development environment
+# More info: https://www.okteto.com/docs/reference/manifest/#build
+# build:
+#   my-service:
+#     context: .
+
+# The deploy section defines how to deploy your development environment
+# More info: https://www.okteto.com/docs/reference/manifest/#deploy
+# deploy:
+  # commands:
+    # - name: Deploy
+      # command: echo 'Replace this line with the proper 'helm'
+
+#  or 'kubectl' commands to deploy your development environment'
+
+# The dependencies section defines other git repositories to be
+# deployed as part of your development environment
+# More info: https://www.okteto.com/docs/reference/manifest/#dependencies
+# dependencies:
+#   - https://github.com/okteto/sample
+# The dev section defines how to activate a development container
+# More info: https://www.okteto.com/docs/reference/manifest/#dev
+dev:
+  gradio-cmat:
+    # image: okteto/dev:latest
+    # image: python:3.8.13-bullseye
+    # image: simbachain/poetry-3.8
+    image: python:3.8
+    command: bash
+    workdir: /usr/src/app
+    sync:
+      - .:/usr/src/app
+    environment:
+      - name=$USER
+    forward:
+      - 7861:7861
+      - 7860:7860
+      - 8501:8501
+    reverse:
+      - 9000:9000
+    autocreate: true

pyproject.toml

@@ -1,6 +1,6 @@
 [tool.poetry]
 name = "mlbee"
-version = "0.1.0-alpha.0"
+version = "0.1.0-alpha.1"
 description = "mlbee"
 authors = ["ffreemt"]
 license = "MIT"
@@ -13,6 +13,19 @@ logzero = "^1.7.0"
 set-loglevel = "^0.1.2"
 icecream = "^2.1.1"
 install = "^1.3.5"
+model-pool = "^0.1.3"
+tqdm = "^4.64.0"
+about-time = "^3.1.1"
+more-itertools = "^8.13.0"
+cmat2aset = "^0.1.0-alpha.7"
+aset2pairs = "^0.1.0"
+pendulum = "^2.1.2"
+streamlit = "^1.10.0"
+loguru = "^0.6.0"
+streamlit-option-menu = "^0.3.2"
+httpx = "^0.23.0"
+html2text = "^2020.1.16"
+readability-lxml = "^0.8.1"
 
 [tool.poe.executor]
 type = "poetry"

requirements.txt

@@ -0,0 +1,50 @@
+about-time==3.1.1
+alive-progress==2.4.1; python_version >= "3.7" and python_version < "4" and python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+aset2pairs==0.1.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0"
+asttokens==2.0.5; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version < "4.0"
+certifi==2022.5.18.1; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.6"
+charset-normalizer==2.0.12; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3"
+click==8.1.3; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+cmat2aset==0.1.0a7; python_full_version >= "3.8.3" and python_version < "4.0"
+colorama==0.4.4; python_full_version >= "3.8.3" and sys_platform == "win32" and platform_system == "Windows" and python_full_version < "4.0.0" and python_version < "4.0" and python_version >= "3.7"
+environs==9.5.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.6"
+executing==0.8.3; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version < "4.0"
+filelock==3.7.1; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+grapheme==0.6.0; python_version >= "3.7" and python_version < "4" and python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+huggingface-hub==0.4.0; python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+icecream==2.1.2
+idna==3.3; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.5"
+install==1.3.5; python_version >= "3.5"
+joblib==1.1.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.8" and python_version < "4.0"
+logzero==1.7.0
+marshmallow==3.16.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.7"
+model-pool==0.1.3; python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+more-itertools==8.13.0; python_version >= "3.5"
+nltk==3.7; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+numpy==1.22.4
+packaging==21.3; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.7"
+pandas==1.4.2; python_full_version >= "3.8.3" and python_version < "4.0" and python_version >= "3.8"
+pillow==9.1.1; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+pygments==2.12.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version < "4.0" and python_version >= "3.6"
+pyparsing==3.0.9; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.7"
+python-dateutil==2.8.2; python_full_version >= "3.8.3" and python_version < "4.0" and python_version >= "3.8"
+python-dotenv==0.20.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.6"
+pytz==2022.1; python_full_version >= "3.8.3" and python_version < "4.0" and python_version >= "3.8"
+pyyaml==6.0; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.6"
+regex==2022.6.2; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+requests==2.27.1; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+scikit-learn==1.1.1; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.8" and python_version < "4.0"
+scipy==1.6.1; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.8" and python_version < "4.0"
+sentence-transformers==2.2.0; python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+sentencepiece==0.1.96; python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+set-loglevel==0.1.2; python_full_version >= "3.8.3" and python_full_version < "4.0.0"
+six==1.16.0; python_full_version >= "3.8.3" and python_version < "4.0" and python_version >= "3.8"
+sklearn==0.0; python_full_version >= "3.8.3" and python_version < "4.0"
+threadpoolctl==3.1.0; python_full_version >= "3.8.3" and python_full_version < "4.0.0" and python_version >= "3.8" and python_version < "4.0"
+tokenizers==0.12.1; python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+torch==1.11.0; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+torchvision==0.12.0; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+tqdm==4.64.0; (python_version >= "2.7" and python_full_version < "3.0.0") or (python_full_version >= "3.4.0")
+transformers==4.19.2; python_full_version >= "3.7.9" and python_full_version < "4.0.0"
+typing-extensions==4.2.0; python_full_version >= "3.7.9" and python_full_version < "4.0.0" and python_version >= "3.7"
+urllib3==1.26.9; python_full_version >= "3.7.9" and python_version < "4" and python_full_version < "4.0.0"

run-flake8.sh

@@ -0,0 +1 @@
+flake8 --ignore F401,F841,E501 app_mlbee.py mlbee

run-nodemon-streamlit-run-app_mlbee.sh

@@ -0,0 +1 @@
+nodemon -w app_mlbee.py -x python -m streamlit run app_mlbee.py

tests/test_gen_cmat_aset2pairs.py

@@ -0,0 +1,57 @@
+"""Test gen_cmat.
+
+king
+In [21]: len(de)
+Out[21]: 51
+
+In [22]: len(en)
+Out[22]: 51
+
+In [23]: len(" ".join(en))
+Out[23]: 11208
+
+In [24]: len(" ".join(de))
+Out[24]: 13532
+
+In [25]: %time en_vec = model_s.encode(en)
+CPU times: user 22 s, sys: 436 ms, total: 22.4 s
+Wall time: 22.4 s
+
+In [26]: %time de_vec = model_s.encode(de)
+CPU times: user 22.8 s, sys: 311 ms, total: 23.1 s
+Wall time: 23.1 s
+
+en1 = loadparas("data/sternstunden04-en.txt")
+en2 = loadparas("data/sternstunden04-de.txt")
+
+len(en1)  # 30
+
+len(" ".join(en1))  # 29718
+len(" ".join(en2))  # 31478
+"""
+from cmat2aset import cmat2aset
+from aset2pairs import aset2pairs
+from mlbee.gen_cmat import gen_cmat
+from mlbee.loadtext import loadparas
+
+paras1 = loadparas("data/sternstunden04-en.txt")
+paras2 = loadparas("data/sternstunden04-de.txt")
+cmat = gen_cmat(paras1, paras2)
+
+
+def test_gen_cmat_sternstunden04():
+    """Test gen_cmat sternstunden04."""
+    len1, len2 = len(paras1), len(paras2)
+
+    # note the order
+    assert cmat.shape == (len2, len1)
+
+
+def test_aset2pairs():
+    """Test aset2pairs."""
+    aset = cmat2aset(cmat)
+    pairs = aset2pairs(paras1, paras2, aset)
+
+    assert "Marseillaise" in pairs[2][0]
+    assert "Marseillaise" in pairs[2][1]
+    assert pairs[2][2] > 0.95

tests/test_time.py-

@@ -0,0 +1,37 @@
+"""
+king
+In [21]: len(de)
+Out[21]: 51
+
+In [22]: len(en)
+Out[22]: 51
+
+In [23]: len(" ".join(en))
+Out[23]: 11208
+
+In [24]: len(" ".join(de))
+Out[24]: 13532
+
+In [25]: %time en_vec = model_s.encode(en)
+CPU times: user 22 s, sys: 436 ms, total: 22.4 s
+Wall time: 22.4 s
+
+In [26]: %time de_vec = model_s.encode(de)
+CPU times: user 22.8 s, sys: 311 ms, total: 23.1 s
+Wall time: 23.1 s  .5s/para
+# .43-.45/paras
+
+en1 = loadparas("data/sternstunden04-en.txt")
+en2 = loadparas("data/sternstunden04-de.txt")
+
+len(en1)  # 30
+
+len(" ".join(en1))  # 29718  990.6/para
+	len(" ".join(en1).split())  # 29718  990.6/para
+len(" ".join(en2))  # 5148 words 171.6words/para
+len(" ".join(en1))  # 29718 word.36words/para
+
+%time en_vec1 = model_s.encode(en1)  # 19 s  .66s/para
+%time en_vec2 = model_s.encode(en2)  # 0.56/para
+%time en_vec12 = model_s.encode(en1 + en2)  # 38/60 .63s/paras
+"""