%%% Artikelklasse mit
%%% * Grundschriftgre 11 Punkt,
%%% * klassischem Satzspiegel,
%%% * flachem Inhaltsverzeichnis.
\documentclass[11pt,DIV9,tocleft]{scrartcl}
%%% Eingabekodierung ist ISO-8859-15.
\usepackage[ansinew]{inputenc}
%%% Schrifteinstellung.
%%% * Grundschrift Palatino,
%%% * Akzidenzschrift Bera Sans,
%%% * Schreibmaschinenschrift Luxi Mono.
\usepackage[T1]{fontenc}
\usepackage[osf]{mathpazo}
\usepackage[scaled]{berasans}
\renewcommand*{\ttdefault}{lmtt}
\usepackage{textcomp}
\linespread{1.05}
\usepackage[expansion=true, letterspace=80]{microtype}
%%% Lade einige Pakete.
\usepackage{multicol}
\usepackage{tabularx}
\usepackage{booktabs}
\newcolumntype{L}{>{\raggedright\arraybackslash}X}
\usepackage{soul}
\setul{}{.2ex}
\usepackage{listings}
\lstloadlanguages{[LaTeX]TeX, sh}
\lstset{basicstyle=\ttfamily, keywordstyle={}, commentstyle={},
  columns=flexible, showspaces=false, showstringspaces=false,
%  aboveskip=12pt, belowskip=12pt, frame=tb,
%  framesep=8pt, framerule=2pt,
  xleftmargin=6pt, xrightmargin=6pt,
% framexleftmargin=6pt, framexrightmargin=6pt
}
\lstdefinestyle{LaTeX}{language=[LaTeX]TeX, basicstyle=\ttfamily,
  keywordstyle={}, commentstyle={\itshape}}
\lstdefinestyle{shell}{language=sh, basicstyle=\ttfamily,
  keywordstyle={}, commentstyle={\itshape}}
\newcolumntype{L}{>{\raggedright\arraybackslash}X}
%%% Bette Quellkode in PDF-Ausgabe ein.
\usepackage{embedfile}
\embedfile[%
mimetype=plain/text,%
desc={LaTeX-Quelltext der Datei \jobname.pdf}%
]{\jobname.tex}
\embedfile[%
mimetype=plain/text,%
desc={BibTeX-Quelltext der Datei \jobname.pdf}%
]{\jobname.bib}
%%% Literaturverweise in runden Klammern mit Semikolon als Trenner.
% \usepackage[round,semicolon]{natbib}
% \renewcommand*{\bibnumfmt}[1]{(#1)}
%%% Literaturverzeichnis mit Sprachuntersttzung.
\usepackage[fixlanguage]{babelbib}
\bibliographystyle{babalpha}
%%% Babelbib fordert trotz fixlanguage zuviele Sprachen an.
\usepackage[english, german, ngerman]{babel}
%%% Einstellungen fr interaktive PDF-Dokumente.
\usepackage[rgb,x11names]{xcolor}
\usepackage{hyperref}
\hypersetup{
  pdftitle={Freie Wortlisten und Trennmuster fr die deutsche Sprache},
  pdfauthor={Die deutschsprachige Trennmustermannschaft}
}
\hypersetup{
  ngerman,% For \autoref.
  pdfstartview={XYZ null null null},% Zoom factor is determined by viewer.
  colorlinks,
  linkcolor=RoyalBlue3,
  urlcolor=Chocolate4,
  citecolor=DeepPink2
}
%%% Schriftfestlegungen.
\setkomafont{title}{\normalcolor\normalfont}
\setkomafont{sectioning}{\normalcolor\normalfont}
\setkomafont{section}{\Large}
\setkomafont{subsection}{\Large\itshape}
%%% Einige Makros fr logische Auszeichnungen definieren.
\newcommand*{\Abk}[1]{\mbox{\textsc{\lsstyle#1}}}
\newcommand*{\Programm}[1]{\textsc{\lsstyle#1}}
\newcommand*{\Datei}[1]{\texttt{#1}}
%%% Randnotiz am linken Rand.
\newcommand{\lrand}[1]{%
  \mbox{}%
  \marginpar{%
    \hspace*{-2\marginparsep}%
    \hspace*{-\textwidth}%
    \hspace*{-\marginparwidth}%
    \parbox[t]{\marginparwidth}{%
      \raggedright%
      \small%
      \sffamily%
      \bfseries%
      #1%
    }%
  }%
  \ignorespaces%
}
%%% Satzspiegel erneut berechnen.
\typearea{last}
%%% Trennausnahmen definieren.
\hyphenation{
Back-end
}

\begin{document}
%%% Dokumenttitel.
\author{Die deutschsprachige Trennmustermannschaft}
\title{Freie Wortlisten und Trennmuster\linebreak[1] fr die deutsche Sprache}
\subtitle{\bigskip Eine kurze Projektbeschreibung}
\maketitle
%%% Zweispaltiges Inhaltsverzeichnis.
\begin{multicols}{2}
\tableofcontents
\end{multicols}



\section{Ziele}
\label{sec:ziele}
Dieses Projekt beabsichtigt, hochqualitative Wortlisten,
Trennmuster~\cite{liang:1983} und Ausnahmelisten fr die deutsche
Sprache zu schaffen, die auch sterreichische und
(deutsch)schweizerische Besonderheiten abdecken.  Grundlage sind die
verbindlichen Regeln des Dudens in der Fassung von
1991~\cite{duden:1991} und die amtlichen Regeln fr die Rechtschreibung
der deutschen Sprache in der Fassung von 2006~\cite{amtlRegeln:2006,
  amtlRegeln:2006:duden}.  Teil des Projekts ist eine Infrastruktur, die
die Kontrolle der Listen in verteilter Arbeit ermglicht.  Wortlisten,
Trennmuster und Ausnahmelisten sollen unter freien Lizenzen jedermann
zugnglich gemacht werden.



\section{Wer wir sind}
\label{sec:wer}
Ansto fr dieses Projekt war eine Reihe von Artikeln in der
\emph{\TeX{}nischen Komdie}%
\footnote{Vereinsschrift der \emph{Deutschsprachigen Anwendervereinigung
    \TeX} (\textls{DANTE}~e.\,V.), \url{http://www.dante.de/}}%
%
, die sich mit den herkmmlichen Trennmustern fr die deutsche Sprache
auseinandersetzen~\cite{lemberg:2003, lemberg:2005, hennig:2008}.

Die deutschsprachige Trennmustermannschaft ist eine offene Gruppe und
setzt sich zur Zeit aus Mitgliedern des \textls{DANTE}~e.\,V. sowie
Anwendern der Programme \TeX\ und \Programm{OpenOffice}%
\footnote{\url{http://de.openoffice.org/}}
%
zusammen.  Die Kommunikation luft derzeit ber die Gruppe
\Programm{Trennmuster-Opensource} bei \Programm{Google}%
\footnote{\url{http://groups.google.de/group/trennmuster-opensource?hl=de}}%
%
, das Projekt soll jedoch bei einem anderen Internetdienst zur
Verwaltung von Softwareprojekten angemeldet werden.  Ersatzweise kann
fr die Diskussion auch die Newsgruppe \Datei{de.comp.text.tex} genutzt
werden.

Wir bentigen dringend weitere Mithilfe.  Informationen dazu knnen der
Dokumentation des \TeX-Pakets \texttt{dehyph-exptl} oder der folgenden
Aufgabenliste entnommen werden.  Bei Interesse oder mit Fragen wenden
Sie sich bitte an die Projektliste.


\section{Aufgabenliste}
\label{sec:aufgabenliste}
Dieser Abschnitt enthlt eine Zusammenstellung von anstehenden Aufgaben.
Die Liste ist weder sortiert noch vollstndig.  Die meisten Punkte
bestehen nur als Idee und werden zur Zeit nicht aktiv bearbeitet.

\subsection{Wortlisten}
\begin{itemize}\raggedright

\item Spezifikation und Implementierung der Datenbankanbindung
  (Wortliste~v2.0, Backend)

\item Spezifikation und Gestaltung der \Abk{html}-Maske zur verteilten
  Kontrolle der Wortliste (Frontend)

\item systematische Erweiterung der Hauptwortliste:
  \begin{itemize}
  \item um Wrter aus einer nach Hufigkeiten sortierten Liste (Quellen
    sind vorhanden, siehe \autoref{sec:ressourcen}),
  \item um Wrter aus gelufigen Sprachbereichen (Quellen werden
    bentigt):
    \begin{multicols}{2}\raggedcolumns
      \begin{itemize}
      \item Kche und Haushalt,
      \item Flora und Fauna,
      \item Handwerk, Politik, Sport,
      \item (alte) Literatur: Mrchen, Liedtexte,
      \item deutsche Vor- und Nachnamen,
      \item Stdte- und Flussnamen,
      \item \st{Zahlwrter und rmische Zahlen},
      \item \ldots
      \end{itemize}
    \end{multicols}
  \end{itemize}

\item Erstellen von Wortlisten fr fachspezifische Trennmuster (Quellen
  werden bentigt):
  \begin{multicols}{2}\raggedcolumns
    \begin{itemize}
    \item Naturwissenschaft und Technik,
    \item Sprachwissenschaften,
    \item Geschichte und Religion,
    \item Medizin,
    \item Jura,
    \item Kunst,
    \item \ldots
    \end{itemize}
  \end{multicols}

\item Gewichtung der Trennstellen

\item Markierung von Nottrennungen

\item Behandlung von falschen Ligaturen

\item Unterscheidung von Lang- und Rund-s fr den Satz mit gebrochenen
  Schriften

\item verteilte Kontrolle von Rechtschreibung und Trennung des
  Wortbestands

\end{itemize}

\subsection{Trennmuster}
\begin{itemize}\raggedright

\item Knnen Strukturen der deutschen Sprache durch Startmuster in
  \Programm{Patgen} bercksichtigt werden, zum Beispiel hufige Vor- und
  Nachsilben wie \emph{auf-}, \emph{aus-}, \emph{ver-}, \emph{-keit},
  \emph{-lich}, \emph{-lein}, etc.?

\end{itemize}

\subsection{\TeX}
\begin{description}\raggedright

\item[Sprachanbindung] Die Trennmuster fr Schweizer Standarddeutsch
  (traditionelle Rechtschreibung) bentigen eine Sprachanbindung fr
  \texttt{Babel} und \texttt{Polyglossia}.

\item[Versionierung der Trennmuster] In Dokumenten muss trotz
  weiterentwickelter Trennmuster langfristig umbruchtreuer Textsatz
  garantiert werden knnen.  Daher bentigt \TeX{}s
  Sprachenschnittstelle (Pakete \texttt{Babel} bzw.
  \texttt{Polyglossia}) einen Versionsmechanismus fr die
  Trennmusteraktivierung.  $\Rightarrow$ Paket \texttt{hyphsubst}

\item[mehrere Trennmuster laden] Fr einzelne Dokumente ist es
  wnschenswert, fachspezifische Trennmuster verwenden zu knnen.
  Allerdings knnen Trennmuster nur whrend der Formaterstellung geladen
  werden.  Einmal eingebundene Trennmuster sind somit immer im Format
  vorhanden.  Es wre sinnvoll, Trennmuster auch dynamisch whrend der
  Ausfhrung laden zu knnen.  Wie wird mit kollidierenden Mustern
  umgegangen?  $\Rightarrow$ Lua\TeX

\item[Trennstellengewichte] Trennstellen sollen gewichtet werden knnen
  (z.\,B. Haupt-, Neben-, Nottrennungen).

\item[Verallgemeinerung des Trennalgorithmus] Derzeit bentigen
  \TeX-Quelltexte in deutscher Sprache verschiedene Auszeichnungen:

  \begin{tabularx}{\linewidth}{lL}
    \lstinline[style=LaTeX]+\\/ \"|+ & zur Korrektur falscher Ligaturen
    (\lstinline[style=LaTeX]+Auf\"|lage+) \\
    \lstinline[style=LaTeX]+s:+ \emph{u.\,a.} & zur Unterscheidung von
    langem und rundem~\emph{s} in gebrochenen Schriften
    (\lstinline[style=LaTeX]+aus:setzen+) \\
    \lstinline[style=LaTeX]+\"ck+ & fr die richtige Trennung von
    \emph{ck} in der traditionellen Rechtschreibung
    (\lstinline[style=LaTeX]+dru\"cken+) \\
    \lstinline[style=LaTeX]+\"ff \"ll+ \emph{u.\,a.} & fr die richtige
    Trennung von Dreifachkonsonanten mit folgendem Vokal in der
    traditionellen Rechtschreibung
    (\lstinline[style=LaTeX]+Meta\"llegierung+) \\
  \end{tabularx}

  Fr die Dokumentenerstellung mit \TeX\ ergeben sich dadurch die
  folgenden Nachteile:
  \begin{enumerate}
  \item Alle genannten Eingriffe beeinflussen die Worttrennung in den
    brigen Wortteilen.
  \item Das Anbringen der Auszeichnung von Hand erfordert zustzlichen
    Aufwand und ist fehleranfllig.
  \item Physische Auszeichnung erschwert den Wechsel zwischen
    gebrochener und runder Schrift.
  \item Physische Auszeichnung erschwert den Wechsel zwischen
    traditioneller und reformierter Rechtschreibung.
  \end{enumerate}
  Idealerweise sollte ein Quelltext mglichst wenige physische
  Auszeichnungen enthalten.

  Es handelt sich hier um ein Mustererkennungsproblem hnlich der
  Worttrennung.  Denkbar ist eine Verallgemeinerung des
  Silbentrennalgorithmus, mit der diese Flle ohne Eingriffe im
  Quelltext erkannt und richtig behandelt werden knnen: Mit
  entsprechenden zustzlichen Mustern werden whrend des Absatzumbruchs
  \emph{verschiedene} Tries durchsucht und die notwendigen Ersetzungen
  vorgenommen. $\Rightarrow$ Vorschlag fr Lua\TeX-Entwickler
  ausarbeiten

\end{description}

\subsection{Sonstige}
\begin{itemize}\raggedright

\item Umzug auf einen anderen Host (BerliOS, Sourceforge o.\,.)

\item Reservierung einer eigenen Domain

\end{itemize}



\section{Zeitplan}
\label{sec:zeitplan}
Kurzfristig steht die Verbesserung der in \TeX\ und
\Programm{OpenOffice} verwendeten Trennmuster im Vordergrund.

Die Pflege der Wortlisten und Trennmuster ist jedoch ein
Langzeitprojekt.  Die verwendeten Werkzeuge und Listen sind daher gut zu
dokumentieren.



\section{Ressourcen}
\label{sec:ressourcen}
\subsection{Auf welche Wortlisten knnen wir zurckgreifen?}

\lrand{\medskip Lembergs Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace
  Urheber & Werner Lemberg\\
  Rechte & (\Abk{gpl} angestrebt)\\
  Wortformen & 430\,000\\
  Sortierkriterium & alphabetisch\\
  Rechtschreibung & gut\\
  Bemerkung & manuell gepflegt\\
  Zugriff & \Programm{git}-Repositorium:\newline
    \verb+$git clone git://repo.or.cz/wortliste.git+\\
  Stand & 15.\,6.\,2009\\
  \addlinespace\bottomrule
\end{tabularx}

\bigskip\bigskip
\noindent\lrand{\medskip Leipziger Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace Urheber & Liste des Wortschatzprojekts der Universitt Leipzig%
  \footnote{\url{http://wortschatz.uni-leipzig.de/}}\\
  Rechte & \Abk{gpl}\\
  Wortformen & 2\,000\,000\\
  Sortierkriterium & Hufigkeit\\
  Rechtschreibung & mangelhaft\\
  Bemerkung & automatische Internetsuche (Datenbanken, Zeitungsarchive usw.)\\
  Zugriff & \ldots\\
  Stand & 28.\,3.\,2008\\
  \addlinespace\bottomrule
\end{tabularx}

\bigskip\bigskip
\noindent\lrand{\medskip Mannheimer Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace
  Urheber & Korpus des Instituts fr Deutsche Sprache (\Abk{ids})%
  \footnote{\url{http://www.ids-mannheim.de/kl/}}\\
  Rechte & ">Darf in ihrer Gesamtheit -- wie vereinbart -- nicht verffentlicht oder an Dritte weitergegeben werden."< Abgeleitete Werke knnen nach unserer Wahl behandelt werden.\\
  Wortformen & 4\,000\,000\\
  Sortierkriterium & Hufigkeitsklassen\\
  Rechtschreibung & mittel\\
  Zugriff & nicht ffentlich\\
  Stand & 9.\,10.\,2007\\
  \addlinespace\bottomrule
\end{tabularx}


\subsection{Welche Listen haben wir in Aussicht?}

\lrand{\medskip Berliner Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace
  Urheber & Kernkorpus des Projekts Digitales Wrterbuch der Deutschen Sprache (\Abk{dwds})%
  \footnote{\url{http://www.dwdscorpus.de/}}\\
  Rechte & \ldots\\
  Wortformen & 2\,000\,000\\
  Sortierkriterium & \ldots\\
  Rechtschreibung & \ldots\\
  Bemerkung & reprsentativer Wortschatz der deutschen Sprache\\
  Zugriff & derzeit nicht\\
  Stand & Juni 2009\\
  \addlinespace\bottomrule
\end{tabularx}



\section{Bisherige Ergebnisse}
\label{sec:ergebnisse}
\subsection{Trennmuster}
\begin{itemize}
\item Das \LaTeX-Paket \texttt{dehyph-exptl} enthlt die aktuellen
  experimentellen Trennmuster, die aus Werner Lembergs Liste generiert
  wurden.  Diese knnen zusammen mit den Paketen \texttt{Babel} und
  \texttt{hyphsubst} verwendet werden.  Das Paket \texttt{dehyph-exptl}
  ist im \Abk{ctan} verfgbar.%
  \footnote{Comprehensive \TeX\ Archive Network,
    \url{http://ctan.tug.org/}}

\item Die bisherigen Trennmusterdateien fr die traditionelle und
  reformierte Rechtschreibung, die Dateien \Datei{dehypht.tex} und
  \Datei{dehyphn.tex}, knnen im \Abk{ctan} bezogen werden.  Sie sind
  \emph{nicht} im Zuge dieses Projekts entstanden.

\item Die Ausnahmedatei \texttt{dehyphtex.tex} fr die traditionellen
  deutschen Trennmuster ist im \Abk{ctan} verfgbar.
\end{itemize}

\subsection{Wortlisten}
Die von Werner Lemberg erstellte und kontrollierte Liste steht im
ffentlich zugnglichen Entwicklerrepositorium.%
\footnote{\url{http://repo.or.cz/w/wortliste.git}}
%
Eine Kopie kann mit
\begin{lstlisting}[style=shell]
$git clone git://repo.or.cz/wortliste.git
\end{lstlisting}
bezogen werden.%
\footnote{\url{http://repo.or.cz/}}

Fr den Zugriff auf dieses Repositorium sollte \Programm{Git}~1.5.6.5
oder jnger verwendet werden.  ltere Versionen enthalten einen Fehler
im Netzwerkzugriff, der dazu fhrt, dass statt eines Satzes von
nderungen hufig die komplette Wortliste bertragen wird.

Auerdem sollte fr einen reibungslosen Betrieb nach dem Klonen dieses
Repositoriums die Konfigurationsvariable \verb+core.DeltaBaseCacheLimit+
vom Standardwert 16\,MB auf mindestens 64\,MB erhht werden.  Mit
lteren \Programm{Git}-Versionen knnen auch deutlich hhere Werte
sinnvoll sein.  Die Konfiguration kann beispielhaft so erfolgen:
\begin{lstlisting}[style=shell]
$git config core.DeltaBaseCacheLimit 64m
$git config --get core.DeltaBaseCacheLimit
\end{lstlisting}
Das letzte Kommando sollte nun den Wert \verb+64m+ zurckliefern.

Das Format der Datei \Datei{wortliste} ist in der Datei
\Datei{dateikopf} beschrieben.  Im Repositorium sind auch einige
Skripten zur Bearbeitung der Wortliste enthalten.  Aktualisiert wird die
Wortliste (das gesamte lokale Repositorium) mit
\begin{lstlisting}[style=shell]
$git pull
\end{lstlisting}

\subsection{\Abk{html}-Prfmaske}
Es existiert ein Entwurf fr eine interaktive Maske zur Kontrolle der
Rechtschreibung von Wortlisten und der Eingabe korrekter Trennungen.%
\footnote{\url{http://www.mnn.ch/opendehyph/index.php}}


\raggedright
\bibliography{projektbeschreibung}


\end{document}

%%% Local Variables: 
%%% mode: latex
%%% TeX-PDF-mode: t
%%% TeX-master: t
%%% coding: iso-8859-15
%%% End: