[Schmitzm-commits] r1796 - in trunk/schmitzm-adresses/src: main/java/de/schmitzm/adresses test/java/de/schmitzm/adresses
scm-commit@wald.intevation.org
scm-commit at wald.intevation.org
Sat Nov 26 21:29:10 CET 2011
Author: alfonx
Date: 2011-11-26 21:29:09 +0100 (Sat, 26 Nov 2011)
New Revision: 1796
Modified:
trunk/schmitzm-adresses/src/main/java/de/schmitzm/adresses/AddrStringUtil.java
trunk/schmitzm-adresses/src/test/java/de/schmitzm/adresses/AddrStringUtilTest.java
Log:
* Normierung von Ortsnamen, in AddrStringUtil und R
Modified: trunk/schmitzm-adresses/src/main/java/de/schmitzm/adresses/AddrStringUtil.java
===================================================================
--- trunk/schmitzm-adresses/src/main/java/de/schmitzm/adresses/AddrStringUtil.java 2011-11-24 11:19:04 UTC (rev 1795)
+++ trunk/schmitzm-adresses/src/main/java/de/schmitzm/adresses/AddrStringUtil.java 2011-11-26 20:29:09 UTC (rev 1796)
@@ -14,17 +14,22 @@
import de.schmitzm.lang.LangUtil;
/**
- * Diese Klasse bietete nützliche Methoden zur Bearbeitung von Addressschreibweisen. Zur Zeit werden nur Strings mit
- * Strasse [Hn] [Zusatz] behandelt.<br/>
- * Es werden Methoden zum Aufteilen (Splitten) von String angeboten, um Strasse +Hn + Zusatz in drei Strings zu
- * zerlegen. Weiterhin existieren Methoden um die Schreibweisen von Straßen, Hausnummern un Zusätzen zu normalisieren.
- * Diese normalisierten Strings können dann zum abgeleichen von Addressinformationen verwendet werden.<br/>
- * Ersetzungsregeln für die Normalisierung werden in drei Excel-Dateien verwaltet.<br/>
+ * Diese Klasse bietete nützliche Methoden zur Bearbeitung von
+ * Addressschreibweisen. Zur Zeit werden nur Strings mit Strasse [Hn] [Zusatz]
+ * behandelt.<br/>
+ * Es werden Methoden zum Aufteilen (Splitten) von String angeboten, um Strasse
+ * +Hn + Zusatz in drei Strings zu zerlegen. Weiterhin existieren Methoden um
+ * die Schreibweisen von Straßen, Hausnummern un Zusätzen zu normalisieren.
+ * Diese normalisierten Strings können dann zum abgeleichen von
+ * Addressinformationen verwendet werden.<br/>
+ * Ersetzungsregeln für die Normalisierung werden in drei Excel-Dateien
+ * verwaltet.<br/>
*/
public class AddrStringUtil {
static final private Logger log = Logger.getLogger(AddrStringUtil.class);
- final static Pattern REGEX_splitHnZusatz = Pattern.compile("(\\d+)\\s*(.*?)\\s*$");
+ final static Pattern REGEX_splitHnZusatz = Pattern
+ .compile("(\\d+)\\s*(.*?)\\s*$");
final static Pattern REGEX_splitFullString = Pattern
.compile("^(.*\\d+\\.+[^\\d]*|[^\\d,]+)"
+ "\\s*"
@@ -36,12 +41,14 @@
// final static Pattern REGEX_hnBereich = Pattern
// .compile("(\\d+)([^\\d]?)(\\s*)(-|bis)(\\s*)(\\w+).*");
- final static Pattern REGEX_hnListe = Pattern.compile("(\\d+)([^\\d]+)(\\d+).*");
+ final static Pattern REGEX_hnListe = Pattern
+ .compile("(\\d+)([^\\d]+)(\\d+).*");
final static Pattern REGEX_hnEinzeln = Pattern.compile("(\\d+)(.*)");
/**
- * Normalisiert die Schreibweise eines Straßennamens, z.B. "Dr.-Vogeler-Str." -> "drvogelerstrasse"
+ * Normalisiert die Schreibweise eines Straßennamens, z.B.
+ * "Dr.-Vogeler-Str." -> "drvogelerstrasse"
*
* @deprecated
*/
@@ -66,7 +73,8 @@
/**
* Applies the given "Rules"/ Transformations to the given String.
*/
- private static NormResult normalize(final List<NormRule> rules, final String string) {
+ private static NormResult normalize(final List<NormRule> rules,
+ final String string) {
if (string == null)
return new NormResult(null);
@@ -85,14 +93,16 @@
}
/**
- * Diese Methode teilt einen String, der Hausnummer und einen optionalen Zusatz enhält, in zwei Strings.
+ * Diese Methode teilt einen String, der Hausnummer und einen optionalen
+ * Zusatz enhält, in zwei Strings.
*
* @param origHn
- * darf <code>null</code> sein. Kann nur die HN oder HN+ZUSATZ enthalten.
+ * darf <code>null</code> sein. Kann nur die HN oder HN+ZUSATZ
+ * enthalten.
* @param origZusatz
* darf <code>null</code> sein.
- * @return Zwei Strings, zuerst ein String mit der Hausnummer (oder null), und als zweites ein String mit dem Zusatz
- * (oder null).
+ * @return Zwei Strings, zuerst ein String mit der Hausnummer (oder null),
+ * und als zweites ein String mit dem Zusatz (oder null).
*/
public static String[] splitHn(final String origHn, final String origZusatz) {
if (origHn == null)
@@ -129,14 +139,16 @@
}
/**
- * Diese Methode teilt einen String, der Strasse, Hausnummer und einen optionalen Zusatz enhält, in zwei Strings.
+ * Diese Methode teilt einen String, der Strasse, Hausnummer und einen
+ * optionalen Zusatz enhält, in zwei Strings.
*
* @param origStrasseFull
* darf null sein.
* @param origHn
* darf null sein.
* @param origZusatz2
- * @return Drei Strings, strasse, dann Hausnummer, und als drittes ein String mit dem Zusatz. ALle können null sein.
+ * @return Drei Strings, strasse, dann Hausnummer, und als drittes ein
+ * String mit dem Zusatz. ALle können null sein.
*/
public static String[] split(final String... stringStrHnZusatz) {
@@ -156,7 +168,8 @@
if (stringStrHnZusatz.length == 3)
origZusatz = stringStrHnZusatz[2];
- if (origStrasse == null || origStrasse.isEmpty() || !origStrasse.matches(".*[A-Za-z][A-Za-z]+.*")) {
+ if (origStrasse == null || origStrasse.isEmpty()
+ || !origStrasse.matches(".*[A-Za-z][A-Za-z]+.*")) {
final String[] splitHn = splitHn(origHn, origZusatz);
return new String[] { null, splitHn[0], splitHn[1] };
}
@@ -172,7 +185,8 @@
origZusatz = trimQuotes(origZusatz);
}
- String zusammen = origStrasse + " " + (origHn != null ? " " + origHn : "")
+ String zusammen = origStrasse + " "
+ + (origHn != null ? " " + origHn : "")
+ (origZusatz != null ? " " + origZusatz : "");
zusammen = trimQuotes(zusammen);
zusammen = removeKommataAfterStreetname(zusammen);
@@ -191,7 +205,8 @@
// + origStrasse + " " + origHn + " " + origZusatz);
// return new String[] { null, splitHn[0], splitHn[1] };
- Pattern p = Pattern.compile("([^\\d]*)\\s([\\d]+[^\\s]*|[\\d]+\\s+\\d+)$");
+ Pattern p = Pattern
+ .compile("([^\\d]*)\\s([\\d]+[^\\s]*|[\\d]+\\s+\\d+)$");
m = p.matcher(zusammen);
if (m.find()) {
strasse = m.group(1);
@@ -232,7 +247,8 @@
strasse = StringUtils.trimToNull(strasse);
if (strasse == null || strasse.length() < 3) {
- final Pattern p = Pattern.compile("(.+?)\\s([\\d]+[-]?[\\d]*)(.*)$");
+ final Pattern p = Pattern
+ .compile("(.+?)\\s([\\d]+[-]?[\\d]*)(.*)$");
m = p.matcher(zusammen);
if (m.find()) {
strasse = m.group(1);
@@ -255,10 +271,12 @@
}
if (warn)
- log.debug("Aus '" + origStrasse + "' wurde Strasse='" + strasse + "', HN='" + StringUtils.trimToNull(hn)
- + "', Zusatz='" + StringUtils.trimToNull(zusatz) + "', richtig?");
+ log.debug("Aus '" + origStrasse + "' wurde Strasse='" + strasse
+ + "', HN='" + StringUtils.trimToNull(hn) + "', Zusatz='"
+ + StringUtils.trimToNull(zusatz) + "', richtig?");
- return new String[] { strasse, StringUtils.trimToNull(hn), StringUtils.trimToNull(zusatz) };
+ return new String[] { strasse, StringUtils.trimToNull(hn),
+ StringUtils.trimToNull(zusatz) };
}
/**
@@ -274,11 +292,14 @@
* @return
*/
public static String removeKommataAfterStreetname(String zusammen) {
- return zusammen.replaceAll("([A-Za-z][A-Za-z]+)\\s?[,]\\s?(\\d+)", "$1 $2");
+ return zusammen.replaceAll("([A-Za-z][A-Za-z]+)\\s?[,]\\s?(\\d+)",
+ "$1 $2");
}
- private static String removeSpacesBetweenHiphenAndDotAndLetters(String zusammen) {
- zusammen = zusammen.replaceAll("([A-Za-z]+)\\s+([.-]*)\\s?([.-])+", "$1$2$3");
+ private static String removeSpacesBetweenHiphenAndDotAndLetters(
+ String zusammen) {
+ zusammen = zusammen.replaceAll("([A-Za-z]+)\\s+([.-]*)\\s?([.-])+",
+ "$1$2$3");
return zusammen;
}
@@ -303,23 +324,26 @@
}
// TODO sauberes rewrite unter besserer Ausnutzung von Rekursion
- public static TreeSet<String> getHausnummernInterpreted(final String hausnummern) {
- final TreeSet<String> result = new TreeSet<String>(new Comparator<String>() {
+ public static TreeSet<String> getHausnummernInterpreted(
+ final String hausnummern) {
+ final TreeSet<String> result = new TreeSet<String>(
+ new Comparator<String>() {
- @Override
- public int compare(String o1, String o2) {
- try {
- Integer i1 = Integer.parseInt(o1);
- Integer i2 = Integer.parseInt(o2);
- return i1.compareTo(i2);
- } catch (Exception e) {
- return o1.compareTo(o2);
- }
- }
- });
+ @Override
+ public int compare(String o1, String o2) {
+ try {
+ Integer i1 = Integer.parseInt(o1);
+ Integer i2 = Integer.parseInt(o2);
+ return i1.compareTo(i2);
+ } catch (Exception e) {
+ return o1.compareTo(o2);
+ }
+ }
+ });
if (hausnummern != null) {
- final Matcher m = Pattern.compile("(\\d)+\\s*([a-z]+)[,]([a-z]+)").matcher(hausnummern);
+ final Matcher m = Pattern.compile("(\\d)+\\s*([a-z]+)[,]([a-z]+)")
+ .matcher(hausnummern);
if (m.find()) {
result.addAll(getHausnummern(m.group(1) + m.group(2)));
result.addAll(getHausnummern(m.group(1) + m.group(3)));
@@ -348,7 +372,8 @@
if (m.find()) {
// 15a - f
- if (!m.group(2).isEmpty() && m.group(4).isEmpty() && !m.group(5).isEmpty()) {
+ if (!m.group(2).isEmpty() && m.group(4).isEmpty()
+ && !m.group(5).isEmpty()) {
for (char a = m.group(2).charAt(0); a <= m.group(5).charAt(0); a++) {
result.add(m.group(1) + a);
@@ -358,7 +383,8 @@
// TODO Hier stehen manchmal nicht nur zahlen drin!
/**
- * Stefan Tzeggai : Was soll das programm aus "9a - 11d" machen? "9a, 10, 11d" ?
+ * Stefan Tzeggai : Was soll das programm aus "9a - 11d" machen?
+ * "9a, 10, 11d" ?
*/
// Überprüfen, ob hinter der Zahl noch was steht...
@@ -367,9 +393,11 @@
final String maxNumStr = m.group(4);
// 12-15
- if (m.group(2).isEmpty() && !maxNumStr.isEmpty() && m.group(5).isEmpty()) {
+ if (m.group(2).isEmpty() && !maxNumStr.isEmpty()
+ && m.group(5).isEmpty()) {
// Keine Zusätze in dem Bereich...
- log.debug("Versuche Hausnummernbereich " + minNumStr + " bis " + maxNumStr + " aufzulösen...");
+ log.debug("Versuche Hausnummernbereich " + minNumStr + " bis "
+ + maxNumStr + " aufzulösen...");
final int min = Integer.parseInt(minNumStr);
final int max = Integer.parseInt(maxNumStr);
@@ -385,7 +413,8 @@
result.add(Integer.toString(i));
}
} else {
- log.debug("Hausnummernbereich " + minNumStr + m.group(2) + " bis " + maxNumStr + m.group(5)
+ log.debug("Hausnummernbereich " + minNumStr + m.group(2)
+ + " bis " + maxNumStr + m.group(5)
+ " kann noch nicht hochgezählt werden.");
if (!minNumStr.isEmpty())
result.add(minNumStr + m.group(2));
@@ -411,15 +440,17 @@
return result;
}
- log.error("Hausnummer raw '" + hausnummerUntested + "' nicht verstanden.");
+ log.error("Hausnummer raw '" + hausnummerUntested
+ + "' nicht verstanden.");
return result;
}
/**
- * Interpretiert eine GKZ, KKZ etc anhang Ihrer Länge und liefert ob es sich um einen KREIS oder ein BUNDESLAND
- * handelt
+ * Interpretiert eine GKZ, KKZ etc anhang Ihrer Länge und liefert ob es sich
+ * um einen KREIS oder ein BUNDESLAND handelt
*
- * @return <code>null</code> wenn <code>null</code> übergeben worde oder der code nicht verstanden wurde.
+ * @return <code>null</code> wenn <code>null</code> übergeben worde oder der
+ * code nicht verstanden wurde.
*/
static Ebene getEbeneForEbeneCode(String code) {
if (code == null)
@@ -435,7 +466,8 @@
}
/**
- * Normalisiert die Schreibweise eines Straßennamens, z.B. "Dr.-Vogeler-Str." -> "drvogelerstrasse"
+ * Normalisiert die Schreibweise eines Straßennamens, z.B.
+ * "Dr.-Vogeler-Str." -> "drvogelerstrasse"
*/
public static final String normalizeStr(String strasse) {
strasse = LangUtil.removeWhitespacesToEmpty(strasse);
@@ -446,9 +478,11 @@
strasse = strasse.replaceAll("str(\\.|\\s)", "strasse");
strasse = strasse.replaceAll("strase", "strasse");
- strasse = strasse.replaceAll("\\s*s$", "strasse");
strasse = strasse.replaceAll("alle(\b|$)", "allee");
strasse = strasse.replaceAll("alee(\b|$)", "allee");
+ strasse = strasse.replaceAll("\\s*s$", "strasse");
+
+ strasse = strasse.replaceAll("\\bgeschw\\.", "geschwister");
strasse = strasse.replaceAll("ü", "ue");
strasse = strasse.replaceAll("ö", "oe");
@@ -468,7 +502,7 @@
}
/**
- * Normalisiert die Schreibweise eines Straßennamens, z.B. "Dr.-Vogeler-Str." -> "drvogelerstrasse"
+ * Normalisiert die Schreibweise eines Ortssnamen, z.B. "Hamburg, Hansestadt" zu "hamburg"
*/
public static final String normalizeOrt(String ort) {
ort = LangUtil.removeWhitespacesToEmpty(ort);
@@ -477,8 +511,27 @@
ort = ort.toLowerCase();
+ ort = ort
+ .replaceAll(
+ "\\b(konrad.?zuse.?|berg|documenta.?|loreley|universit(ae|ä)ts|kreis|landeshaupt|freie und hanse|hanse|)(stadt|st\\.)$",
+ "");
+ ort = ort.replaceAll("\\bgemfr\\b", "");
+ ort = ort.replaceAll("\\bgemeindefrei\\b", "");
+
+ ort = ort.replaceAll("\\bbezirk\\b", "");
+ ort = ort.replaceAll("\\bgebiet\\b", "");
+ ort = ort.replaceAll("\\bmarkt$", "");
+ ort = ort.replaceAll("\\bgkst\\b", "");
+ ort = ort.replaceAll("\\b(markt|)flecken$", "");
+
+ ort = ort.replaceAll("\\bkurort$", "");
+ ort = ort.replaceAll("\\bheilbad\\b", "");
+
ort = ort.replaceAll("st(\\.|\\s)", "sankt");
ort = ort.replaceAll("sta(\\.|\\s)", "sankt");
+
+ ort = ort.replaceAll("^maria(-|\\s).", "");
+
ort = ort.replaceAll("im breisgau", "ib");
ort = ort.replaceAll("a(\\.|\\s)d(\\.|\\s)", "an der");
Modified: trunk/schmitzm-adresses/src/test/java/de/schmitzm/adresses/AddrStringUtilTest.java
===================================================================
--- trunk/schmitzm-adresses/src/test/java/de/schmitzm/adresses/AddrStringUtilTest.java 2011-11-24 11:19:04 UTC (rev 1795)
+++ trunk/schmitzm-adresses/src/test/java/de/schmitzm/adresses/AddrStringUtilTest.java 2011-11-26 20:29:09 UTC (rev 1796)
@@ -248,6 +248,8 @@
public void testNormalizeOrt() {
assertEquals("sanktaugustin", AddrStringUtil.normalizeOrt("St. Augustin"));
assertEquals("freiburgib", AddrStringUtil.normalizeOrt("Freiburg im Breisgau"));
+ assertEquals("idarobarstein", AddrStringUtil.normalizeOrt("Idar-Obarstein"));
+ assertEquals("hamburg", AddrStringUtil.normalizeOrt("Hamburg, Hansestadt"));
}
@Test
More information about the Schmitzm-commits
mailing list