Nun zum Problem und eigentlichen Thema dieses Artikels, nämlich der Export von Datenbanken bzw. Tabellen aus dem Django-Admin-Backend in ein CSV-verarbeitendes Programm, also Openoffice Calc oder eben Microsoft Excel. Auf djangosnippets.org findet sich ein vernünftiger Ansatz von einem gewissen “Dek“, nur leider funktioniert er nicht mit Umlauten:  http://www.djangosnippets.org/snippets/1697/

Ein Kollege, Anatoly Ivanov hat das Problem auch erkannt und präsentiert hier drei Codeschnipsel: Sein Ansatz benutzt folgerichtig das Unicode-fähige Template-System, aber er schreibt auf eine Datei.

Im Code am Ende des Artikels habe ich die beiden Ansätze kombiniert und hinsichtlich der drei kritischen Punkte bereinigt:

• direktes Herunterladen und Speichern aus dem Django-Admin-Backend
• Berücksichtung von Quotations und Textfeldern (mehrzeilig) aus der Datenbank
• Ausgabeformat Excel-kompatibel (ISO-8859-1)

So sieht eine Ausgabe beispielhaft aus:

id;bundesland;name;statflag
1;Hamburg;Hamburg;0

Django Admin: CSV-Export mit Umlauten.

Wem das | Zeichen als Ersatz für die Hochkomma nicht gefällt, oder der Stern (*) für ein Newline, kann dies selbst austauschen oder weiter ergänzen (replace_dc).

Sinn der .replace()-Funktion ist hier schlicht,  die CSV-Struktur nicht zu zerschießen, womit die ganze Datei ab der betreffenden Zeile unbrauchbar würde.

Hier der Code, mit Dank an Dek und Anatoly:

### models.py (App-Verzeichnis)
 
from testprojekt.actions import export_als_csv
 
class Testmodell (admin.ModelAdmin):
  actions = [export_als_csv]
 
...
 
### actions.py (in der Projekt-Root)
 
import csv, codecs
from django.core.exceptions import PermissionDenied
from django.http import HttpResponse
from django.template import Context, Template
 
def get_csv_from_dict_list(field_list, data):
  csv_line = ";".join(['{{ row.%s|addslashes }}' % field for field in field_list])
  template = "{% for row in data %}" + csv_line + "\n{% endfor %}"
  return Template(template).render(Context({"data" : data}))
 
def export_als_csv(modeladmin, request, queryset):
  if not request.user.is_staff:
    raise PermissionDenied
 
  replace_dc = { '\n' : '* ', '\r' : '', ';' : ',', '\"' : '|', '\'' : '|'}
  opts = modeladmin.model._meta
  response = HttpResponse(mimetype='text/csv')
  response['Content-Disposition'] = 'attachment; filename=%s.csv' % unicode(opts).replace('.', '_')
  w = csv.writer(response, delimiter=';')
  field_names = [field.name for field in opts.fields]
  w.writerow(field_names)
  ax = []
  for obj in queryset:
    acc = {}
    for field in field_names:
      uf = unicode(getattr(obj, field))
      for i, j in replace_dc.iteritems():
        uf = uf.replace(i,j)
        acc[field] = uf
        ax.append(acc)
  response.write (get_csv_from_dict_list(field_names, ax).encode("iso-8859-1"))
  return response
 
export_als_csv.short_description = "Markierte Daten als Excel (CSV) speichern"
 
#

Es werden diverse “Tips” von kompletter Neuinstallation bis zum Support Call bei Lenovo und Austausch der Modemkarte gegeben; bei einigen Geräten scheint das Schrotflintenprinzip aber wohl funktioniert zu haben – man hat alles ausprobiert, und “irgendetwas” hat dann geholfen. Offenbar aber nicht immer.

Hier die Ausgangssituation und eine (mögliche) Lösung aus der Praxis ohne Garantie.

Nach einem BIOS-Update auf 1.20a (ECP: 1.16) war das WWAN-Modul nicht mehr sichtbar, weder in der Systemsteuerung noch in den Access Connections. Mit FN+F5 war zwar der (Soft)-Schalter sichtbar, hatte aber keine Funktion. Ich hatte im Rahmen eines Treiberupdates in Windows XP Professional die EXE-Datei benutzt,  6xuj05us.exe.

Einige Quellen, die sich auch auf die Lenovo-Hotline beziehen, nennen als “Trick” das Deaktivieren und erneute Aktivieren der WIMAX- und WWAN-Geräte im BIOS, was aber so keinen Erfolg zeigte. Ein BIOS-Downgrade auf 1.11 (eine weitere Empfehlung aus den diversen Foren) war auch nicht mehr möglich, weder von einer Boot-CD noch via Programm.

Folgendes hat dann aber funktioniert:

Erneuter Aufruf von 6xuj05us.exe -> UPDATE SYSTEM BIOS -> logische und korrekte Meldung: “Dieses BIOS haben wir schon, Update nicht notwendig“.  Dann Punkt 2: UPDATE MODEL NUMBER. Angezeigt wird der vierstellige Typcode des Geräts, und die dreistellige ID. Bestätigen ohne die ID zu ändern.

Interessanterweise läuft dann doch der BIOS-Flash durch,die 32 Blocks werden geschrieben, danach Aufforderung zum Boot. Bestätigen.

Jetzt im BIOS die WIMAX- WLAN und WWAN-Steuerung deaktivieren, speichern, und während das Gerät wieder neu startet hart abschalten. Ladegerät ggf. abziehen und 10 Sekunden warten. Neustart, mit F1 ins BIOS, WLAN, WIMAX und WWAN wieder an.

Speichern und booten – das sollte es gewesen sein, unter der Voraussetzung, dass Powermanagement, der aktuelle Gobi2000-Treiber und die neusten Access Connections korrekt installiert sind. Einen Versuch ist es wert.

Viel Erfolg.

Die Aufgabenstellung

Feedreader, die fremden Content einbetten gibt es für jedes CMS zuhauf, natürlich auch für Redaxo – hier am Beispiel eines importierten Google-Kalenderfeeds.  Fast allen ist aber gemein, dass sie – zu Wahrung des Copyrights und des Anstands – die eingebetteten Artikel zurück auf die Quelle verlinken, d.h. ein Klick auf den jeweilgen Artikel öffnet in der Regel die Quellenseite, womit die ursprüngliche (Redaxo) Site verlassen wird.

Was ist aber, wenn die Feed-Quelle eine exklusiv eigene Site ist, die nur dazu dient, extern Content für Redaxo zu generieren?

Das Modul: “Feed Hijack”

Module in Redaxo bestehen aus einer “Eingabe” -  (optionale) Parameter, die mit übergeben werden,  und der “Ausgabe”, üblicherweise ein Stück PHP-Code, der das Content-Fragment ausgibt.
Weitere Bibliotheken werden hier nicht benötigt; Feed Hijack läuft ohne externe Anhängigkeiten.

Das Modul steht aktuell auf der REDAXO-Addon-Seite zum download bereit; die erste Version 1.0 als ZIP gibt es vorläufig hier:   feedhijack-1.0

Bitte Copyrights und README -Hinweise beachten!

Wenn schon eine schnelle g/n 300 Mbit-Wirelesskarte eingebaut ist, könnte man diese vielleicht auch unter einer Linux-Installation nutzen? Eine kleine Testumgebung ist schnell aufgebaut, Plattform ist die Alphaversion von Ubuntu 10.04 in der AMD-64 Bit-Version. Wenn schon, denn schon
Die WLAN-Karte kommt von Realtek – RTL8192SE (PCI) und wird in diesem Pre-Release (noch) nicht mit bedacht. Realtek stellt allerdings den Treiber im Quellcode zur Verfügung, z.B. hier (nur der SE-Typ ist richtig!), der ohne Probleme kompiliert und als Modul eingehängt werden kann.

Eine etwas umfassendere Diskussion der möglicherweise auftretenden Fehler und Patches gibt es hier und hier.

Szenario #2: Die bekannte Security-Suite BackTrack 4 läuft auf der Ubuntu 8.10 Plattform. Das Modul funktioniert auch hier in einem ersten Test offenbar richtig, die Karte läßt sich einwandfrei in den Monitor-Mode und zurück versetzen. Erfreulich!

Nicht ganz so erfreulich – aus einem Kommentar von Fabian Schmid:

Zwei Junior-Entwickler beim Evaluieren

“Das letzte Problem, dass ich unter Ubuntu 10.04 noch habe ist, dass der Soundchip nicht zwischen Klinkenausgang und Lautsprechern umschaltet, wenn Kopfhörern eingesteckt sind. Bei mir hilft es auch nicht, am Ende der /etc/modprobe.d/alsa-config die Zeile “options snd-hda-intel model=”olpc-xo-1_5″ anzufügen. Das integrierte Mikrofon funktioniert leider auch nicht.”

Aus meiner Sicht derzeit keine Lösung. (5.5.2010)

Die Positionierung des Gerätchens ist klar: Höherwertiger als das einfache IdeaPad-Netbook, aber aus Sicht der Thinkpad-Welt ganz klar Einsteigerklasse. Dennoch ist der Preis mit etwas über 500€ als durchaus attraktiv zu bezeichnen.

Erster Eindruck: Positiv. Die Tastatur ist wirklich ordentlich, das look & feel stimmt auch. Aber wo sind denn die Status-LEDs für Festplatte, Bluetooth, WLAN und WWAN geblieben, die wir von den ‘richtigen’ Thinkpads kennen? Diese hat man sich leider gespart, ebenso das ThinkLight. Einzig ein kleiner Indikator vorne ist für den Standby übriggeblieben. Schade eigentlich.

Das vorinstallierte Windows 7 wirkt etwas zäh. Ein Think-Tool generiert zügig 3 DVDs von der Recovery-Partition, warum also nicht die Platte (Seagate) formatieren und ein paar andere Betriebsysteme ausprobieren, z.B. das gute alte XP Professional?

Trotz anderslautender Info des Händlers ist keine XP-Recovery-CD dabei. Das bedeutet Handarbeit, denn wenn ein USB-Floppy-Laufwerk gerade nicht greifbar ist, muß zunächst eine Windows-CD mit integriertem Treiber angefertigt werden.

Dieser steht auf der Lenovo-Seite zum Download bereit (“AMD AHCI Compatible RAID Controller” floppy driver) und läßt sich mit nLite problemlos in eine XP Professional 2002 SP2 CD integrieren. Sollte man sich eines Tages doch wieder für Windows 7 entscheiden, findet man den (winzigen) Lizenzaufkleber übrigens unter dem Akku – bitte nicht zornig den Lieferanten anrufen und Lizenzbetrug unterstellen

So weit, so gut – XP läuft nach diversen Updates relativ flott, vorausgesetzt, die ganze lange Treibersammlung auf dem Lenovo-Portal wird vollständig installiert. Dies ist zunächst natürlich Netzwerk/WLAN und Video, aber auch Sound, USB-Filter und Key-Features sind wichtig, da sonst die FN-Funktionstasten nicht erreichbar sind.

Für WWAN und Access Connections on top wird zusätzlich zwingend der Power-Manager und das Power-Interface benötigt, sonst können die Funk-Karten nicht via FN+F5 an- bzw. ausgeschaltet werden, und ohne diese Funktion läuft Access Connections nicht richtig.

Logischerweise kann entweder mit “WiFi” oder “mobilem Breitband” verbunden werden; beides zusammen ist nicht aktivierbar. Bereit also für einen kleiner Test mit einer SIMYO-Prepaidkarte? Wir suchen den Slot für die SIMcard, der sich laut Installations-Faltblättchen unter dem abschraubbaren Bodendeckel befindet. Naja.

Auch da hätte man vielleicht 1€ mehr ausgeben können und eine etwas elegantere Lösung finden können. Aber immerhin, “E Plus” wird zwar nicht in der Liste der vorkonfigurierten Verbindungen angezeigt (hier dominieren wie üblich amerikanische Provider, “vodafone” und die niederländische E+ Mutter KPN) aber das richtige Standortprofil läßt sich schnell konfigurieren:

Serviceprovidername: SIMYO
APN: internet.eplus.de
Benutzername: eplus
Authentifizierung: PAP
Kennwort: GPRS

Access Connections aktiviert die Gobi-Karte, verlangt die PIN und wir sind “drin” !
Das funktioniert also inzwischen sauber, hat man doch in der Vergangenheit öfters von Problemen mit der Qualcomm-Hardware auf Thinkpads gelesen.

Die kleine Kamera über dem – übrigens unerwartet angenehmen – Display ist gefühlt besser als die im Netbook S10e, heißt: Vor allem Lichtstärker, und weniger Verzerrungen des Gesichts

Fazit: Angenehmes Gerätchen zwischen dem IdeaPad und dem großen X200, mit kleinen Einschränkungen. Wie es sich bei ca. 3 Stunden Akkulaufzeit im Dauerbetrieb schlägt, werden wir beobachten, und evtl. berichten.

Update: Eine Reihe von X100e-Benutzern kann nach einem BIOS-Update das WWAN/UMTS-Modem nicht mehr aktivieren. Lösungsansatz hier:

http://weitlandt.com/theme/2010/03/wwan-am-x100-thinkpad-geht-nicht-mehr-moegliche-losung/

Soweit, so gut. Aber was, wenn man ein Notebook einsetzen möchte, das nicht über diesen abgesetzen Ziffernblock verfügt? Man kauft sich einen separate Ziffernblock-Minitastatur (erhältlich  ab 8,– € mit USB-Anschluß  z.b. hier) und glaubt, das Problem gelöst zu haben.

Unschöner Nebeneffekt: Der NumLock-Status der separaten Zifferntastatur ist an den Status der Notebook-Tastatur gekoppelt, mit dem Ergebnis, dass dort die Buchstabentasten im rechten Bereich (I O P JK L N M) ebenfalls mit Ziffern belegt sind. Also nur der halbe Nutzen, denn um sinnvoll Text einzugeben, muß man doch wieder umschalten.

Wie so oft zeigt sich auch hier, dass die Macher der legendären IBM Thinkpads einen Schritt weiter gedacht haben und dies auch noch aller Unkerei zum Trotz unter der neuen Flagge Lenovo fortsetzen.

Die Thinkpads der Serien R52, T60, T61 und das aktuelle T500 haben im BIOS eine Option versteckt, mit der die beiden Tastaturen entkoppelt werden können: INDEPENDENT NUMLOCK KEYBOARD auf “An”.

Resultat: Text eingeben über die normale Notebooktastatur (NumLock aus), Ziffern eingeben über den separaten USB-Ziffernblock (NumLock an)

Keine zeitraubenden Hacks. Einfach nur das richtige Notebook.

Exportieren mit einer einzigen Zeile Shellscript: Sharepoint Portal Server 2001

Der SPS 2001 war für die Windows 2000 – Serverumgebung zugeschnitten; schon unter Windows 2003 Server läuft er nicht mehr. Microsoft hat aber neben HTTP und DAV einen Zugang per IFS (installable file system) vorgesehen, um lesenden Zugriff auf die Dokumentenstruktur eines Arbeitsbereichs zu erhalten. Das gleiche Verfahren wird übrigens auch noch von Exchange 2000 angewandt, sodaß man durch die “Hintertür” Zugriff auf die Dateistrukturen hat.
Mit diesem Shell-Kommando auf dem W2K-Server selbst (via cmd.exe) wird ein Laufwerksbuchstabe zugeordnet:

 
subst M: \\.\backofficestorage

Arbeitet man mit dem Windows-Explorer, müssen versteckte Ordner und Dateien angezeigt werden, sonst sieht man den Ordner WORKSPACES nicht, der die eigentlichen Dateien enthält; der Arbeitsbereich  TESTDOCS unter “Anwendungen” ist leer (Dokumentenverzeichnis grün markiert)

Eine Zusammenfassung  zum IFS drive und dem Microsoft Web Storage System finden sich hier: http://support.microsoft.com/kb/294312/en-us/

Der Artikel betont auch noch einmal, daß diese Methode zwar zum Extrahieren von Dokumenten geeignet ist, nicht aber zum Zurückschreiben, denn man wird aller Wahrscheinlichkeit nach die darunterliegende Autoren-/Rechtestruktur kompromittieren.

Sharepoint Server 2003 alias Sharepoint 2: Dokumentenexport mit IronPython

IronPython, Microsofts Python-Implementierung in der Version 2.6 bei codeplex ( http://ironpython.codeplex.com/ ) ermöglicht, Dotnet-Assemblies auf einfachste Weise einzuhängen, z.B. mit clr.AddReference(‘Microsoft.SharePoint’)

Hier ist der Code, um eine einzelne Dokumentenbibliothek auszulesen und auf eine lokale Platte unter Beibehaltung der timestamps zu spiegeln:

# --------------------------------------------------------------------------------------
#
# Dokumentenimport von MS SharePoint.
# Die originale Ordnerstruktur wird abgebildet; Zeitstempel der Dokumente bleibt erhalten.
# Autor: weitlandt. Klaus Stein 29.10.09
#
# Umgebung: Ironpython 2.6+ (www.ironpython.com bzw. codeplex.com)
#
 
SAVE_TO = "C:/SHP2"
SITEURL = "http://localhost"
DOCROOT = "Shared Documents"
 
# -----------------------------
 
import os,sys,stat,array,io,clr
from datetime import *
from time import mktime as mktime
 
clr.AddReference('Microsoft.SharePoint')
from Microsoft.SharePoint import *
 
def storefile(f,basedir,relpath):
  ptmp,ntmp = os.path.split(relpath)
  if not os.path.isdir(basedir + ptmp):
    os.mkdir(basedir + ptmp)
  a = f.ModifiedBy.ToString()
  d = f.OpenBinary()
  m = datetime(f.TimeLastModified)
  print f.Name+" (" + d.Length.ToString()+"), Letzte Speicherung von "+a+": "+m.ToString()
  fullpath = basedir + relpath
  b = open(fullpath,mode="w+b")
  for i in d: #
    b.write(chr(i))
  b.close()
  ts = int(mktime(m.timetuple()))
  os.utime(fullpath,(ts,ts)) # timestamp setzen
 
# main()
 
tstart = datetime.now()
if not os.path.isdir(SAVE_TO):
  os.mkdir(SAVE_TO)
 
S = SPSite(SITEURL)
W = S.OpenWeb()
 
print "Importieren von: " + W.Title + " (" + W.Url + ")"
 
R = W.GetListsOfType(SPBaseType.DocumentLibrary)[DOCROOT] # nur diesen Ordner
skip = len(DOCROOT)
cnt = 0
for i in R.Items:
  relpath = i.File.ToString()[skip:] # Das Startverzeichnis abgeschneiden
  storefile(i.File,SAVE_TO,relpath)
  cnt = cnt + 1
 
print "\nFertig. Angelegt: " + cnt.ToString() + ", Zeit: " + str(datetime.now() - tstart)
W.Dispose()
S.Dispose()
# ----

…das ist alles! Für Erweiterungen bietet sich an, die Objekteigenschaften von ‘Items’ einmal genauer anzusehen – da ist noch etliches nützliches dabei.

NAGIOS, ein freies Monitoring-System, ist eine Überlegung wert, wenn man mehr als eine Handvoll Server betreut. Für Novell Netware existiert der Ansatz, mit MRTGEXT diverse Betriebsparameter auszulesen, der in unserem Augen aber die Tücken der Plattform nicht vollständig berücksichtigt, und außerdem nicht ganz einfach aufzusetzen ist.

Wir haben – mit dem Hintergrund aus 10 Jahren NLM-Programmiererfahrung – einen einfachen Nagios-Agenten geschrieben, der auf Netware 5.0 bis 6.5 läuft und die Untiefen des Servers direkt zum Nagios-Host kommuniziert:

• Tote Partitionen
• Reboot (ein Netware-Server bootet nicht!)
• Anzahl der ABENDS (verunglückte oder “Zombie”-Prozesse)
• SYS: Volume vollgelaufen (der Server startet nicht mehr, wenn der freie Plattenplatz tatsächlich 0 oder nahe 0 MB ist)
• Remirror gespiegelter Partitionen wird erkannt
• Verdächtige CPU-Last > 96% für länger als eine Minute

NWNAGMON läuft dauerhaft im Hintergrund, anstatt als CRON-Script starr zur vollen Stunde/Tag etc. aufgerufen zu werden. Warum? Zum einen kann der Agent schneller reagieren, wenn z.B. eine Partition ausfällt, wird der neue Status sofort signalisiert und nicht erst zum nächsten CRON-Event.

Zum anderen hat sich gezeigt, daß manchmal – wenn das System schon einmal kompromittiert ist – es schwierig oder sogar unmöglich ist, einen weiteren Prozeß zu starten. In diesem Fall verharrt der Server bei 99% CPU-Last und diversen ABENDS und läßt keinen erneuten CRON-Jobs zu, was dem Admin dann wenig Chancen läßt – außer dem internen Netware-Debugger bleibt dann nur noch die RESET-Taste.

Download hier, Aufruf sollte weitgehend selbsterklärend sein. So sieht der Konsolenbildschirm aus:

Das NLM ist mit 15KB klein und sehr resourcenschonend. Verschlüsselung zum NAGIOS-Host hin wird unterstützt, allerdings nur XOR/Password (NSCA 3 Protokoll)

NWNAGMON generiert weiterhin eine Mini-HTML Seite  mit dem aktuellen Status (siehe screenshot)

Das Programm ist und bleibt kostenlos, eine kleine Spende via Paypal (5€) wird aber gerne entgegengenommen.